web-dev-qa-db-fra.com

Comment écrire le type logique TIMESTAMP (INT96) sur parquet, en utilisant ParquetWriter?

J'ai un outil qui utilise un org.Apache.parquet.hadoop.ParquetWriter pour convertir les fichiers de données CSV en fichiers de données de parquet.

Actuellement, il ne gère que int32, double et string

Je dois prendre en charge le type logique parquet timestamp (annoté comme int96), et je suis perdu sur la façon de le faire car je ne trouve pas de spécification précise en ligne.

Il semble que ce codage d'horodatage (int96) soit rare et mal pris en charge. J'ai trouvé très peu de détails sur les spécifications en ligne. Ce github README déclare que:

Les horodatages enregistrés au format int96 sont constitués des nanosecondes du jour (8 premiers octets) et du jour julien (4 derniers octets).

Plus précisément:

  1. Quel parquet Type dois-je utiliser pour la colonne dans le schéma MessageType ? Je suppose que je devrais utiliser le type primitif, PrimitiveTypeName.INT96, mais je ne sais pas s'il existe un moyen de spécifier un type logique?
  2. Comment écrire les données? c'est-à-dire dans quel format dois-je écrire l'horodatage dans le groupe? Pour un horodatage INT96, je suppose que je dois écrire un type binaire?

Voici une version simplifiée de mon code qui montre ce que j'essaie de faire. Plus précisément, jetez un oeil aux commentaires "TODO", ce sont les deux points du code qui correspondent aux questions ci-dessus.

List<Type> fields = new ArrayList<>();
fields.add(new PrimitiveType(Type.Repetition.OPTIONAL, PrimitiveTypeName.INT32, "int32_col", null));
fields.add(new PrimitiveType(Type.Repetition.OPTIONAL, PrimitiveTypeName.DOUBLE, "double_col", null));
fields.add(new PrimitiveType(Type.Repetition.OPTIONAL, PrimitiveTypeName.STRING, "string_col", null));

// TODO: 
//   Specify the TIMESTAMP type. 
//   How? INT96 primitive type? Is there a logical timestamp type I can use w/ MessageType schema?
fields.add(new PrimitiveType(Type.Repetition.OPTIONAL, PrimitiveTypeName.INT96, "timestamp_col", null)); 

MessageType schema = new MessageType("input", fields);

// initialize writer
Configuration configuration = new Configuration();
configuration.setQuietMode(true);
GroupWriteSupport.setSchema(schema, configuration);
ParquetWriter<Group> writer = new ParquetWriter<Group>(
  new Path("output.parquet"),
  new GroupWriteSupport(),
  CompressionCodecName.SNAPPY,
  ParquetWriter.DEFAULT_BLOCK_SIZE,
  ParquetWriter.DEFAULT_PAGE_SIZE,
  1048576,
  true,
  false,
  ParquetProperties.WriterVersion.PARQUET_1_0,
  configuration
);

// write CSV data
CSVParser parser = CSVParser.parse(new File(csv), StandardCharsets.UTF_8, CSVFormat.TDF.withQuote(null));
ArrayList<String> columns = new ArrayList<>(schemaMap.keySet());
int colIndex;
int rowNum = 0;
for (CSVRecord csvRecord : parser) {
  rowNum ++;
  Group group = f.newGroup();
  colIndex = 0;
  for (String record : csvRecord) {
    if (record == null || record.isEmpty() || record.equals( "NULL")) {
      colIndex++;
      continue;
    }


    record = record.trim();
    String type = schemaMap.get(columns.get(colIndex)).get("type").toString();
    MessageTypeConverter.addTypeValueToGroup(type, record, group, colIndex++);

    switch (colIndex) {
      case 0: // int32
        group.add(colIndex, Integer.parseInt(record));
        break;
      case 1: // double
        group.add(colIndex, Double.parseDouble(record));
        break;
      case 2: // string
        group.add(colIndex, record);
        break;
      case 3:
        // TODO: convert CSV string value to TIMESTAMP type (how?)
        throw new NotImplementedException();
    }
  }
  writer.write(group);
}
writer.close();
javaapache-sparkhadoopparquet
6
James Wierzba

Je l'ai compris, en utilisant ce code de spark sql comme référence.

Le codage binaire INT96 est divisé en 2 parties: les 8 premiers octets sont des nanosecondes depuis minuit les 4 derniers octets sont jour julien

String value = "2019-02-13 13:35:05";

final long NANOS_PER_HOUR = TimeUnit.HOURS.toNanos(1);
final long NANOS_PER_MINUTE = TimeUnit.MINUTES.toNanos(1);
final long NANOS_PER_SECOND = TimeUnit.SECONDS.toNanos(1);

// Parse date
SimpleDateFormat parser = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
Calendar cal = Calendar.getInstance(TimeZone.getTimeZone("UTC"));
cal.setTime(parser.parse(value));

// Calculate Julian days and nanoseconds in the day
LocalDate dt = LocalDate.of(cal.get(Calendar.YEAR), cal.get(Calendar.MONTH)+1, cal.get(Calendar.DAY_OF_MONTH));
int julianDays = (int) JulianFields.JULIAN_DAY.getFrom(dt);
long nanos = (cal.get(Calendar.HOUR_OF_DAY) * NANOS_PER_HOUR)
        + (cal.get(Calendar.MINUTE) * NANOS_PER_MINUTE)
        + (cal.get(Calendar.SECOND) * NANOS_PER_SECOND);

// Write INT96 timestamp
byte[] timestampBuffer = new byte[12];
ByteBuffer buf = ByteBuffer.wrap(timestampBuffer);
buf.order(ByteOrder.LITTLE_ENDIAN).putLong(nanos).putInt(julianDays);

// This is the properly encoded INT96 timestamp
Binary tsValue = Binary.fromReusedByteArray(timestampBuffer);
0
James Wierzba