Я пытаюсь использовать DateTimeFormatter из java.time.format в Spark, но, похоже, он не сериализуем. Это соответствующий фрагмент кода:
val pattern = "<some pattern>".r
val dtFormatter = DateTimeFormatter.ofPattern("<some non-ISO pattern>")
val logs = sc.wholeTextFiles(path)
val entries = logs.flatMap(fileContent => {
val file = fileContent._1
val content = fileContent._2
content.split("\\r?\\n").map(line => line match {
case pattern(dt, ev, seq) => Some(LogEntry(LocalDateTime.parse(dt, dtFormatter), ev, seq.toInt))
case _ => logger.error(s"Cannot parse $file: $line"); None
})
})
Как избежать исключения java.io.NotSerializableException: java.time.format.DateTimeFormatter
? Есть ли лучшая библиотека для разбора временных меток? Я читал, что Joda также не сериализуем и был включен в Java 8-временную библиотеку.