В Scala, для чтения текстового файла и его загрузки в массив, общий подход
scala.io.Source.fromFile("file.txt").getLines.toArray
Специально для очень больших файлов существует ли более быстрый подход, возможно, сначала считывая блоки байтов в память, а затем разбивая их на новые символы строки? (См. Прочитайте весь файл в Scala для наиболее часто используемых подходов.)
Большое спасибо.
Проблема производительности не имеет ничего общего с тем, как считываются данные. Он уже буферизирован. Ничего не происходит, пока вы на самом деле не перебираете строки:
// measures time taken by enclosed code
def timed[A](block: => A) = {
val t0 = System.currentTimeMillis
val result = block
println("took " + (System.currentTimeMillis - t0) + "ms")
result
}
val source = timed(scala.io.Source.fromFile("test.txt")) // 200mb, 500 lines
// took 0ms
val lines = timed(source.getLines)
// took 0ms
timed(lines.next) // read first line
// took 1ms
// ... reset source ...
var x = 0
timed(lines.foreach(ln => x += ln.length)) // "use" every line
// took 421ms
// ... reset source ...
timed(lines.toArray)
// took 915ms
Учитывая скорость чтения 500 МБ в секунду для моего жесткого диска, оптимальное время будет составлять 400 мс для 200 МБ, а это означает, что нет места для улучшений, кроме того, что он не преобразует итератор в массив.
В зависимости от вашего приложения вы можете использовать итератор напрямую вместо массива. Потому что работа с таким огромным массивом в памяти, безусловно, будет проблемой производительности.
Изменить. Из ваших комментариев я предполагаю, что вы хотите продолжить преобразование массива (возможно, разделить строки на столбцы, как вы сказали, вы читаете числовой массив). В этом случае я рекомендую делать преобразование во время чтения. Например:
source.getLines.map(_.split(",").map(_.trim.toInt)).toArray
значительно быстрее, чем
source.getLines.toArray.map(_.split(",").map(_.trim.toInt))
(Для меня это 1.9s вместо 2.5s) потому что вы не трансформируете целый гигантский массив в другой, а только каждую строку индивидуально, заканчивая одним массивом (используется только половина пространства кучи). Кроме того, поскольку чтение файла является узким местом, преобразование при чтении имеет то преимущество, что это приводит к лучшему использованию ЦП.