У меня есть большой файл (utf8). Я знаю, что fs.createReadStream может создавать поток для чтения большого файла, но не синхронизироваться. Поэтому я пытаюсь использовать fs.readSync, но текст прочитан как "迈�".
var fs = require('fs');
var util = require('util');
var textPath = __dirname + '/people-daily.txt';
var fd = fs.openSync(textPath, "r");
var text = fs.readSync(fd, 4, 0, "utf8");
console.log(util.inspect(text, true, null));
Для больших файлов readFileSync может быть неудобным, так как он загружает весь файл в память. Другой синхронный подход состоит в том, чтобы итерационно вызывать readSync, считывая небольшие биты данных за раз и обрабатывая строки по мере их поступления. Следующий бит кода реализует этот подход и синхронно обрабатывает одну строку за раз из файла test.txt:
var fs = require('fs');
var filename = 'test.txt'
var fd = fs.openSync(filename, 'r');
var bufferSize = 1024;
var buffer = new Buffer(bufferSize);
var leftOver = '';
var read, line, idxStart, idx;
while ((read = fs.readSync(fd, buffer, 0, bufferSize, null)) !== 0) {
leftOver += buffer.toString('utf8', 0, read);
idxStart = 0
while ((idx = leftOver.indexOf("\n", idxStart)) !== -1) {
line = leftOver.substring(idxStart, idx);
console.log("one line read: " + line);
idxStart = idx + 1;
}
leftOver = leftOver.substring(idxStart);
}
использовать https://github.com/nacholibre/node-readlines
var lineByLine = require('n-readlines');
var liner = new lineByLine('./textFile.txt');
var line;
var lineNumber = 0;
while (line = liner.next()) {
console.log('Line ' + lineNumber + ': ' + line.toString('ascii'));
lineNumber++;
}
console.log('end of line reached');
Используйте readFileSync:
fs.readFileSync(имя файла, [кодирование]) Синхронная версия fs.readFile. Возвращает содержимое имени файла.
Если кодировка задана, эта функция возвращает строку. В противном случае он возвращает буфер.
С другой стороны, поскольку вы используете node, я бы рекомендовал использовать асинхронные функции.
Я построил более простой вариант ответа JB Kohn, который использует split() в буфере. Он работает с большими файлами, которые я пробовал.
/*
* Synchronously call fn(text, lineNum) on each line read from file descriptor fd.
*/
function forEachLine (fd, fn) {
var bufSize = 64 * 1024;
var buf = new Buffer(bufSize);
var leftOver = '';
var lineNum = 0;
var lines, n;
while ((n = fs.readSync(fd, buf, 0, bufSize, null)) !== 0) {
lines = buf.toString('utf8', 0 , n).split('\n');
lines[0] = leftOver+lines[0]; // add leftover string from previous read
while (lines.length > 1) { // process all but the last line
fn(lines.shift(), lineNum);
lineNum++;
}
leftOver = lines.shift(); // save last line fragment (may be '')
}
if (leftOver) { // process any remaining line
fn(leftOver, lineNum);
}
}
две потенциальные проблемы,