Я прочитал это: Импорт CSV файла в таблицу базы данных sqlite3 с использованием Python
и кажется, что каждый предлагает использовать линейное чтение вместо использования массового.import из SQLite. Однако это сделает вставку очень медленной, если у вас есть миллионы строк данных. Есть ли другой способ обойти это?
Обновление: я попробовал следующий код, чтобы вставлять строки за строкой, но скорость не так хороша, как я ожидал. Есть ли способ улучшить его
for logFileName in allLogFilesName:
logFile = codecs.open(logFileName, 'rb', encoding='utf-8')
for logLine in logFile:
logLineAsList = logLine.split('\t')
output.execute('''INSERT INTO log VALUES(?, ?, ?, ?)''', logLineAsList)
logFile.close()
connection.commit()
connection.close()