Я пытаюсь нагрузить нагрузку около 12 м записей в таблицу InnoDB в (локальном) mysql, используя LOAD DATA INFILE (из CSV) и обнаружив, что он занимает очень много времени.
Основной тип ключа - UUID, а ключи не сортируются в файлах данных.
Я разделил файл данных на файлы, содержащие 100000 записей, и импортировал их как:
mysql -e 'ALTER TABLE customer DISABLE KEYS;'
for file in *.csv
mysql -e "SET sql_log_bin=0;SET FOREIGN_KEY_CHECKS=0; SET UNIQUE_CHECKS=0;
SET AUTOCOMMIT=0;LOAD DATA INFILE '${file}' INTO TABLE table
FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'; COMMIT"
Это отлично работает для первых нескольких сотен тысяч записей, но тогда время вставки для каждой последующей загрузки, похоже, продолжает расти (от 7 секунд до 2 минут на загрузку, прежде чем я его уничтожил.)
Я запускаю машину с 8 ГБ оперативной памяти и задал параметры InnoDB:
innodb_buffer_pool_size =1024M
innodb_additional_mem_pool_size =512M
innodb_log_file_size = 256M
innodb_log_buffer_size = 256M
Я также попытался загрузить один CSV, содержащий все строки, без везения - это заработало более 2 часов, прежде чем я его убил.
Есть ли что-то еще, что могло бы ускорить это, поскольку это кажется чрезмерным временем, чтобы загружать только записи на 12 м?