У меня есть проект, и я должен улучшить его производительность. У меня есть большая база данных Mysql, построенная из огромного файла CSV (100 миллионов строк). Время вставки не является проблемой, но время отклика запроса очень важно, и иногда запрос с присоединением 2 занимает около 20 часов...
В целях сокращения времени отклика я попытался перенести мою базу данных в Кассандру, но безуспешно: моя модель данных не относится к концепциям Cassandra. Затем я хотел бы попробовать еще один способ повысить производительность: Parallel Virutal File System. Вместо этого вставьте данные в базу данных Mysql и отправьте, затем отправьте запрос, я попытался прочитать весь файл csv с помощью многопоточности и сделал свои вычисления. Но результат был неудачным: 2m20s всего за 1 000 000 строк.
На данный момент мои вычисления очень просты: на С++ с API MPI-IO я просто подсчитываю количество парных значений differents из 2 столбцов. Чтобы перенести эти вычисления, я использую hashmap, где каждый ключ является значением пары из файла csv. В конце, я возвращаю размер hashmap. Вот небольшой код:
MPI::Init(argc,argv);
cout << " INFO init done" << endl;
int myrank = MPI::COMM_WORLD.Get_rank();
int numprocs = MPI::COMM_WORLD.Get_size();
get_filename(path_name, myrank);
cout << " INFO open file : " << path_name << endl;
MPI::File thefile = MPI::File::Open(MPI::COMM_WORLD, path_name.c_str(),
MPI::MODE_RDONLY,
MPI::INFO_NULL);
MPI::Offset offset = 101;
MPI::Offset limit = thefile.Get_size();
cout << " INFO go computing" << endl;
do {
thefile.Read_at(offset, buf, bufsize, MPI_CHAR, status);
temp.assign(buf);
Tokenize(temp,tokens,"\n");
line.assign(tokens.at(0));
tokens.clear();
Tokenize(line,tokens,"\t");
nidt_count(tokens);
tokens.clear();
offset += (line.size() + 1);
}while(offset < limit);
count = status.Get_count(MPI_INT);
cout << "process " << myrank << " reads " << nidt_hash.size() << " nidt" << endl;
Я работаю на сервере с 4 ядрами, 8 ГБ оперативной памяти. Мои данные находятся на NAS, установленном в NFS или Samba на моем сервере. Я бы смог добавить 2 или 3 сервера для обработки, но на данный момент я просто попытался использовать небольшой файл (1 миллион строк) на одном сервере для измерения производительности.
Наконец, мои вопросы:
- Можно ли подумать о том, чтобы изменить вид PVFS для моей проблемы? Я хотел бы сказать, что я буду обрабатывать более сложные запросы типа: выберите все строки с определенной датой (диапазон часов) и конкретное значение пары из определенных столбцов.
- Знаете ли вы другие вещи, которые могут помочь мне улучшить обработку из файла csv? Я думаю использовать Hadoop, Pytables или FasterCSV.
Вот пример моих данных, составленный из файла csv:
Самый большой (100 миллион строк) состоит из следующих элементов:
ID DATE NUM_1 NUM_2 NB_UNITE TYPUNIT CODE_1 CODE_2
0 2007-05-13 15:37:48 33671624244 33698802900 547 s 0 17
0 2007-05-13 15:52:22 33671624244 33672211799 5 s 0 17
....
Второй более простой и маленький (90 000), он похож на словарь, где из code_1
и code_2
я получаю значение с именем CODEVAL:
CODE_1 CODE_2 CODEVAL
0 17 VS
0 34 SS
Как и ожидалось, обычно я создаю 2 таблицы по одному для каждого файла, а типичный запрос:
Select CODEVAL, hour(date) AS HEURE, COUNT(*) AS NBSMSSOR
From Tables_1 Join CODEVAL using(CODE_1,CODE_2)
Where CODEVAL='SS'
Извините за презентацию, я не знаю, как сделать массив.
Вот пример моих данных, составленный из файла csv:
-
самая большая (100 миллионных строк) состоит из следующих элементов:
ИД ДАТА NUM_1 NUM_2 NB_UNITE TYPUNIT CODE_1 CODE_2
0 2007-05-13 15:37:48 33671624244 33698802900 547 s 0 17
0 2007-05-13 15:52:22 33671624244 33672211799 5 с 0 17.... -
второй более простой и маленький (90 000), он как словарь, где из кода_1 и code_2 я получаю значение с именем CODEVAL:
CODE_1 CODE_2 CODEVAL
0 17 VS
0 34 SS
Как и ожидалось, обычно я создаю 2 таблицы по одному для каждого файла, а типичный запрос:
- Выберите CODEVAL, час (дата) AS HEURE, COUNT (*) AS NBSMSSOR Из таблиц_1 Присоедините CODEVAL, используя (CODE_1, CODE_2) Где CODEVAL = 'SS'
Извините за презентацию, я не знаю, как сделать массив.