Я делал bulk inserts в RealTime Index с помощью PHP и отключая AUTOCOMIT,
например.
// sphinx connection
$sphinxql = mysqli_connect($sphinxql_host.':'.$sphinxql_port,'','');
//do some other time consuming work
//sphinx start transaction
mysqli_begin_transaction($sphinxql);
//do 50k updates or inserts
// Commit transaction
mysqli_commit($sphinxql);
и держал script в течение ночи, утром я увидел
PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate
212334 bytes) in
поэтому, когда я внимательно проверил файл nohup.out, я заметил, что эти строки,
PHP Warning: mysqli_query(): MySQL server has gone away in /home/script.php on line 502
Warning: mysqli_query(): MySQL server has gone away in /home/script.php on line 502
прежде чем эти строки были нормальными, но использование памяти после того, как эти строки начали увеличиваться, и попало в php mem_limit и дало PHP Fatal error и умерло.
in script.php , line 502 is
mysqli_query($sphinxql,$update_query_sphinx);
так что я предполагаю, что сервер sphinx закрылся/умер после нескольких часов/минут бездействия.
Я попытался установить в sphinx.conf
client_timeout = 3600
Перезагрузили поиск по
systemctl restart searchd
и все же я столкнулся с той же проблемой.
Итак, как я могу не заставить сервер sphinx умереть на мне, когда активность не существует на более длительное время?
добавлена дополнительная информация -
Я получаю данные из mysql в кусках по 50 тыс. за один раз и выполняя цикл while, чтобы получить каждую строку и обновить ее в индексе RT sphinx. как это
//6mil rows update in mysql, so it takes around 18-20 minutes to complete this then comes this following part.
$subset_count = 50000 ;
$total_count_query = "SELECT COUNT(*) as total_count FROM content WHERE enabled = '1'" ;
$total_count = mysqli_query ($conn,$total_count_query);
$total_count = mysqli_fetch_assoc($total_count);
$total_count = $total_count['total_count'];
$current_count = 0;
while ($current_count <= $total_count){
$get_mysql_data_query = "SELECT record_num, views , comments, votes FROM content WHERE enabled = 1 ORDER BY record_num ASC LIMIT $current_count , $subset_count ";
//sphinx start transaction
mysqli_begin_transaction($sphinxql);
if ($result = mysqli_query($conn, $get_mysql_data_query)) {
/* fetch associative array */
while ($row = mysqli_fetch_assoc($result)) {
//sphinx escape whole array
$escaped_sphinx = mysqli_real_escape_array($sphinxql,$row);
//update data in sphinx index
$update_query_sphinx = "UPDATE $sphinx_index
SET
views = ".$escaped_sphinx['views']." ,
comments = ".$escaped_sphinx['comments']." ,
votes = ".$escaped_sphinx['votes']."
WHERE
id = ".$escaped_sphinx['record_num']." ";
mysqli_query ($sphinxql,$update_query_sphinx);
}
/* free result set */
mysqli_free_result($result);
}
// Commit transaction
mysqli_commit($sphinxql);
$current_count = $current_count + $subset_count ;
}