Запустите несколько команд exec сразу (но подождите, пока последний не завершится)

Я искал для этого, и я не могу найти никого, кто пытается сделать то, что я есть.

У меня есть информация, которая передается моей функции через запрос _POST. Исходя из этих данных, я запускаю команду exec для запуска TCL script определенное количество раз (с разными параметрами, основанными на переменной post). Прямо сейчас, у меня есть exec в foreach, так что это займет много времени (TCL script занимает около 15 секунд, чтобы вернуться, поэтому, если мне нужно запустить его 100 раз, у меня есть проблема). Вот мой код:

    public function executeAction(){
    //code to parse the _POST variable into an array called devices

    foreach($devices as $devID){
        exec("../path/to/script.tcl -parameter1 ".$device['param1']." -parameter2 ".$device['param2'], $execout[$devID]);
    }
    print_r($execout);
}

Очевидно, что этот код - всего лишь отрывок с удаленными большими кусками, но, надеюсь, этого достаточно, чтобы продемонстрировать, что я пытаюсь сделать.

Мне нужно запустить все execs сразу, и мне нужно дождаться их завершения до их возвращения. Мне также нужен вывод всех скриптов, хранящихся в массиве с именем $execout.

Любые идеи?

Спасибо!!!

ОТВЕТЫ

Ответ 1

Если вы поместите свой вызов exec() в отдельный script, вы можете вызвать этот внешний script несколько раз параллельно, используя curl_multi_exec(). Таким образом, вы делаете все вызовы отдельными запросами, чтобы они могли выполняться одновременно. Опрос &$still_running, чтобы увидеть, когда все запросы завершены, после чего вы можете собирать результаты из каждого.

Обновление: здесь сообщение в блоге, в котором подробно описывается то, что я описываю.

Пример

На основании сообщения в блоге, приведенного выше, я собрал следующий пример.

Script выполняется параллельно:

// waitAndDate.php

<?php
sleep((int)$_GET['time']);
printf('%d secs; %s', $_GET['time'], shell_exec('date'));

Script выполнение параллельных вызовов:

// multiExec.php

<?php
$start = microtime(true);

$mh = curl_multi_init();
$handles = array();

// create several requests
for ($i = 0; $i < 5; $i++) {
    $ch = curl_init();

    $rand = rand(5,25); // just making up data to pass to script
    curl_setopt($ch, CURLOPT_URL, "http://domain/waitAndDate.php?time=$rand");
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 30);

    curl_multi_add_handle($mh, $ch);
    $handles[] = $ch;
}

// execute requests and poll periodically until all have completed
$isRunning = null;
do {
    curl_multi_exec($mh, $isRunning);
    usleep(250000);
} while ($isRunning > 0);

// fetch output of each request
$outputs = array();
for ($i = 0; $i < count($handles); $i++) {
    $outputs[$i] = trim(curl_multi_getcontent($handles[$i]));
    curl_multi_remove_handle($mh, $handles[$i]);
}

curl_multi_close($mh);

print_r($outputs);
printf("Elapsed time: %.2f seconds\n", microtime(true) - $start);

Вот несколько результатов, которые я получил при запуске несколько раз:

Array
(
    [0] => 8 secs; Mon Apr  2 19:01:33 UTC 2012
    [1] => 8 secs; Mon Apr  2 19:01:33 UTC 2012
    [2] => 18 secs; Mon Apr  2 19:01:43 UTC 2012
    [3] => 11 secs; Mon Apr  2 19:01:36 UTC 2012
    [4] => 8 secs; Mon Apr  2 19:01:33 UTC 2012
)
Elapsed time: 18.36 seconds

Array
(
    [0] => 22 secs; Mon Apr  2 19:02:33 UTC 2012
    [1] => 9 secs; Mon Apr  2 19:02:20 UTC 2012
    [2] => 8 secs; Mon Apr  2 19:02:19 UTC 2012
    [3] => 11 secs; Mon Apr  2 19:02:22 UTC 2012
    [4] => 7 secs; Mon Apr  2 19:02:18 UTC 2012
)
Elapsed time: 22.37 seconds

Array
(
    [0] => 5 secs; Mon Apr  2 19:02:40 UTC 2012
    [1] => 18 secs; Mon Apr  2 19:02:53 UTC 2012
    [2] => 7 secs; Mon Apr  2 19:02:42 UTC 2012
    [3] => 9 secs; Mon Apr  2 19:02:44 UTC 2012
    [4] => 9 secs; Mon Apr  2 19:02:44 UTC 2012
)
Elapsed time: 18.35 seconds

Надеюсь, что это поможет!

Одностороннее примечание: убедитесь, что ваш веб-сервер может обрабатывать эти многочисленные параллельные запросы. Если он обслуживает их последовательно или может обслуживать только несколько одновременно, этот подход мало вас или ничего.: -)

Ответ 2

Функция PHP exec всегда будет ждать ответа от вашего выполнения. Однако вы можете отправить stdout и stderror процесса в /dev/null (в unix), и все эти скрипты выполняются почти мгновенно. Это можно сделать, добавив..

 '> /dev/null 2>&1 &'

К концу строки выполнения.

Но! это означает, что они будут разблокировать и закончить обработку самостоятельно. Возможно, им стоит написать ответ где-нибудь. И вы можете создать слушателя, чтобы поднять его и обработать.

Ответ 3

Цитата PHP-документации:

Примечание:

Если программа запускается с этой функцией, чтобы она продолжала работать в фоновом режиме, вывод программы должен быть перенаправлен в файл или другой выходной поток. В противном случае PHP зависнет до завершения программы.

Итак, вы можете выполнить фоновый рисунок, если вы перенаправляете вывод в файл:

exec("../path/to/script.tcl -parameter1 ".$device['param1']." -parameter2 ".$device['param2']." > outputfile.txt", $execout[$devID]);

Но если вы хотите дождаться завершения всех исполнителей, прежде чем продолжить, вам нужно сделать обратный вызов из внешнего script. Может быть, вот так:

exec("../path/to/script.tcl -parameter1 ".$device['param1']." -parameter2 ".$device['param2']." > ../path/to/outputfile.txt; ".PHP_BINDIR.DIRECTORY_SEPARATOR."php ../path/to/callback.php", $execout[$devID]);

Подобно этому, ваш callback.php script будет вызываться после каждого execs из script.tcl.

Возможно, вы можете сделать что-то с этими трюками.

Ответ 4

Вам нужно немного изменить script

  • Сохранить данные сообщения на сеанс
  • Exec, сохранить результат в сеансе
  • Использовать перенаправление с помощью JavaScript
  • Команда перенаправления Echo после возврата exec с тем же URL-адресом, но добавляет инкрементный индекс, такой как? index = 99
  • Когда индекс достигает конца, покажите полный результат

Ответ 5

Посмотрите на ExecFuture иFutureIterator в библиотеке libputil:

https://secure.phabricator.com/book/libphutil/class/ExecFuture/

Он делает именно то, что вам нужно, с довольно приятным синтаксисом:

$futures = array();
foreach ($files as $file) {
  $futures[$file] = new ExecFuture("gzip %s", $file);
}
foreach (new FutureIterator($futures) as $file => $future) {
  list($err, $stdout, $stderr) = $future->resolve();
  if (!$err) {
    echo "Compressed {$file}...\n";
  } else {
    echo "Failed to compress {$file}!\n";
  }
}