У меня есть script, который успешно выполняет многопроцессорный набор пулов задач с вызовом imap_unordered()
:
p = multiprocessing.Pool()
rs = p.imap_unordered(do_work, xrange(num_tasks))
p.close() # No more work
p.join() # Wait for completion
Однако мой num_tasks
составляет около 250 000, и поэтому join()
блокирует основной поток в течение 10 секунд или около того, и я хотел бы иметь возможность эхо-вывода в командной строке постепенно, чтобы показать основной процесс не заблокирован. Что-то вроде:
p = multiprocessing.Pool()
rs = p.imap_unordered(do_work, xrange(num_tasks))
p.close() # No more work
while (True):
remaining = rs.tasks_remaining() # How many of the map call haven't been done yet?
if (remaining == 0): break # Jump out of while loop
print "Waiting for", remaining, "tasks to complete..."
time.sleep(2)
Есть ли метод для объекта результата или самого пула, который указывает количество оставшихся задач? Я попытался использовать объект multiprocessing.Value
в качестве счетчика (do_work
вызывает действие counter.value += 1
после выполнения своей задачи), но счетчик получает только ~ 85% от общего значения до остановки приращения.