Как передать ссылку на очередь на функцию, управляемую пулом .map_async()?

Я хочу, чтобы длительный процесс возвращал свой прогресс в очереди (или что-то подобное), который я буду передавать в диалоговом окне индикатора выполнения. Мне также нужен результат, когда процесс завершен. Ниже приведен пример теста с RuntimeError: Queue objects should only be shared between processes through inheritance.

import multiprocessing, time

def task(args):
    count = args[0]
    queue = args[1]
    for i in xrange(count):
        queue.put("%d mississippi" % i)
    return "Done"

def main():
    q = multiprocessing.Queue()
    pool = multiprocessing.Pool()
    result = pool.map_async(task, [(x, q) for x in range(10)])
    time.sleep(1)
    while not q.empty():
        print q.get()
    print result.get()

if __name__ == "__main__":
    main()

Мне удалось заставить это работать с использованием отдельных объектов Process (где мне передается ссылка Queue), но тогда у меня нет пула для управления многими процессами, которые я хочу запустить. Кто-нибудь посоветует о лучшем шаблоне для этого?

Ответ 1

Кажется, что работает следующий код:

import multiprocessing, time

def task(args):
    count = args[0]
    queue = args[1]
    for i in xrange(count):
        queue.put("%d mississippi" % i)
    return "Done"


def main():
    manager = multiprocessing.Manager()
    q = manager.Queue()
    pool = multiprocessing.Pool()
    result = pool.map_async(task, [(x, q) for x in range(10)])
    time.sleep(1)
    while not q.empty():
        print q.get()
    print result.get()

if __name__ == "__main__":
    main()

Обратите внимание, что очередь получена из manager.Queue(), а не для многопроцессорности. Queue(). Спасибо Алекс за то, что указал мне в этом направлении.

Ответ 2

Создание q глобальных работ...:

import multiprocessing, time

q = multiprocessing.Queue()

def task(count):
    for i in xrange(count):
        q.put("%d mississippi" % i)
    return "Done"

def main():
    pool = multiprocessing.Pool()
    result = pool.map_async(task, range(10))
    time.sleep(1)
    while not q.empty():
        print q.get()
    print result.get()

if __name__ == "__main__":
    main()

Если вам нужно несколько очередей, например. чтобы избежать смешивания прогресса различных процессов пула, глобальный список очередей должен работать (конечно, каждый процесс должен будет знать, какой индекс в списке использовать, но это ОК, чтобы пройти в качестве аргумента;-).