Я написал немного script, чтобы распределить рабочую нагрузку между 4 потоками и проверить, остаются ли результаты в заказе (в отношении порядка ввода):
from multiprocessing import Pool
import numpy as np
import time
import random
rows = 16
columns = 1000000
vals = np.arange(rows * columns, dtype=np.int32).reshape(rows, columns)
def worker(arr):
time.sleep(random.random()) # let the process sleep a random
for idx in np.ndindex(arr.shape): # amount of time to ensure that
arr[idx] += 1 # the processes finish at different
# time steps
return arr
# create the threadpool
with Pool(4) as p:
# schedule one map/worker for each row in the original data
q = p.map(worker, [row for row in vals])
for idx, row in enumerate(q):
print("[{:0>2}]: {: >8} - {: >8}".format(idx, row[0], row[-1]))
Для меня это всегда приводит к:
[00]: 1 - 1000000
[01]: 1000001 - 2000000
[02]: 2000001 - 3000000
[03]: 3000001 - 4000000
[04]: 4000001 - 5000000
[05]: 5000001 - 6000000
[06]: 6000001 - 7000000
[07]: 7000001 - 8000000
[08]: 8000001 - 9000000
[09]: 9000001 - 10000000
[10]: 10000001 - 11000000
[11]: 11000001 - 12000000
[12]: 12000001 - 13000000
[13]: 13000001 - 14000000
[14]: 14000001 - 15000000
[15]: 15000001 - 16000000
Вопрос. Итак, действительно ли Pool сохраняет исходный порядок ввода при сохранении результатов каждой функции map в q?
Sidenote. Я спрашиваю об этом, потому что мне нужен простой способ распараллеливать работу над несколькими рабочими. В некоторых случаях порядок не имеет значения. Однако есть некоторые случаи, когда результаты (например, в q) должны быть возвращены в исходном порядке, потому что я использую дополнительную функцию сокращения, которая зависит от упорядоченных данных.
Производительность. На моей машине эта операция примерно в 4 раза быстрее (как и ожидалось, так как у меня есть 4 ядра), чем обычное выполнение в одном процессе. Кроме того, все 4 ядра имеют 100% -ное использование во время выполнения.