Выделение данных из большого файла для многопроцессорности?

Я пытаюсь распараллелить приложение, используя многопроцессорную обработку, которая принимает очень большой файл csv (от 64 Мбайт до 500 МБ), выполняет некоторые операции за строкой, а затем выводит небольшой фиксированный размер файл.

В настоящее время я делаю list(file_obj), который, к сожалению, полностью загружен в памяти (я думаю), и тогда я разбиваю этот список на n частей, n - количество процессов, которые я хочу запустить. Затем я делаю a pool.map() на разбитом списки.

Похоже, что это действительно очень плохое время исполнения по сравнению с одним многопротокольная, просто-открытая файл-и-итерация-над-методология. Может кто-нибудь предложить лучшее решение?

Кроме того, мне нужно обработать строки файла в группах, которые сохраняют значение определенного столбца. Эти группы строк могут быть разделены, но ни одна группа не должна содержать более одного значения для этого столбца.

Ответ 1

list(file_obj) может потребоваться много памяти, если fileobj велико. Мы можем уменьшить это требование памяти, используя itertools, чтобы вытащить куски строк по мере необходимости.

В частности, мы можем использовать

reader = csv.reader(f)
chunks = itertools.groupby(reader, keyfunc)

чтобы разбить файл на обрабатываемые куски и

groups = [list(chunk) for key, chunk in itertools.islice(chunks, num_chunks)]
result = pool.map(worker, groups)

чтобы многопроцессорный пул работал на кусках num_chunks за раз.

Таким образом, нам требуется примерно достаточно памяти для хранения нескольких (num_chunks) фрагментов в памяти вместо всего файла.

import multiprocessing as mp
import itertools
import time
import csv

def worker(chunk):
    # `chunk` will be a list of CSV rows all with the same name column
    # replace this with your real computation
    # print(chunk)
    return len(chunk)  

def keyfunc(row):
    # `row` is one row of the CSV file.
    # replace this with the name column.
    return row[0]

def main():
    pool = mp.Pool()
    largefile = 'test.dat'
    num_chunks = 10
    results = []
    with open(largefile) as f:
        reader = csv.reader(f)
        chunks = itertools.groupby(reader, keyfunc)
        while True:
            # make a list of num_chunks chunks
            groups = [list(chunk) for key, chunk in
                      itertools.islice(chunks, num_chunks)]
            if groups:
                result = pool.map(worker, groups)
                results.extend(result)
            else:
                break
    pool.close()
    pool.join()
    print(results)

if __name__ == '__main__':
    main()

Ответ 2

Я бы сохранил это просто. Попросите одну программу открыть файл и прочитать его по очереди. Вы можете выбрать, сколько файлов нужно разбить на него, открыть много выходных файлов и каждую строку записать в следующий файл. Это разделит файл на n равных частей. Затем вы можете запускать программу Python по каждому из файлов параллельно.