Каким будет межпроцессная коммуникация (IPC) с учетом следующих требований:
ОБНОВЛЕНИЕ 1: процессы находятся на одном хосте и используют те же версии Python и других модулей
ОБНОВЛЕНИЕ 2: процессы запускаются независимо пользователем, ни одна из них не порождает других
Собственные объекты не распределяются между процессами (из-за подсчета ссылок).
Вместо этого вы можете рассортировать их и делиться ими с помощью сокетов домена unix, mmap, zeromq или посредника, такого как sqlite3, который предназначен для одновременного доступа.
Используйте multiprocessing для начала.
Если вам нужно несколько процессоров, посмотрите celery.
Оба execnet и Pyro упоминают сообщение PyPy <-> CPython. Другие пакеты из страницы Python Wiki Параллельная обработка, вероятно, также подходят.
Parallel Python может стоить того, чтобы он выглядел, он работает на Windows, OS X и Linux (и, кажется, я вспоминаю, что использовал его на машина UltraSPARC Solaris 10 некоторое время назад). Я не знаю, работает ли он с PyPy, но
После некоторого теста я обнаружил, что для Linux используется следующий подход, используя mmap.
Linux имеет /dev/shm. Если вы создаете общую память с помощью POSIX shm_open, в этой папке создается новый файл.
Хотя модуль python mmap не предоставляет функцию shm_open. мы можем использовать обычный open для создания файла в /dev/shm, и он фактически похож и находится в памяти. (Используйте os.unlink, чтобы удалить его)
Затем для IPC мы можем использовать mmap для сопоставления этого файла с виртуальной памятью различных процессов. Все процессы разделяют эту память. Python может использовать память в качестве буфера и создавать на ней такие объекты, как байты и массивы numpy. Или мы можем использовать его через интерфейс ctypes.
Конечно, примитивы синхронизации процесса по-прежнему необходимы, чтобы избежать условий гонки.
См. mmap doc, ctypes doc и numpy.load, который имеет параметр mmap_mode.