Перехват stdout подпроцесса во время его запуска

Если это мой подпроцесс:

import time, sys
for i in range(200):
    sys.stdout.write( 'reading %i\n'%i )
    time.sleep(.02)

И это script управление и изменение вывода подпроцесса:

import subprocess, time, sys

print 'starting'

proc = subprocess.Popen(
    'c:/test_apps/testcr.py',
    shell=True,
    stdin=subprocess.PIPE,
    stdout=subprocess.PIPE  )

print 'process created'

while True:
    #next_line = proc.communicate()[0]
    next_line = proc.stdout.readline()
    if next_line == '' and proc.poll() != None:
        break
    sys.stdout.write(next_line)
    sys.stdout.flush()

print 'done'

Почему readline и communicate ждут, пока процесс не будет запущен? Есть ли простой способ передать (и изменить) подпроцесс 'stdout в реальном времени?

Кстати, я видел этот, но мне не нужны функции ведения журнала (и не беспокоились об этом).

Я нахожусь в Windows XP.

Ответ 1

Как уже упоминал Чарльз, проблема в буферизации. Я столкнулся с подобной проблемой при написании некоторых модулей для SNMPd и решил ее, заменив stdout на версию с автоматической продувкой.

Я использовал следующий код, вдохновленный некоторыми сообщениями в ActiveState:

class FlushFile(object):
    """Write-only flushing wrapper for file-type objects."""
    def __init__(self, f):
        self.f = f
    def write(self, x):
        self.f.write(x)
        self.f.flush()

# Replace stdout with an automatically flushing version
sys.stdout = FlushFile(sys.__stdout__)

Ответ 2

Выход процесса буферизуется. В более операционных системах UNIXy (или Cygwin) доступен модуль pexpect, в котором перечислены все необходимые заклинаний, чтобы избежать проблем, связанных с буферизацией. Тем не менее, для этих заклинаний требуется рабочий модуль pty, который недоступен для собственных (не- cygwin) win32 создает Python.

В примере, в котором вы управляете подпроцессом, вы можете просто вызвать его sys.stdout.flush(), где это необходимо, но для произвольных подпроцессов эта опция недоступна.

См. также вопрос "Почему бы просто не использовать трубку (popen())?" в разделе pexpect FAQ.