Alt işlemlerin bitişini birden çok paralel iş ile bekle

Question

Paralel olarak bazı alt işlemlerden python çalıştırıyorum. Her alt işlem bitene kadar beklemek istiyorum. Zarif olmayan bir çözüm yapıyorum: Birden çok alt işlem gerçekleştirebilen bir sınıf var mı? Sorun, wait yönteminin programımı engellemesidir.

güncelleme: Ben hesaplaması sırasında ilerleme göstermek istiyorum: Böyle bir şey "4/7 alt işlemi bitmiş ..."

Eğer root C++ komut dosyası derlemek ve çalıştırmak iseniz.

Answer 1

Böyle bir şey yapabileceğini:

runcodes = ["script1.C", "script2.C"] 

ps = [] 
for script in runcodes: 
    args = ["root", "-l", "-q", script] 
    p = subprocess.Popen(args) 
    ps.append(p) 

for p in ps: 
    p.wait() 

süreçler paralel olarak çalışır ve sonunda bunların tümü için bekleyeceğim.

Answer 2

Platformunuz Windows değilse, büyük olasılıkla alt işlemleriniz için stdout borularına karşı seçim yapabilirsiniz. Kayıtlı dosya tanımlayıcıları

• Bir
• anket kez (bu durumda, biz altişlem en stdout'u borusunda bir mesele ilgilendiğiniz) bir I/O etkinliği vardır: ya kadar Uygulamanız sonra bloke edecek dışarı

Sigara tenli aşımı Linux 2.6.xx ile epoll kullanarak örnek:

import subprocess 
import select 

poller = select.epoll() 
subprocs = {} #map stdout pipe's file descriptor to the Popen object 

#spawn some processes 
for i in xrange(5): 
    subproc = subprocess.Popen(["mylongrunningproc"], stdout=subprocess.PIPE) 
    subprocs[subproc.stdout.fileno()] = subproc 
    poller.register(subproc.stdout, select.EPOLLHUP) 

#loop that polls until completion 
while True: 
    for fd, flags in poller.poll(timeout=1): #never more than a second without a UI update 
     done_proc = subprocs[fd] 
     poller.unregister(fd) 
     print "this proc is done! blah blah blah" 
     ... #do whatever 
    #print a reassuring spinning progress widget 
    ... 
    #don't forget to break when all are done 

Answer 3

Nasıl yaklaşık

 
import os, subprocess 
runcodes = ["script1.C", "script2.C"] 
ps = {} 
for script in runcodes: 
    args = ["root", "-l", "-q", script] 
    p = subprocess.Popen(args) 
    ps[p.pid] = p 
print "Waiting for %d processes..." % len(ps) 
while ps: 
    pid, status = os.wait() 
    if pid in ps: 
     del ps[pid] 
     print "Waiting for %d processes..." % len(ps)