piton çoklu işlem havuzu, süreçler bekleyin ve özel yeniden işler

Question

Python çoklu işlem kullanılır ve bu kodla tüm işlemlerin bekleme yapmak

:

Traceback (most recent call last): 
    File "C:\workspace\sdl\lxchg\walker4.py", line 163, in <module> 
    pool.join() 
    File "C:\Python25\Lib\site-packages\multiprocessing\pool.py", line 338, in joi 
n 
    assert self._state in (CLOSE, TERMINATE) 
AssertionError 

:

... 
      results = [] 
      for i in range(num_extract): 
       url = queue.get(timeout=5) 
       try: 
        print "START PROCESS!" 
        result = pool.apply_async(process, [host,url],callback=callback) 
        results.append(result) 
       except Exception,e: 

        continue 


      for r in results: 
       r.get(timeout=7) 
... 

i pool.join kullanmak ancak hatayı elde etmeye çalışmak

işe Neden yok katılmak? Ve tüm süreçleri beklemenin iyi yolu nedir?

İkinci sorum ben havuzda belirli işlemini yeniden başlatabilirsiniz nasıl? Bellek sızıntısı nedeniyle buna ihtiyacım var. Şimdi tüm süreçleri tamamladıktan sonra tüm havuzu yeniden yapıyorum (yeni nesneyi yeniden oluşturmak için nesne havuzu oluştur).

i gerekenler: örneğin i havuzda 4 süreç var. Sonra görevini yap, görev tamamlandıktan sonra süreci öldürmem ve yeni başla (bellek sızıntısını yenilemek için).

Answer 1

düzgün havuz kapatma yapmazsa ben bir süreçtir apply_async ile başladı kapatmaya iyi bir yol bilmiyorum pool.join()

çağırmadan önce pool.close() diyoruz ama görmek gerek çünkü hatayı alıyorsanız bellek sızıntısı git git.

Bu Pool sınıf cin modunda çalışan iş parçacığı olan niteliklerin bir demet sahip olduğunu düşünüyorum sebep. Bu konuların tümü join yöntemiyle temizleniyor. Artık sahip olduğunuz kod onları temizlemeyecek, böylece yeni bir Pool oluşturursanız, yine de sonuncudan çalışan tüm konulara sahip olacaksınız.