Python çoklu işlem - Bir işlem yapıldığında bellek nasıl bırakılır?

Question

Python çoklu işlem kitaplığını kullanırken garip bir sorunla karşılaştım.

Kodum aşağıda çizilmiştir: Her "sembol, tarih" için bir işlem oluşturuyorum. Sonrasında sonuçları birleştiririm.

Bir işlemin bir "sembol, tarih" tuple için hesaplama yapması durumunda, belleğini bırakması beklenir. görünüşe göre bu durum böyle değil. Makinede askıya alınmış düzinelerce süreç (süreç havuzunu 7 bedene sahip olmamasına rağmen) görüyorum. CPU kullanmazlar ve hafızayı serbest bırakmazlar.

Bir işlemin hesaplamasını yaptıktan sonra belleğin nasıl serbest bırakılmasına nasıl izin veririm?

Teşekkürler! "Askıya" Ben ps komutu statüleri olarak gösterilen demek "S +"

def do_one_symbol(symbol, all_date_strings): 
    pool = Pool(processes=7) 
    results = []; 
    for date in all_date_strings: 
     res = pool.apply_async(work, [symbol, date]) 
     results.append(res); 

    gg = mm = ss = 0; 
    for res in results: 
     g, m, s = res.get() 
     gg += g; 
     mm += m; 
     ss += s; 

Answer 1

Üst işlemi çalıştıran tutar ve bunlar zombies

Answer 2

tarafından

¹ Muhtemelen close() senin Pool nesne üzerinde wait() ardından çağırmalıdır.

http://docs.python.org/library/multiprocessing.html#module-multiprocessing.pool

çıkmak için işçi süreçleri için

join() bekleyin. Birini join() kullanmadan önce close() veya terminate() çağırmanız gerekir.

Answer 3

belirlemeyi deneyin olacak çocuk süreçler için beklemez çünkü eğer, pool.close kullanarak havuza kapatıp pool.join bitirmek işlemi için beklemek deneyin mü Havuzda maxtasksperchild argüman. Eğer yapmazsanız, işlem havuz tarafından tekrar tekrar başlatılır ve böylece bellek hiçbir zaman serbest bırakılmaz. Ayarlandığında, işlemin ölmesine ve yerine yeni bir tane oluşturulmasına izin verilecektir. Bu, hafızayı etkili bir şekilde temizleyecektir.

Ben 2.7'de yeni sanırım: http://docs.python.org/2/library/multiprocessing.html#module-multiprocessing.pool