GNU Paraleline geniş bir komut dizisi nasıl beslenir?

Question

Bir sistemde kayıtlı dosyaları paralel olarak aramak için GNU Parallel kullanılıp kullanılamayacağını değerlendiriyorum. Sistemin her bir günü için sadece bir dosya (doyurma) olabilir (böylece yılda en fazla 366 dosya). Diyelim ki sistemde 3660 dosya var (yaklaşık 10 yıllık veri). Sistem çok CPU çok çekirdekli Linux veya çok CPU Solaris olabilir. Aramayı depolamak ediyorum

bir diziye (dosya başına bir komutu) dosyalar üzerinde çalışmasına emreder. Ve bu (bash kullanarak) şu anda yapıyorum ama sonra (kesinlikle bir defada tüm 3660 aramalar başlamak istemiyorum) paralel olarak başlatmak için kaç arama üzerinde hiçbir kontrole sahip budur:

#!/usr/bin/env bash 
declare -a cmds 
declare -i cmd_ctr=0 

while [[ <condition> ]]; do 
    if [[ -s $cur_archive_path/log.${doy_ctr} ]]; then 
     cmds[$cmd_ctr]="<cmd_to_run>" 
     let cmd_ctr++ 
    fi 
done 

declare -i arr_len=${#cmds[@]} 
for ((i=0; i<${arr_len}; i++)); 
do 
    # Get the command and run it in background 
    eval ${cmds[$i]} & 
done 
wait 

Ben (otomatik max. CPU'lar/çekirdeklerini anlamaya ve paralel sadece o kadar fazla arama başlayacak olan) parallel kullanacak olursak, nasıl paralel olan dizi cmds yeniden ve yukarıdaki kodu yeniden yazabilirsiniz? diğer alternatif bir dosyaya tüm komutları yazıp cat cmd_file | parallel

Answer 1

https://www.gnu.org/software/parallel/man.html#EXAMPLE:-Using-shell-variables yapmak olduğunu söylüyor:

parallel echo ::: "${V[@]}" 

Sen yankı istemiyoruz, bu yüzden:

parallel ::: "${cmds[@]}" 

Eğer ihtiyacınız yoksa Başka bir şey için $ cmds, sonra 'sem' (paralel -semaphore için bir takma addır) kullanın (https://www.gnu.org/software/parallel/man.html#EXAMPLE:-Working-as-mutex-and-counting-semaphore

< koşulunun> ne olduğunu tarif etmediniz. (https://www.gnu.org/software/parallel/man.html#EXAMPLE:-Composed-commands dayalı)

parallel 'if [ -s {} ] ; then cmd_to_run {}; fi' ::: $cur_archive_path/log.{1..3660} 

: sadece bir for döngüsü gibi bir şey yapıyorsun Eğer birlikte tüm senaryoyu yerini alabilir. 10 ardışık artık yıllar olamaz çünkü