Çoklu Konu ile tek bir dosyayı okuma: hızlandırmalı mı?

Question

500000 satırın geçtiği bir dosyayı okuyorum.

Başlangıç ​​saati:: 1326224619049

Biten Zaman: 2 Ben sonuç sonrasında olsun = 1 num için

private void multiThreadRead(int num){ 

    for(int i=1; i<= num; i++) { 
     new Thread(readIndivColumn(i),""+i).start(); 
    } 
} 

private Runnable readIndivColumn(final int colNum){ 
    return new Runnable(){ 
     @Override 
     public void run() { 
      // TODO Auto-generated method stub 
      try { 

       long startTime = System.currentTimeMillis(); 
       System.out.println("From Thread no:"+colNum+" Start time:"+startTime); 

       RandomAccessFile raf = new RandomAccessFile("./src/test/test1.csv","r"); 
       String line = ""; 
       //System.out.println("From Thread no:"+colNum); 

       while((line = raf.readLine()) != null){ 
        //System.out.println(line); 
        //System.out.println(StatUtils.getCellValue(line, colNum)); 
       } 


       long elapsedTime = System.currentTimeMillis() - startTime; 

       String formattedTime = String.format("%d min, %d sec", 
         TimeUnit.MILLISECONDS.toMinutes(elapsedTime), 
         TimeUnit.MILLISECONDS.toSeconds(elapsedTime) - 
         TimeUnit.MINUTES.toSeconds(TimeUnit.MILLISECONDS.toMinutes(elapsedTime)) 
        ); 

       System.out.println("From Thread no:"+colNum+" Finished Time:"+formattedTime); 
      } 
      catch (Exception e) { 
       // TODO Auto-generated catch block 
       System.out.println("From Thread no:"+colNum +"===>"+e.getMessage()); 

       e.printStackTrace(); 
      } 
     } 
    }; 
} 

private void sequentialRead(int num){ 
    try{ 
     long startTime = System.currentTimeMillis(); 
     System.out.println("Start time:"+startTime); 

     for(int i =0; i < num; i++){ 
      RandomAccessFile raf = new RandomAccessFile("./src/test/test1.csv","r"); 
      String line = ""; 

      while((line = raf.readLine()) != null){ 
       //System.out.println(line); 
      }    
     } 

     long elapsedTime = System.currentTimeMillis() - startTime; 

     String formattedTime = String.format("%d min, %d sec", 
       TimeUnit.MILLISECONDS.toMinutes(elapsedTime), 
       TimeUnit.MILLISECONDS.toSeconds(elapsedTime) - 
       TimeUnit.MINUTES.toSeconds(TimeUnit.MILLISECONDS.toMinutes(elapsedTime)) 
      ); 

     System.out.println("Finished Time:"+formattedTime); 
    } 
    catch (Exception e) { 
     e.printStackTrace(); 
     // TODO: handle exception 
    } 

} 
    public TesterClass() { 

    sequentialRead(1);  
    this.multiThreadRead(1); 

} 

.... nasıl birden iplik hız işlemini görmek için test ediyorum dak,

Sıralı okuma BİTER 14 sn ...........

Çok Konuyu okumak başlar:

Konu Gönderen

no: 1 Başlangıç ​​saati: Konu Gönderen 1326224753606

no: 1 Bitmiş Zaman: 2 dk,

Çok Konuyu uçlarını okumak 13 sn .....

için num = 5 Ben sonuç sonrasında alıyorum:

formatted Time:10 min, 20 sec 

Sequential read ENDS........... 

Multi-Thread read starts: 

From Thread no:1 Start time:1326223509574 
From Thread no:3 Start time:1326223509574 
From Thread no:4 Start time:1326223509574 
From Thread no:5 Start time:1326223509574 
From Thread no:2 Start time:1326223509574 
From Thread no:4 formatted Time:5 min, 54 sec 
From Thread no:2 formatted Time:6 min, 0 sec 
From Thread no:3 formatted Time:6 min, 7 sec 
From Thread no:5 formatted Time:6 min, 23 sec 
From Thread no:1 formatted Time:6 min, 23 sec 
Multi-Thread read ENDS..... 

sorum şu: should çok kanallı okuma yaklaşık alır değil. 2.13 sn? Lütfen çok parçalı çözümle neden bu kadar uzun sürdüğünü açıklayabilir misiniz?

Şimdiden teşekkürler.

Answer 1

dosya okuma ağırlıklı diskin bekliyor beri I/O, disk doğası gereği seri süreçtir çok sayıda evreye :)

Answer 2

bir dosyadan okunması tarafından kullanılır sırf daha hızlı dönmeye olmaz sorun var Önbelleğe alma olmadığı varsayılarak, bir dosyadan ne kadar hızlı veri alabileceğinize dair bir sınır vardır. Dosya kilitleri olmasa bile (yani dosyanın salt okunur olması), 1. adımdan sonraki tüm mesajlar sadece okunan diski bloke eder, böylece diğer tüm thread'ları bekletirsiniz ve veri kullanılabilir hale geldiğinde etkin olanı işler. sonraki blok.

Answer 3

Paralel olarak okunurken yavaşladığınız nedeni, manyetik sabit disk kafasının her iş parçacığı için bir sonraki okuma konumu olan (5 ms alma) aramasının gerekmesidir. Böylece, çoklu thread'lar ile okumak, diski arayışı arasında yavaşlatır ve yavaşlatır. Bir dosyayı tek bir diskten okumak için önerilen tek yol, bir iş parçacığı ile art arda okumaktır. [Tek dosyasını okur Java multi-thread uygulaması] ve