Bir CSV dosyasını birden çok parçaya bölme ve bu kodları Java kodunda paralel olarak okuma

Question

Çok büyük bir CSV dosyasına (1 GB +) sahibim, 100.000 satıra sahip.

Gönderilecek bir HTTP isteği için bir gövde oluşturmak üzere CSV dosyasındaki her satırı ayrıştırmak için bir Java programı yazmalıyım. Başka bir deyişle, CSV dosyasındaki satırlara karşılık gelen 100.000 HTTP isteği göndermem gerekir. Bunları tek bir iş parçacığında yaparsam çok uzun olacak.

Yapmak için 1.000 iş parçacığı oluşturmak istiyorum i) CSV dosyasından bir satır okuyun, ii) gövdesi, okuma satırının içeriğini içeren bir HTTP isteği oluşturun ve iii) HTTP isteğini göndererek yanıt alın.

Bu şekilde, CSV dosyasını 1.000 parçaya bölmem gerekir ve bu parçaların birbiriyle çakışmamış satırları olmamalıdır.

Böyle bir ayrıştırma işleminin en iyi yolu nedir?

Answer 1

Tek bir dosyayı birden fazla konumda eşzamanlı olarak okumak daha hızlı gitmenize izin vermez (ancak yavaşlayabilir) önemli ölçüde aşağı).

Dosyayı çoklu iş parçacıklarından okumak yerine, dosyayı tek bir iş parçacığından okuyun ve bu satırların işlemlerini paralel hale getirin. Tek bir iş parçacığı, CSV'nizi satır-line olarak okumalı ve her satırı bir sıraya koymalıdır. Birden çok iş parçacığı, sıradan sonraki satırı almalı, ayrıştırmalı, bir isteğe dönmeli ve isteği gerektiği gibi eşzamanlı olarak işlemelidir. İşin bölünmesi, daha sonra, eksik bir çizgi ya da çakışma olmadığından emin olmak için tek bir iş parçacığı tarafından yapılacaktı. Tek dizisindeki

Answer 2

CSV'nin satırlarını okuyan ve okunan satırların listesini oluşturan bir iş parçacığına sahip olabilirsiniz. Bu, bir sınıra ulaştığında, örn. Bir istek olarak göndermek için sabit boyutlu bir iş parçacığı havuzuna geçmek için 100 satır.

Sunucuda 1000 çekirdek bulunmadığı sürece, 10-100 eşzamanlı istekleri kullanmanın daha hızlı olduğunu görebiliyorum.

Answer 3

Dosya satırını bir satır okuyup okuduğunuz her satır için, her biri için HTTP isteğini gerçekleştirmek üzere bir görevi ExecutorService'a gönderin.

n th satırını okuyabilmeniz için önce birden çok iş parçacığındaki dosyanın okunması işe yaramayacaktır, çünkü önce diğerlerini de okumalısınız. (Dosyanız sabit genişlikli kayıtlar içeriyorsa, ancak CSV sabit bir genişlik biçimi içermiyorsa çalışabilir.)

Answer 4

Oku CSV dosyası, Runnable Task nesne oluşturarak hat Temsilciye havuzunda mevcut Thread birine bu hat almak ve uyumsuz infaz edileceği, Executors'ssubmit() onu geçtikten sonra. İşte

public static void main(String[] args) throws IOException { 

     String fName = "C:\\Amit\\abc.csv"; 
     String thisLine; 
     FileInputStream fis = new FileInputStream(fName); 
     DataInputStream myInput = new DataInputStream(fis); 
     ExecutorService pool=Executors.newFixedThreadPool(1000); 
     int count = 0; // Concurrent request to Server barrier 

     while ((thisLine = myInput.readLine()) != null) { 
      if (count > 150) { 
       try { 
        Thread.sleep(100); 
        count = 0; 
       } catch (InterruptedException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
       } 
      } 

      pool.submit(new MyTask(thisLine)); 
      count++; 
     } 

    } 
} 

sizin Görev:

class MyTask implements Runnable { 
     private String lLine; 
     public MyTask(String line) { 
      this.lLine=line; 

     } 

     public void run() { 
      // 1) Create Request lLine 
      // 2) send the HTTP request out and receive response 
     } 
} 

Answer 5

Java 8, bu ay piyasaya sürülmesi bekleniyor, paralel akımlar ve lambdas aracılığıyla bu destek geliştirilmiş olacak. Oracle'ın paralelindeki tutorial akışları iyi bir başlangıç ​​noktası olabilir.

Buradaki bir tuzağın çok fazla paralellik olduğunu unutmayın.URL'leri alma örneği için, düşük sayıda paralel çağrının olması iyi bir fikir olabilir. Çok fazla paralellik sadece bant genişliğini ve bağlandığınız web sitesini etkilemez, aynı zamanda java'nın çalıştığı ortamların çoğunda sınırlı bir kaynak olan dosya tanımlayıcılarının da çalışmaması riskini de beraberinde getirir.

Netflix 'RxJava ve Akka yardımcı olabilecek bazı çerçeveler. Bu çerçevelerin önemsiz olmadığını ve öğrenmek için biraz çaba sarf edeceklerini unutmayın.