GoLang: bz2'yi goroutin üzerinde sıkıştırın, diğer goroutini tüketin

Question

Yeni-grad SWE öğrenim Go (ve sevgiyim).

Vikipedi dökümü dosyaları için bir ayrıştırıcı yapıyorum - temel olarak büyük bir bzip2 sıkıştırılmış XML dosyası (sıkıştırılmamış ~ 50 GB).

Hem akıtma dekompresyonunu hem de ayrıştırma işlemini yapmak istiyorum. dekomprasyonu ve ayrıştırma hem pahalı operasyonlar olduğundan, ben istiyorum, Ancak

decoder := xml.NewDecoder(inputFile)

:

inputFilePath := flag.Arg(0) inputReader := bzip2.NewReader(inputFile)

Sonra XML ayrıştırıcı okuyucuyu geçmesi: dekompresyon için, evet Ek çekirdekten faydalanmak için ayrı Go rutinleri üzerinde çalışırlar. Bunu Go’da yapmayı nasıl yaparım?

Düşünebildiğim tek şey, dosyayı bir [] baytında sarmalamak ve io.Reader arabirimini uygulamaktır, ancak bunu yapmanın yerleşik bir yolu (ve daha temiz) olabileceğini varsayar.

Hiç kimse böyle bir şey yaptı mı?

Teşekkürler! Manuel

Answer 1

Sen boruya sıkıştırılmış veriyi itmek için io.Copy kullanmak, sonra io.Pipe kullanın ve başka goroutine okuyabilirsiniz:

package main 

import (
    "bytes" 
    "encoding/json" 
    "fmt" 
    "io" 
    "sync" 
) 

func main() { 

    rawJson := []byte(`{ 
      "Foo": { 
       "Bar": "Baz" 
      } 
     }`) 

    bzip2Reader := bytes.NewReader(rawJson) // this stands in for the bzip2.NewReader 

    var wg sync.WaitGroup 
    wg.Add(2) 

    r, w := io.Pipe() 

    go func() { 
     // write everything into the pipe. Decompression happens in this goroutine. 
     io.Copy(w, bzip2Reader) 
     w.Close() 
     wg.Done() 
    }() 

    decoder := json.NewDecoder(r) 

    go func() { 
     for { 
      t, err := decoder.Token() 
      if err != nil { 
       break 
      } 
      fmt.Println(t) 
     } 
     wg.Done() 
    }() 

    wg.Wait() 
} 

http://play.golang.org/p/fXLnfnaWYA