Files.lines, Java8'de kırık satırları atlamak için

Question

Files.lines (...) ile çok büyük (500mb) bir dosya okuyorum. Bu dosyanın bir kısmını okur ancak bazı noktada java.io.UncheckedIOException ile kırar: java.nio.charset.MalformedInputException: Girdi uzunluğu 1

Ben dosya farklı chartsets'ten ile çizgileri olduğunu düşünüyorum =. Bu kırık çizgileri atlamanın bir yolu var mı? Geri dönen akışın bir Reader tarafından desteklendiğini ve okuyucunun nasıl atlanacağını bildiğimi biliyorum, ancak Reader'ı istediğim gibi ayarlamak için akıştan nasıl alacağımı bilmiyorum. Önceden dekoder zaten bir istisna ile çözme durduğunda

List<String> lines = new ArrayList<>(); 
    try (Stream<String> stream = Files.lines(Paths.get(getClass().getClassLoader().getResource("bigtest.txt").toURI()), Charset.forName("UTF-8"))) { 
     stream 
      .filter(s -> s.substring(0, 2).equalsIgnoreCase("aa")) 
      .forEach(lines::add); 
    } catch (final IOException e) { 
     // catch 
    } 

Answer 1

Sen kod çözme sonrasında geçersiz karakterler ile satırları filtreleyemezsiniz. Geçersiz girdiyi yok saymasını ya da bu girişi özel bir karakterle değiştirmesini söylemek için el ile CharsetDecoder'u yapılandırmanız gerekir.

CharsetDecoder dec=StandardCharsets.UTF_8.newDecoder() 
        .onMalformedInput(CodingErrorAction.IGNORE); 
Path path=Paths.get(getClass().getClassLoader().getResource("bigtest.txt").toURI()); 
List<String> lines; 
try(Reader r=Channels.newReader(FileChannel.open(path), dec, -1); 
    BufferedReader br=new BufferedReader(r)) { 
     lines=br.lines() 
       .filter(s -> s.regionMatches(true, 0, "aa", 0, 2)) 
       .collect(Collectors.toList()); 
} 

Bu, karakterleri atlayarak karakter kod çözme hatalarını görmezden gelir. hataları içeren tüm satırları atlamak için, dekoder hatalar için bir yedek karakteri ('\ufffd' varsayılan olarak) takın ve bu karakteri içeren satırları süzmek sağlayabilirsiniz: Bu durumda

CharsetDecoder dec=StandardCharsets.UTF_8.newDecoder() 
        .onMalformedInput(CodingErrorAction.REPLACE); 
Path path=Paths.get(getClass().getClassLoader().getResource("bigtest.txt").toURI()); 
List<String> lines; 
try(Reader r=Channels.newReader(FileChannel.open(path), dec, -1); 
    BufferedReader br=new BufferedReader(r)) { 
     lines=br.lines() 
       .filter(s->!s.contains(dec.replacement())) 
       .filter(s -> s.regionMatches(true, 0, "aa", 0, 2)) 
       .collect(Collectors.toList()); 
} 

Answer 2

, çözüm karmaşık olacak ve Akımlar API'sını kullanırken daha fazla hataya eğilimlidir. BufferedReader'dan okumak için normal bir for döngüsü kullanmamayı ve sonra MalformedInputException'ı yakalamayı öneririm. Bu aynı zamanda ayırt edilecek diğer IO istisnalarının yakalanmasını sağlar: Yanıtınız Holger için teşekkürler:

List<String> lines = new ArrayList<>(); 

try (BufferedReader r = new BufferedReader(path,StandardCharsets.UTF_8)){ 
    try{ 
      String line = null; 
      while((line=r.readLine())!=null){ 
       if(line.substring(0, 2).equalsIgnoreCase("aa")){ 
        lines.add(line); 
       } 
    }catch(MalformedInputException mie){ 
      // ignore or do something 
    } 
}