Python 3'ün readlines() ile Unicode hatası kullanımı

Question

Bir metin dosyası okunurken bu hatayı alıyorum. Bunu işlemek/göz ardı etmek ve devam etmek mümkün mü?

UnicodeEncodeError: ‘charmap’ codec can’t decode byte 0x81 in position 7827: character maps to undefined.

Answer 1

sarın dosya nesne oluşturma (örneğin, errors=ignore veya errors=replace gibi), uygun bir errors= değeri geçebileceği (a olmasını varsayılarak io.TextIOWrapper alt sınıfı - ve eğer değilse, birde sarmayı düşünün!); Ayrıca, charmap'dan daha olası bir kodlamayı geçirmeyi düşünün (emin değilseniz, utf-8 her zaman başlangıç ​​için iyi bir yerdir). Örneğin

: read() işlemi sadece byte'lar

f = open('misc-notes.txt', encoding='utf-8', errors='ignore') 

Python 2'de

---

; daha sonra, onları bir dizgiye dönüştürmek için kod çözme (aslında, baytların aksine karakterleri istiyorsanız). Eğer gerçek kodlama için daha iyi bir tahminde yoksa:

your_string.decode('utf-8', 'replace') 

... karakterlerini işlenmeyen yerine ya

your_string.decode('utf-8', 'ignore') 

sadece onları görmezden. Bu, gerçek kodlamasını bulmak ve kullanmak (utf-8'u tahmin etmek yerine) tercih edilir.

Answer 2

Yeah..you, Python 3 bir

try: 
    .... 
except UnicodeEncodeError: 
    pass 

Answer 3

Dosyanın UTF8 olarak yorumlandığından emin olmak için dosyayı bir codec bileşeni ile açmanız gerekir.

 
import codecs 
fd = codecs.open(filename,'r',encoding='utf-8') 
data = fd.read()