Pandalar ile UTF-8 dosyaları nasıl okunur?

Question

Ben twitter verilerle UTF-8 dosya var ve bir Python veri çerçevesi içine okumaya çalışıyorum ama sadece yerine Unicode dizeleri bir 'nesne' türü alabilirsiniz:

# file 1459966468_324.csv 
#1459966468_324.csv: UTF-8 Unicode English text 
df = pd.read_csv('1459966468_324.csv', dtype={'text': unicode}) 
df.dtypes 
text    object 
Airline   object 
name    object 
retweet_count  float64 
sentiment   object 
tweet_location  object 
dtype: object 

doğru nedir UTF-8 verilerini Pandalar ile unicode'a okuma ve zorlama yolu?

df = pd.read_csv('1459966468_324.csv', encoding = 'utf8') 
df.apply(lambda x: pd.lib.infer_dtype(x.values)) 

Metin dosyası burada: https://raw.githubusercontent.com/l1x/nlp/master/1459966468_324.csv

Answer 1

diğer poster belirtildiği gibi

Bu sorunu çözmez deneyebilirsiniz:

df = pd.read_csv('1459966468_324.csv', encoding = 'utf8') 

Ancak, bu durum, dtypes'i yazdırırken sizi 'object' (nesnel) 'e bakmaya bırakabilir. onlar utf8 olan onaylamak için CSV okuduktan sonra bu satırı deneyin:

df.apply(lambda x: pd.lib.infer_dtype(x.values)) 

Örnek çıktı:

args   unicode 
date   datetime64 
host   unicode 
kwargs   unicode 
operation  unicode 

Answer 2

uygun parametresi encoding anahtar kelime kullanın:

df = pd.read_csv('1459966468_324.csv', encoding='utf8') 

Answer 3

Pandalar depolar dizeleri object s. Python 3'te, tüm dize varsayılan olarak unicode cinsindendir. Yani, python 3'ü kullanırsanız, verileriniz zaten bir unicode (object türüne göre yanılmasın).

Python 2'niz varsa, df = pd.read_csv('your_file', encoding = 'utf8')'u kullanın. Daha sonra, örneğin pd.lib.infer_dtype(df.iloc[0,0]) deneyin (ilk sütun dizilerinden oluşur tahmin).