Python (pyspark) Hata = ValueError: dizeyi dönüştürmek olamazdı yüzer: "17"

Question

Ben Spark üzerinde Python ile çalışan ve kimin .csv dosyasından benim veri kümesi okuyorum ilk birkaç satır şunlardır:

17 0.2 7 
17 0.2 7 
39 1.3 7 
19 1 7 
19 0 7 

aşağıda koduyla çizgi ile dosya hattından okuduğumda

:

Traceback (most recent call last): 
    File "<stdin>", line 3, in parsePoint 
ValueError: could not convert string to float: "17" 

Herhangi hel:

# Load and parse the data 
def parsePoint(line): 
    values = [float(x) for x in line.replace(',', ' ').split(' ')] 
    return LabeledPoint(values[0], values[1:]) 

bu hatayı alıyorum p büyük beğeni topluyor. Bu yanıt Aşağıdaki yorumlardan ardından

Answer 1

, kullanmak gerekir:

[float(x.strip(' "')) for x in line.split(',')] 

Sen ' ' ile ',' yerine gerekmez, daha sonra basitçe , üzerinde split ve lider ve beyaz boşlukları ve tırnak sondaki çıkarın (x.strip(' "')) should float'a dönüştürmeden önce.

Ayrıca, işinizi kolaylaştırabilecek csv paketlerine de bakın.

---

Aşağıda (yorumlar öncesi) asıl soruya cevaptır.

.split(' ') yerine .split() kullanmanız gerekir. Satırınızda birden çok ardışık boşluk karakteriniz var, bu nedenle ' ' numaralı bölüme ayırma, boş dizeler, ör.

['17', '', '0.2', '', '7'] 

sorun (elbette) float dönüştürmek olamaz o boş dizeleri şunlardır: içine ilk satır ayrılmıştır.

onun sep argüman None olduğunda split davranışına sorunu sayesinde çözecek split() kullanılarak (veya mevcut değildir):

If the optional second argument sep is absent or None, the words are separated by arbitrary strings of whitespace characters (space, tab, newline, return, formfeed).

split ait doküman, ve farkı anlamak için küçük bir örneği aşağıda verilmiştir:

>>> sp5 = ' ' * 5 
>>> sp5.split() 
[] 
>>> sp5.split(' ') 
['', '', '', '', '', ''] 

Sen `.split kullanarak olmalıdır