pyspark'ta bir RDD'deki tekil elemanlara nasıl erişilir?

Question

ben her seferinde bir tuple almak için map kullanıyorum

[(u'Some1', (u'ABC', 9989)), (u'Some2', (u'XYZ', 235)), (u'Some3', (u'BBB', 5379)), (u'Some4', (u'ABC', 5379))]

gibi RDD var ama tuple bireysel elemana nasıl erişebileceğini tuple bazı karakter içeriyorsa görmek ister düşünelim. Aslında bazı karakterleri içerenleri filtrelemek istiyorum. İşte ABC

ihtiva tuples Böyle bir şey yapmaya çalışıyordu ama onun ben kıvılcım ve piton yanı yardım lütfen yeni am

def foo(line): 
    if(line[1]=="ABC"): 
      return (line) 


new_data = data.map(foo) 

yardım değil !!

Answer 1

RDD'ler doğrudan filtrelenebilir. Aşağıda, tuple'ın 2. elemanının 0 konumunda "ABC" içeren tüm kayıtlar verilecektir.

new_data = data.filter(lambda x: x[1][0] == "ABC")