Spark SQLDataFrame Satır/Sütun değerlerini RDD olarak dönüştürmeden nasıl güncelleştiririm?Spark SQL - RDD olarak dönüştürmeden DataFrame Satırlarını/Sütun değerlerini güncelle
Neden DataFrame'i RDD gibi güncelleyemiyoruz ve başka bir tane döndürüyoruz.
RDD'ler değişmezdir ve bir RDD'de bir 'dönüşüm' yalnızca yeni bir RDD oluşturabilir. Dataframes RDD etrafında sargı olan ve bu şekilde gelen ex immutablility söyledi muzdarip:
oldDF.registerTempTable("whatever")
val newDF = sqlContext.sql("select field1,field2,sum(field3) as times from whatever where substring(field1,1,4)='test' group by field1,field2 having times>100").collect().saveAsParquetFile("xxx.parquet")
Teşekkür ama RDD için DataFrame ve yeniden DataFrame için RDD dönüştürmek gerekir. Bu senaryoda, performans nedenleriyle DataFrame kullanmanın bir avantajı vardır, çünkü çok fazla dönüşüm yapıyoruz. – Shankar
DataFrame kullanmak istediğim, içeriği kolayca Parquet dosyası olarak yazmaktır. – Shankar
RDD'ye dönüştürmeye gerek yoktur. onun 'under-the-hood' yaptı. Sadece yeni birine df dönüşümü - çok sen dataframe üzerinde çalışabilir –