apache-spark-dataset

5ısı

1cevap

Spark 2.0.0 kullanıyorum ve iki veri kümem var (Dataset [Row]). Veri kümesi 'appUsage': +----------+-------------------+----------+ |DATE |APP_ID |TIMES_USED| +----------+-------------------+---

7ısı

1cevap

arama Apache kıvılcım Java'nın kullanarak yerine

Problem Durumu: Bir üzerinde (eşanlamlı listesinde ~ 40000 + Anahtar Değer çiftleri geniş koleksiyonundan) eşdeğeri sözlerle üst üste kelimelerin kelimeler değiştirmeniz gerekiyor büyük veri kümesi (5

12ısı

1cevap

Bir RDD'den bir Spark Veri Kümesi nasıl oluşturulur

Bir makine öğrenme hattında kullanılmak üzere bir RDD[LabeledPoint] kullanıyorum. RDD'u DataSet'a nasıl dönüştürebiliriz? Daha yeni spark.ml apis, Dataset biçiminde girişler gerektirir.

6ısı

1cevap

çıkış sırasını verilen giriş

sipariş veri kümesi değişiyor isin() işlevi sonra Apache kıvılcımla farklı sütun isimlerine sahip iki veri kümesi, birleştirme sorun ifadesi sırasına değildir. sort, orderby ile denedim, ancak çalışma

6ısı

2cevap

Toplama sütunları nasıl adlandırılır?

Spark içinde Scala kullanıyorum ve birleştirilmiş sütunlarım anonim. Veri kümesinden birden çok sütun yeniden adlandırmak için uygun bir yol var mı? Ben as ile bir şema empoze düşündüm ama anahtar süt

9ısı

2cevap

Vaka sınıflarını kullanarak JSON'ı kodlarken "Neden Dataset'te depolanan tipte kodlayıcı bulunamadı" hatası neden oluyor?

Yazdığım kıvılcım iş: Ben ana işlevi çalıştırdığınızda IDE object SimpleApp { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Simple Application").setMaster("local")

5ısı

2cevap

Bir CSV dosyasından Spark Veri Kümesi oluşturma

Basit bir CSV dosyasından bir Spark Veri Kümesi oluşturmak istiyorum. Can yukarı Ne olursa bigint dizeden number_of_people dökme değil": İşte var location = "s3a://path_to_csv" case class City(name:

5ısı

1cevap

Nasıl Dataset <Tuple2 <String, DeviceData >> Dönüştürücüsü Iterator <DeviceData>

Nasıl Dataset<Tuple2<String,DeviceData>> var ve Iterator<DeviceData> için dönüştürmek istiyorum. Aşağıda, collectAsList() yöntemini kullanıyorum ve Iterator<DeviceData> aldığım kodumu aşağıda bulabili