SparkSQL: toplu işlevleri

Question

numaralı bir sütuna uygulayarak, bir grup işi yaparken bir veri çerçevesinin sütunlarının tümüne (veya bir listesine) bir toplama işlevi uygulamak için bir yol var mı?

df.groupBy("col1") 
.agg(sum("col2").alias("col2"), sum("col3").alias("col3"), ...) 

çok teşekkürler: Başka bir deyişle, her sütun için bunu önlemenin bir yolu yoktur!

Answer 1

Toplu işlevlerin birden fazla sütuna uygulanmasının birden çok yolu vardır.

• Python aşağıdaki gibidir:

  GroupedData sınıf doğrudan kullanılabilir count, max, min, mean ve sum dahil olmak üzere en yaygın işlevleri, için bir dizi yöntem sağlar

  df = sqlContext.createDataFrame(
      [(1.0, 0.3, 1.0), (1.0, 0.5, 0.0), (-1.0, 0.6, 0.5), (-1.0, 5.6, 0.2)], 
      ("col1", "col2", "col3")) 
  
  df.groupBy("col1").sum() 
  
  ## +----+---------+-----------------+---------+ 
  ## |col1|sum(col1)|  sum(col2)|sum(col3)| 
  ## +----+---------+-----------------+---------+ 
  ## | 1.0|  2.0|    0.8|  1.0| 
  ## |-1.0|  -2.0|6.199999999999999|  0.7| 
  ## +----+---------+-----------------+---------+ 
  

• Scala

  • :

  İsteğe bağlı olarak

  df.groupBy("col1").sum("col2", "col3") 
  

  Ayrıca değerler olarak sütunlu tuşları ve işlevleri sözlük/harita geçebilir toplulaştırılmalıdır sütunların listesini geçebilir

  Python

  exprs = {x: "sum" for x in df.columns} 
  df.groupBy("col1").agg(exprs).show() 
  
  ## +----+---------+ 
  ## |col1|avg(col3)| 
  ## +----+---------+ 
  ## | 1.0|  0.5| 
  ## |-1.0|  0.35| 
  ## +----+---------+ 
  

• .210 Scala

  val exprs = df.columns.map((_ -> "mean")).toMap 
  df.groupBy($"col1").agg(exprs).show() 
  
  // +----+---------+------------------+---------+ 
  // |col1|avg(col1)|   avg(col2)|avg(col3)| 
  // +----+---------+------------------+---------+ 
  // | 1.0|  1.0|    0.4|  0.5| 
  // |-1.0|  -1.0|3.0999999999999996|  0.35| 
  // +----+---------+------------------+---------+ 
  

Son olarak kullanabileceğiniz varargs:

• Python

  from pyspark.sql.functions import min 
  
  exprs = [min(x) for x in df.columns] 
  df.groupBy("col1").agg(*exprs).show() 
  

• Scala

  import org.apache.spark.sql.functions.sum 
  
  val exprs = df.columns.map(sum(_)) 
  df.groupBy($"col1").agg(exprs.head, exprs.tail: _*) 
  

Benzer bir etki elde etmek için başka bir yol var, ancak bunlar çoğu zaman yeterince fazla olmalıdır.

Answer 2

aynı kavram bir başka örneği - 2 farklı sütuna sahip, - - ama demek ve bunların her birine farklı agg fonksiyonlarını uygulamak istediğiniz İşte

f.groupBy("col1").agg(sum("col2").alias("col2"), avg("col3").alias("col3"), ...) 

bunu başarmak için bir yoldur yani - I gerçi henüz

aşağıdaki örneğe bakın bu durumda diğer adı nasıl ekleneceğini bilmiyorum - Öyle görünüyor Maps

val Claim1 = StructType(Seq(StructField("pid", StringType, true),StructField("diag1", StringType, true),StructField("diag2", StringType, true), StructField("allowed", IntegerType, true), StructField("allowed1", IntegerType, true))) 
val claimsData1 = Seq(("PID1", "diag1", "diag2", 100, 200), ("PID1", "diag2", "diag3", 300, 600), ("PID1", "diag1", "diag5", 340, 680), ("PID2", "diag3", "diag4", 245, 490), ("PID2", "diag2", "diag1", 124, 248)) 

val claimRDD1 = sc.parallelize(claimsData1) 
val claimRDDRow1 = claimRDD1.map(p => Row(p._1, p._2, p._3, p._4, p._5)) 
val claimRDD2DF1 = sqlContext.createDataFrame(claimRDDRow1, Claim1) 

val l = List("allowed", "allowed1") 
val exprs = l.map((_ -> "sum")).toMap 
claimRDD2DF1.groupBy("pid").agg(exprs) show false 
val exprs = Map("allowed" -> "sum", "allowed1" -> "avg") 

claimRDD2DF1.groupBy("pid").agg(exprs) show false