Spark groupBy veri çerçevesi aracılığıyla bir zaman damgası için minimum bulma

Question

Veri çerçevemi bir sütun üzerinde gruplandırmaya çalıştığımda, her bir gruplandırma için en az groupbyDatafram.min('timestampCol') gruplamayı bulmaya çalıştığımda, bunu sayısal olmayan sütunlarda yapamıyorum. O zaman gruptaki asgari (en erken) tarihi nasıl doğru şekilde filtreleyebilirim?

Veritabanını bir postgresql S3 örneğinden akışa veriyorum, böylece veriler zaten yapılandırıldı.

Answer 1

Hemen yerine min yardımcı kullanarak doğrudan toplanmasına gerçekleştirin: herhangi Orderable türüne çalışacak

import org.apache.spark.sql.functions.min 

val sqlContext: SQLContext = ??? 

import sqlContext.implicits._ 

val df = Seq((1L, "2016-04-05 15:10:00"), (1L, "2014-01-01 15:10:00")) 
    .toDF("id", "ts") 
    .withColumn("ts", $"ts".cast("timestamp")) 

df.groupBy($"id").agg(min($"ts")).show 

// +---+--------------------+ 
// | id|    min(ts)| 
// +---+--------------------+ 
// | 1|2014-01-01 15:10:...| 
// +---+--------------------+ 

min aksine.