Spark Sütun koşulları için SQL kasası duyarsız filtresi

Question

Kıvılcım sql filtresini büyük/küçük harf duyarlı filtre olarak nasıl kullanabilirsiniz.

dataFrame.filter(dataFrame.col("vendor").equalTo("fortinet")); 

sadece 'vendor' kolon 'fortinet' eşittir satırları dönmek ama ben ... 'fortinet' veya 'Fortinet' veya 'foRtinet' veya 'vendor' sütun eşit

Answer 1

yapabilirsiniz ya kullanım satırları istiyorum: Örneğin

büyük/küçük harfe duyarlı normal ifade:

val df = sc.parallelize(Seq(
    (1L, "Fortinet"), (2L, "foRtinet"), (3L, "foo") 
)).toDF("k", "v") 

df.where($"v".rlike("(?i)^fortinet$")).show 
// +---+--------+ 
// | k|  v| 
// +---+--------+ 
// | 1|Fortinet| 
// | 2|foRtinet| 
// +---+--------+ 

ya lower/upper basit eşitlik: performans benzer olmalıdır rağmen

import org.apache.spark.sql.functions.{lower, upper} 

df.where(lower($"v") === "fortinet") 
// +---+--------+ 
// | k|  v| 
// +---+--------+ 
// | 1|Fortinet| 
// | 2|foRtinet| 
// +---+--------+ 

df.where(upper($"v") === "FORTINET") 
// +---+--------+ 
// | k|  v| 
// +---+--------+ 
// | 1|Fortinet| 
// | 2|foRtinet| 
// +---+--------+ 

basit filtreler için ben join koşulları için eşitlik çok daha iyi bir seçimdir, rlike tercih ediyorum. Detaylar için bakınız How can we JOIN two Spark SQL dataframes using a SQL-esque "LIKE" criterion?.

Answer 2

deneyin alt/üst dize işlevlerini kullanmak:

dataFrame.filter(lower(dataFrame.col("vendor")).equalTo("fortinet")) 

veya

dataFrame.filter(upper(dataFrame.col("vendor")).equalTo("FORTINET"))