Ben spark_read_csv kullanarak Kıvılcım içine büyük bir veritabanını kopyalamak çalışıyorum ama çıktı olarak aşağıdaki hatayı alıyorum:Sparklyr - Ondalık hassasiyet 8 max hassasiyetli aşıyor 7
Error: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 16.0 failed 4 times, most recent failure: Lost task 0.3 in stage 16.0 (TID 176, 10.1.2.235): java.lang.IllegalArgumentException: requirement failed: Decimal precision 8 exceeds max precision 7
data_tbl <- spark_read_csv(sc, "data", "D:/base_csv", delimiter = "|", overwrite = TRUE)
Bu büyük var veri kümesi, yaklaşık 5.8 milyon kayıt, veri kümem ile Int
, num
ve chr
türlerine sahibim.