Spark Kryo: Özel bir seri hale getirici kaydetme

Question

com.esotericsoftware.kryo.Serializer'dan read() ve write() yöntemlerini uygulayarak özel bir Kryo serializer uygulayan bir sınıfa sahibim (aşağıdaki örneğe bakın). Bu özel seri hale getiriciyi Spark ile nasıl kaydedebilirim?

val sparkConf = new SparkConf() 
sparkConf.registerKryoClasses(Array(classOf[A])) 

Maalesef Kıvılcım bana özel seri hale kayıt seçeneği vermez: Spark Şimdi

class A() 

CustomASerializer extends com.esotericsoftware.kryo.Serializer[A]{ 
    override def write(kryo: Kryo, output: Output, a: A): Unit = ??? 
    override def read(kryo: Kryo, input: Input, t: Class[A]): A = ??? 
} 

val kryo: Kryo = ... 
kryo.register(classOf[A], new CustomASerializer()); // I can register my serializer 

: Burada

sahip olduğumun bir sudo-kod örneği . Bunu yapmanın bir yolu var mı?

package com.acme 

class MyRegistrator extends KryoRegistrator { 
    override def registerClasses(kryo: Kryo) { 
    kryo.register(classOf[A], new CustomASerializer()) 
    } 
} 

Ardından, registrator en tam nitelikli adını, örn spark.kryo.registrator ayarlayın:

Answer 1

kayıtlı bu özel seri hale ile kendi KryoRegistrator oluştur com.acme.MyRegistrator:

val conf = new SparkConf() 
conf.set("spark.kryo.registrator", "com.acme.KryoRegistrator")