Я пытаюсь запустить код Spark (Java) и получаю сообщение об ошибке
org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow. Available: 0, required: 27".
В других сообщениях предлагалось установить максимальное значение буфера. Когда я попробовал это с максимальным значением буфера 512 МБ, я получил ошибку
java.lang.ClassNotFoundException: org.apache.spark.serializer.KryoSerializer.buffer.max', '512'
Как я могу решить эту проблему?
Имя свойства правильное, spark.kryoserializer.buffer.max, значение должно включать единицу измерения, поэтому в вашем случае это 512 м.
Кроме того, в зависимости от того, где вы настраиваете конфигурацию, вам, возможно, придется написать --conf spark.kryoserializer.buffer.max=512m. Например, с spark-submit или в пределах <spark-opts>...</spark-opts> рабочего действия Oozie.
Попробуйте использовать "spark.kryoserializer.buffer.max.mb", "512" вместо spark.kryoserializer.buffer.max", "512MB"
