Я написал искровую работу: object SimpleApp { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Simple Application").setMaster("local") val sc = new SparkContext(conf) val ctx = new...

Я использую Apache Spark 2.0 и создаю case class схему упоминания для DetaSet . Когда я пытаюсь определить пользовательский кодировщик в соответствии с Как сохранить пользовательские объекты в наборе данных? , для java.time.LocalDate возникло...

Я новичок в Scala. Я пытаюсь преобразовать список scala (который содержит результаты некоторых вычисленных данных в исходном DataFrame) в Dataframe или набор данных. Я не нахожу никакого прямого метода сделать это. Тем не менее, я попробовал...

Если я хочу сохранить алгебраический тип данных (ADT) (т. Е. Запечатанную иерархию свойств Scala) в Spark DataSet , какова лучшая стратегия кодирования? Например, если у меня есть ADT, в котором типы листьев хранят разные типы данных: sealed...

Я пишу приложение Spark, используя версию 2.1.1. Следующий код получил ошибку при вызове метода с параметром LocalDate? Exception in thread "main" java.lang.UnsupportedOperationException: No Encoder found for java.time.LocalDate - field (class:...

Следуя вместе с Как хранить пользовательские объекты в наборе данных? и пытаясь чтобы зарегистрировать свой собственный кодировщик крио для фрейма данных, я столкнулся с проблемой Schema for type com.esri.core.geometry.Envelope is not supported...

Я хочу создать набор данных, содержащий столбец ADT. На основе этого вопроса: Кодировать иерархию ADT / запечатанных признаков в столбец Spark DataSet Я знаю, что есть решение, которое кодирует с помощью kryo, но это не очень полезно. Есть другой...