JavaPairRdd имеет функцию saveAsTextfile, с помощью которой вы можете сохранять данные в текстовом формате.
Однако мне нужно сохранить данные в виде файла CSV, чтобы я мог использовать его позже с Neo4j.
Мой вопрос:
Как сохранить данные JavaPairRdd в формате CSV? Или есть способ преобразовать rdd из:
Key Value
Jack [a,b,c]
to:
Key value
Jack a
Jack b
Jack c
Вы должны использовать функцию flatMapValues на вашем JavaPairRdd: Pass each value in the key-value pair RDD through a flatMap function without changing the keys; this also retains the original RDD's partitioning.
Просто вернув значение, он создаст строку для каждого элемента во входных списках с сохранением ключей.
// In Java
JavaPairRDD<Object, List<String>> input = ...;
JavaPairRDD<Object, String> output = input.flatMapValues((Function<List<String>, Iterable<String>>) Functions.identity());
