Как удалить повторяющиеся значения из RDD[PYSPARK]

Боюсь, я ничего не знаю о python, поэтому все ссылки и код, которые я привожу в этом ответе, относятся к java. Однако не должно быть очень сложно перевести его в код python.

Вам следует взглянуть на следующую веб-страницу. Он перенаправляет на официальную веб-страницу Spark, где представлен список всех преобразований и действий, поддерживаемых Spark.

Если я не ошибаюсь, лучшим подходом (в вашем случае) было бы использование преобразования distinct(), которое возвращает новый набор данных, содержащий отдельные элементы исходного набора данных (взятого из ссылки). В java это будет примерно так:

JavaPairRDD<Integer,String> myDataSet = //already obtained somewhere else
JavaPairRDD<Integer,String> distinctSet = myDataSet.distinct();

Так что, например:

Partition 1:

1-y | 1-y | 1-y | 2-y
2-y | 2-n | 1-n | 1-n

Partition 2:

2-g | 1-y | 2-y | 2-n
1-y | 2-n | 1-n | 1-n

Будет преобразовано в:

Partition 1:

1-y | 2-y
1-n | 2-n 

Partition 2:

1-y | 2-g | 2-y
1-n | 2-n |

Конечно, у вас по-прежнему будет несколько наборов данных RDD, каждый из которых содержит список отдельных элементов.

Эту проблему легко решить с помощью операции distinct библиотеки pyspark из Apache Spark.

from pyspark import SparkContext, SparkConf

# Set up a SparkContext for local testing
if __name__ == "__main__":
    sc = SparkContext(appName="distinctTuples", conf=SparkConf().set("spark.driver.host", "localhost"))

# Define the dataset
dataset = [(u'1',u'y'),(u'1',u'y'),(u'1',u'y'),(u'1',u'n'),(u'1',u'n'),(u'2',u'y'),(u'2',u'n'),(u'2',u'n')]

# Parallelize and partition the dataset 
# so that the partitions can be operated
# upon via multiple worker processes.
allTuplesRdd = sc.parallelize(dataset, 4)

# Filter out duplicates
distinctTuplesRdd = allTuplesRdd.distinct() 

# Merge the results from all of the workers
# into the driver process.
distinctTuples = distinctTuplesRdd.collect()

print 'Output: %s' % distinctTuples

Это выведет следующее:

Output: [(u'1',u'y'),(u'1',u'n'),(u'2',u'y'),(u'2',u'n')]

Если вы хотите удалить все дубликаты из определенного столбца или набора столбцов, то есть выполнить distinct для набора столбцов, тогда у pyspark есть функция dropDuplicates, которая примет определенный набор столбцов для разделения.

он же

df.dropDuplicates(['value']).show()