Самосоединение Pyspark с ошибкой. Отсутствуют разрешенные атрибуты

При самостоятельном присоединении фрейма данных pyspark я получил сообщение об ошибке:

Py4JJavaError: An error occurred while calling o1595.join.
: org.apache.spark.sql.AnalysisException: Resolved attribute(s) un_val#5997 missing from day#290,item_listed#281,filename#286 in operator !Project [...]. Attribute(s) with the same name appear in the operation: un_val. Please check if the right attribute(s) are used.;;

Это простое самосоединение фрейма данных, подобное приведенному ниже, которое работает нормально, но после пары операций с фреймом данных, таких как добавление столбцов или объединение с другими фреймами данных, возникает ошибка, упомянутая выше.

df.join(df,on='item_listed')

Использование псевдонимов данных, таких как ниже, также не работает, и возникает то же сообщение об ошибке:

df.alias('A').join(df.alias('B'), col('A.my_id') == col('B.my_id'))

python-3.x python pyspark apache-spark-2.3
person Maviles    schedule 02.07.2019    source источник

Ответы (1)


arrow_upward
5
arrow_downward

Я нашел обходной путь Java здесь SPARK-14948, а для pyspark это так :

#Add a "_r" suffix to column names array
newcols = [c + '_r' for c in df.columns]

#clone the dataframe with columns renamed
df2 = df.toDF(*newcols)

#self-join
df.join(df2,df.my_column == df2.my_column_r)
person Maviles    schedule 02.07.2019