Как связать два столбца данных в sparkR?

Это невозможно сделать. Вот вопрос по искре (1.3) в scala. Единственный способ сделать это - иметь какую-то строку row.numbering, потому что тогда вы можете присоединиться к row.number. Почему? Поскольку вы можете только присоединять таблицы или добавлять столбцы на основе других уже существующих столбцов.

data1 <- createDataFrame(sqlContext, data.frame(a=c(1,2,3)))
data2 <- createDataFrame(sqlContext, data.frame(b=c(2,3,4)))

затем

withColumn(data1,"b",data1$a + 1)

допускается, но

withColumn(data1,"b",data2$b)

не является. С того момента, как Spark разрезает ваш DataFrame на блоки для его хранения, он понятия не имеет, как их связать (он не имеет представления о последовательности строк), только когда у вас есть row.numbers.