Ошибка: запись в непустую коллекцию

У меня возникла проблема при записи json в мою Cosmos DB. Я мог читать данные, и у меня возникла проблема при записи того же

Применяемая следующая версия соединителей базы данных Cosmos https://docs.azuredatabricks.net/spark/latest/data-sources/azure/cosmosdb-connector.html и тоже пробовал разные версии. Проблема остается нерешенной.

RawFilePath="/mnt/ADLS/Users/test/CosmosDB/testfile.json"
DFRead=spark.read.json(RawFilePath)
DFNew = DFRead.selectExpr("activity", "partition AS xfactor","response", "source", "type")

writeConfig  = {
 "Endpoint" : "{End Point}",
 "Masterkey" : "{MasterKey}",
 "Database" : "{DB Name}",
 "Collection" : "{Connection name}",
 "Upsert" : "true"   
}

DFNew.write.format("com.microsoft.azure.cosmosdb.spark").options(**writeConfig).save()

Получаю следующую ошибку.

Error : java.lang.UnsupportedOperationException: Writing in a non-empty collection.

Ожидается запись json в коллекцию cosmos DB. Но не удалось устранить ошибку непустой коллекции в Databricks. Очень признателен за вашу помощь.

Спасибо..


person Lalith    schedule 25.04.2019    source источник


Ответы (1)


Попробуйте указать режим

DFNew.write.format("com.microsoft.azure.cosmosdb.spark").mode("append").options(**writeConfig).save()
person Kesavan Thiruvenkadasamy    schedule 28.05.2019