У меня возникла проблема при записи json в мою Cosmos DB. Я мог читать данные, и у меня возникла проблема при записи того же
Применяемая следующая версия соединителей базы данных Cosmos https://docs.azuredatabricks.net/spark/latest/data-sources/azure/cosmosdb-connector.html и тоже пробовал разные версии. Проблема остается нерешенной.
RawFilePath="/mnt/ADLS/Users/test/CosmosDB/testfile.json"
DFRead=spark.read.json(RawFilePath)
DFNew = DFRead.selectExpr("activity", "partition AS xfactor","response", "source", "type")
writeConfig = {
"Endpoint" : "{End Point}",
"Masterkey" : "{MasterKey}",
"Database" : "{DB Name}",
"Collection" : "{Connection name}",
"Upsert" : "true"
}
DFNew.write.format("com.microsoft.azure.cosmosdb.spark").options(**writeConfig).save()
Получаю следующую ошибку.
Error : java.lang.UnsupportedOperationException: Writing in a non-empty collection.
Ожидается запись json в коллекцию cosmos DB. Но не удалось устранить ошибку непустой коллекции в Databricks. Очень признателен за вашу помощь.
Спасибо..