При чтении большого количества файлов orc из HDFS в каталоге spark не запускает никаких задач до определенного времени, и я не вижу никаких задач, выполняемых в это время. Я использую команду ниже для чтения конфигураций orc и spark.sql. Что...

Похоже, улей replace columns не работает со искрой 2.2.1, а также с 2.3.1. alterSchemaSql : alter table myschema.mytable replace columns (a int,b int,d int) Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException:...