Я пытаюсь подключить несколько специально оптимизированных логических планов в SparkOptimizer и проверить, выполняются ли они.
У меня есть объект, который расширяет RuleExecutor: xyz.Scala в /spark/sql/catalyst/abc, который имеет «val-пакеты» с пользовательскими пакетами, как показано ниже:
Object xyz extends RuleExecutor{
val batches = Batch (custom rule1):: Batch(custom rule2) :: Batch(custom rule3) :: Nil
}
Я хочу, чтобы эти правила отражались при отправке примера приложения в Spark. Я читал об exerimental.extraOptimizations, но не знаю, как это реализовать в данном случае.