Мы планируем настроить Apache Spark 3.0 за пределами существующего кластера HDP 2.6 и отправлять задания с использованием пряжи (v2.7) в этом кластере без обновления или модификации. В настоящее время пользователи используют Spark 2.3, который входит в стек HDP. Цель состоит в том, чтобы включить Apache Spark 3.0 вне кластера HDP, не прерывая текущие задания.
Каковы наилучшие подходы для этого? Настроить клиентские узлы apache 3.0 за пределами кластера HDP и отправить его с новых клиентских узлов?
Есть рекомендации по этому поводу? Что следует избегать конфликта с текущим стеком HDP и его компонентами?
