Spark – предикат Kudu с нажатием вниз

Я использую куду и потоковую передачу искры для панели инструментов в реальном времени, моя проблема в том, что, когда я присоединяюсь к пакету из потоковой передачи искры с таблицей куду, она не выполняет для нее предикативное нажатие и занимает 2-3 секунды, чтобы получить весь таблицу в искре и после этого фильтровать ее. Есть ли способ избежать этого?

Спасибо,

Александру


person M. Alexandru    schedule 29.10.2019    source источник


Ответы (1)


1. Kudu — это механизм хранения столбцов, поэтому вы можете выбрать, какой столбец вам нужен. Это может уменьшить объем данных, извлеченных из kudu.

2. Поддержка предиката kudu >, ‹,> =, ‹ =, =, BETWEEN или IN, возможно, вы можете кэшировать данные после фильтрации данных из kudu. И может срабатывать предикат pushdown.

person GarlicSauce    schedule 13.11.2019
comment
Вы уверены, что это предикат pushdown при соединении? Я знаю, что ›,‹,›=,‹=,=,BETWEEN или IN находятся только там, где. - person M. Alexandru; 13.11.2019