Инкрементный анализ WSO2 BAM

Согласно документации здесь, эта функция является экспериментальной, но я хотел бы знать, если кто-нибудь использует его успешно. У меня уже есть некоторые данные, поэтому я пробую вариант использования 4.
Я попытался выполнить запрос на обновление куста с аннотацией @Incremental, но с ним больше ничего не попадает в мою RDB.
Если я удалю его, все будет работать, но Я хочу воспользоваться этой возможностью из-за большого объема хранимых данных и очень медленного выполнения запросов.
Любое предложение или помощь очень ценятся.


hive wso2 wso2bam
person Mihail Radkov    schedule 18.12.2013    source источник
comment
Вы включили инкрементный анализ для своего потока, как указано в настройках документа streams.definitions.defn1.enableIncrementalIndex=true   -  person Inosh Goonewardena    schedule 18.12.2013
comment
Где находится файл streams.properties в ‹BAM_HOME›?   -  person Chamila Wijayarathna    schedule 04.02.2014

Ответы (2)


arrow_upward
0
arrow_downward

Функция инкрементного анализа будет нормально работать в частично распределенной конфигурации, но она не была тщательно протестирована во внешнем кластере Hadoop, поэтому она была помечена как «экспериментальная». В любом случае, если вы обнаружите какие-либо ошибки в них, вы можете сообщить об этом в jira.

Чтобы ответить на ваш вопрос, вам нужно сначала включить добавочную обработку для вашего потока, а затем вам нужно добавить добавочную аннотацию. Ниже приведены подробные шаги для этого.

1) Вам нужно добавить свойство 'streams.definitions.defn1.enableIncrementalIndex=true' в streams.properties, как объяснено здесь и создайте набор инструментов, который состоит только из артефакта определения потока, как описано здесь.

2) Установите набор инструментов. Это зарегистрирует указанное вами определение потока в наборе инструментов с инкрементным анализом. С этого момента входящие данные будут постепенно обрабатываться.

3) Теперь указываем аннотацию @Incremental в запросе. Первая итерация будет рассматривать все доступные данные, так как вы включили инкрементальный анализ в середине обработки, но со следующей итерации будет учитываться только новый набор данных.

person Sinthuja    schedule 06.01.2014

arrow_upward
0
arrow_downward

Эта функция считается экспериментальной, так как могут быть некоторые критические ошибки. Мы выпустим более стабильную версию BAM с этой функцией в следующем выпуске.

person Maninda    schedule 18.12.2013