Версия Cygnus/0.6.0 не создает расширенные таблицы Hive

Я запускаю экземпляр cygnus в виртуальной машине Fi-Lab. Я скомпилировал его из ветки release/0.6.0. Все работает, за исключением того, что расширенные таблицы Hive для обновления контекста не создаются. Cygnus успешно получает обновления от Orion, они пересылаются в Cosmos и создаются файлы HDFS.

В журнале Cygnus указано Creating Hive external table=... и никаких ошибок не возникает. Затем, если я войду в головной узел Cosmos, я увижу созданные файлы HDFS, но если я использую консоль Hive, таблиц там нет.

Если я наберу SHOW TABLES; в консоли Hive, я увижу, что некоторые таблицы заканчиваются на _row и _column, поэтому я думаю, что это работает для других.

Любой намек? Должен ли я использовать другую версию cygnus?


person Ignacio Martin    schedule 18.02.2015    source источник
comment
Добавлена ​​новая проблема: github.com/telefonicaid/fiware-connectors/issues/323   -  person frb    schedule 19.02.2015


Ответы (1)


Наконец я нашел проблему. Flume использует libthrift 0.7, но cygnus нужен 0.9. Решение есть в README (в конце раздела Installing Cygnus and its dependencies (from sources)), но я его пропустил. Вы должны вручную перезаписать файл jar в дистрибутиве Flume bin версией 0.9.

person Ignacio Martin    schedule 20.02.2015
comment
Как обсуждалось на github, мы сохраним замену библиотеки Flume libthrift, с 0.7 до 0.9.1 (что действительно делается автоматически, если вы устанавливаете через RPM). Также будет создана проблема технического долга, чтобы проанализировать ваше предложение просто добавить версию библиотеки 0.9.1 в собственные библиотеки Cygnus. - person frb; 20.02.2015