Не удалось инициализировать схему для HiveServer2 в Apache Hive 3.0.0 на Cygwin (Windows 10)

У меня уже был кластер Hadoop 3.0.0, состоящий из 2 машин: 1 namenode + RM и 1 datanode. Я попытался установить Apache Hive 3.0.0, следуя этому документу< /а>.

Когда я запускаю schematool -dbType derby -initSchema --verbose на Cygwin, возникает исключение:

$ schematool -dbType derby -initSchema --verbose
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/C:/BigSol/apache-hive-3.0.0-bin/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/C:/BigSol/hadoop-3.0.0/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:        jdbc:derby:;databaseName=metastore_db;create=true
Metastore Connection Driver :    org.apache.derby.jdbc.EmbeddedDriver
Metastore connection User:       APP
Starting metastore schema initialization to 3.0.0
org.apache.hadoop.hive.metastore.HiveMetaException: Unknown version specified for initialization: 3.0.0
org.apache.hadoop.hive.metastore.HiveMetaException: Unknown version specified for initialization: 3.0.0
        at org.apache.hadoop.hive.metastore.MetaStoreSchemaInfo.generateInitFileName(MetaStoreSchemaInfo.java:137)
        at org.apache.hive.beeline.HiveSchemaTool.doInit(HiveSchemaTool.java:580)
        at org.apache.hive.beeline.HiveSchemaTool.doInit(HiveSchemaTool.java:562)
        at org.apache.hive.beeline.HiveSchemaTool.main(HiveSchemaTool.java:1445)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:239)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:153)
*** schemaTool failed ***

При просмотре строка кода, вызвавшая исключение, я обнаружил, что Hive пытается найти схему SQL, расположенную по адресу %HIVE_HOME%\scripts\metastore\upgrade\derby\hive-schema-3.0.0.derby.sql.

Я сомневаюсь, что Cygwin перепутал путь, чтобы Hive не нашел эту схему.

Мои вопросы:

  1. Как я могу исправить путь (или решить проблему)?
  2. Существуют ли пакетные файлы, эквивалентные *.sh файлам в каталоге %HIVE_HOME%\bin, как в Hive 2.1.1?

hadoop hive cygwin hadoop3
person phqb    schedule 09.10.2018    source источник
comment
%HIVE_HOME% — это переменный стиль окна. Наверное его предполагалось заменить при установке или запускать через CMD а не через bash. Я думаю, что значение должно быть C:\BigSol\hadoop-3.0.0   -  person matzeri    schedule 09.10.2018
comment
Я преобразовал все переменные env в стиль Linux. Я проверил echo $HIVE_HOME и напечатал cygdrive/c/BigSol/apache-hive-3.0.0-bin. Я не думаю, что $HIVE_HOME — это путь к Hadoop, потому что в руководстве по началу работы есть команда export PATH=$HIVE_HOME/bin:$PATH, добавляющая двоичные файлы куста в путь.   -  person phqb    schedule 10.10.2018
comment
@phqb Я столкнулся с той же проблемой. Не могли бы вы поделиться обходным путем для того же.   -  person Jon Andrews    schedule 04.06.2020

Ответы (1)


arrow_upward
0
arrow_downward

Я нашел решение. После запуска schematool на компьютере с Linux и копирования каталога metastore_db на компьютер с Windows мне удалось запустить HiveServer2, но интерфейс командной строки beeline сказал, что jar в C:\cygdrive\c\BigSol\apache-hive-3.0.0-bin\lib\hive-beeline-3.1.0.jar не найден.

Оказалось, что java в Cygwin парсит не тот путь. Я сделал символическую ссылку с C:\cygdrive\c на C:\, и это сработало.

person phqb    schedule 10.10.2018
comment
поскольку java не является программой cygwin, она не понимает путь cygwin /cygdrive. Ваш обходной путь оригинальный. - person matzeri; 10.10.2018