Сервер бережливости Spark не может запуститься

Я запускаю комиссионный сервер spark 1.5.2 с Hive-1.2.1 на защищенной пряже-2.7.2 в Windows, используя команду ниже

spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --master yarn-client "C:\Spark\lib\spark-hive-thriftserver_2.10-1.5.2.jar"

Он остановился с ниже исключением,

16/04/11 12:31:00 INFO AbstractService: Service:HiveServer2 is started.
16/04/11 12:31:00 INFO HiveThriftServer2: HiveThriftServer2 started
16/04/11 12:31:00 ERROR ThriftCLIService: Error starting HiveServer2: could not start ThriftBinaryCLIService
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address hostname1/192.168.65.7:10000.
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109)
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:91)
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:87)
    at org.apache.hive.service.auth.HiveAuthFactory.getServerSocket(HiveAuthFactory.java:241)
    at org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run(ThriftBinaryCLIService.java:66)
    at java.lang.Thread.run(Thread.java:744)
16/04/11 12:31:00 INFO HiveServer2: Shutting down HiveServer2
16/04/11 12:31:00 INFO AbstractService: Service:ThriftBinaryCLIService is stopped.

Как это решить.

Спасибо.


apache-spark hadoop hive spark-thriftserver
person Kumar    schedule 11.04.2016    source источник
comment
как выглядит твой hive-site.xml?   -  person user1314742    schedule 11.04.2016
comment
Hive server2 успешно работает на моей машине, но искра снова пытается запустить hive server2.   -  person Kumar    schedule 11.04.2016
comment
Вот и все :), Hiveserver использует порт 10000, вы должны изменить порт сервера Spark Thrift на что-то вроде 10001, например   -  person user1314742    schedule 11.04.2016

Ответы (1)


arrow_upward
3
arrow_downward

Возможная причина проблемы заключается в том, что порт 10000 уже используется (как упоминалось в вашем комментарии, Hiveserver уже запущен, который по умолчанию использует порт 10000).
Вы можете изменить его (например, на 10005), когда работающий бережливый сервер.

Я бы порекомендовал вам запустить сервер бережливости следующим образом:

$cd $SPARK_HOME
$./sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10005 --master  yarn-client

См. документацию здесь

person user1314742    schedule 11.04.2016