Я новичок в Hadoop. В Hadoop 1.X я могу отправить потоковое задание Hadoop с главного узла и проверить результат и время выполнения в сети namenode.
Ниже приведен пример кода для потоковой передачи Hadoop в Hadoop 1.X:
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper /bin/cat \
-reducer /bin/wc
Однако в Hadoop 2.x средство отслеживания заданий удалено. Как я могу получить ту же функцию в Hadoop 2.X?
В Hadoop 2.0 вы можете просматривать задания несколькими способами.
1) Просмотр заданий из пользовательского интерфейса ResourceManager ResourceMnagerhostname:8088/cluster
2) Просмотр заданий из HUE — HUEServerHostname.com:8888/jobbrowser/
3) Из командной строки (после завершения задания)
использование: журналы пряжи -applicationId [ВАРИАНТЫ]
общие параметры: -appOwner AppOwner (предполагается, что это текущий пользователь, если он не указан) -containerId ContainerId (должен быть указан, если указан адрес узла) -nodeAddress Адрес узла в формате nodename:port (должен быть указан, если указан идентификатор контейнера) Пример : журналы пряжи - applicationId application_1414530900704_0005
