Есть ли способ получить идентификатор приложения при запуске, например, примера wordcount с помощью команды yarn?
Я хочу инициировать задание из другого процесса с помощью команды yarn и отслеживать состояние задания через YARN REST API.
(с использованием Hadoop 2.4.0)
Вы можете использовать команду yarn application -list, чтобы получить список всех приложений.
В частности, если вы хотите получить список всех приложений, которые в настоящее время находятся в состоянии RUNNING, вы можете выполнить следующую команду:
yarn application -list -appStates RUNNING
Если вы уже знаете идентификатор приложения, вы можете запросить статус приложения с помощью следующей команды:
yarn application -status <application ID>
Например,
yarn application -status application_1448359154956_0001
Я получаю следующий отчет о приложении (в данном случае приложение было KILLED пользователем):
Application Report :
Application-Id : application_1448359154956_0001
Application-Name : distcp
Application-Type : MAPREDUCE
User : mballur
Queue : default
Start-Time : 1448359237581
Finish-Time : 1448359419592
Progress : 100%
State : KILLED
Final-State : KILLED
Tracking-URL : http://mballur.fareast.corp.microsoft.com:8088/cluster/ap
p/application_1448359154956_0001
RPC Port : -1
AM Host : N/A
Aggregate Resource Allocation : 1652876 MB-seconds, 1337 vcore-seconds
Log Aggregation Status : NOT_START
Diagnostics : Application killed by user.
Вы можете проанализировать этот вывод, чтобы получить State и Progress приложения.
Оформить заказ http://hadoop.apache.org/docs/r2.4.0/api/org/apache/hadoop/yarn/client/api/YarnClient.html. Должно быть что-то, чтобы получить идентификатор приложения, который вам нужен.
