Извлечение статистики производительности заданий DataStage (время начала и окончания)

Версия DataStage - 8.1. У меня нет прямого доступа, но мне нужно дать инструкции по извлечению некоторой статистики выполнения заданий. Я считаю, что репозиторий находится в базе данных DB2 или, возможно, в плоских файлах, если это все еще поддерживается в 8.1. Я не могу там установить какие-либо инструменты.

Есть мастер-последовательность с несколькими десятками работ. Некоторые из них параллельны. Сама последовательность выполняется по очереди и постоянно в течение дня.

За 24-часовой период мне нужно извлечь статистику производительности для этой основной последовательности. Что-то такое:

job_name, start_time, finish_time, completion_status

Мне действительно просто нужна информация о сроках. Я могу работать с любым форматом, но в конечном итоге мне нужен файл в стиле csv с указанным выше временем.

Я получаю подсказки по dsjob -report, но у меня недостаточно знаний в DataStage, чтобы давать хорошие инструкции. Надеюсь получить доступ сам, но опять же, я новичок в DataStage.

Заранее спасибо.


performance etl datastage
person Alex    schedule 19.11.2012    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Вы можете экспортировать метаданные последнего запуска задания в файл XML.

#!/usr/bin/ksh

project="yourProjectName"
job="yourJobName"

dsjob -report $project $job XML >"$project_$job.xml"
person Dan    schedule 19.03.2017

arrow_upward
1
arrow_downward

Вы можете использовать Director для экспорта журнала последовательности и анализа, когда задания запускаются и завершаются. В качестве альтернативы вы можете экспортировать журнал через командную строку (см. Команду dsjob -logsum), а затем выполнить синтаксический анализ в awk (если в системе UNIX или AIX).

Если у вас есть возможность изменять последовательность, вы можете добавить стадию действия и записывать в файл до и после задания в последовательности.

person Mensur    schedule 20.10.2013