🤔 Как возникла идея Giskard AI? 8/н

Это также говорит о необходимости мониторинга. 👁

Четыре года назад я работал над своим первым сквозным конвейером искусственного интеллекта. Это потребовало года разработки, чтобы:
- поговорить с бизнес-экспертами, чтобы создать хорошие функции
- выбрать и настроить лучший алгоритм
- встретиться с ИТ-инженерами, чтобы понять, как интегрироваться с реальными системы учета времени
 — создайте онлайн-петлю обратной связи с автоматическим переобучением модели.

В конце проекта я добавил в эту производственную систему мониторинг. Это была непростая задача! 😤

Я создал все с нуля: входные проверки качества, пороги производительности модели и оценки дрейфа. Все показатели были доступны на информационной панели и автоматически рассылались заинтересованным сторонам по электронной почте.

Наконец, я привлек других специалистов по данным для обслуживания системы и перешел к другим проектам.

Четыре года спустя я узнал, что система, которую я построил, несколько провалилась. Некоторые входные изменения в ИТ-системе остались незамеченными. Показатели производительности онлайн не соответствовали показателям офлайн. Мало кто пользовался панелью мониторинга. 😢

Почему?

1️. Мониторинг заключается в поиске правильных ключевых показателей эффективности (KPI)

Мы, специалисты по данным, слишком полагаемся на статистические KPI, такие как дрейф концепций. Их трудно интерпретировать даже специалистам по данным и особенно бизнес-пользователям. Если бы мне пришлось делать проект снова, я бы добавил больше простых проверок входных данных и бизнес-ориентированных KPI.

2️. Предупреждение на первом месте, мониторинг на втором

Через несколько месяцев после развертывания возникает печально известная проблема «усталости приборной панели». Люди меньше внимания уделяют мониторингу. Чтобы преодолеть это, вам необходимо настроить механизмы оповещения. С точки зрения пользователя оповещения — это отправная точка для мониторинга. Самое сложное — убедиться, что вы не запускаете слишком много предупреждений.

3️. Мониторинг — это только одна часть головоломки обслуживания

Мониторинг — это всего лишь инструмент: необходимый, но недостаточный. Это бесполезно без людей, занимающихся обслуживанием системы ИИ, а также процессов и инструментов на случай, если что-то сломается. Зрелые организации устанавливают скользящие графики дежурств для своих инженеров и вкладывают средства в инструменты отладки, чтобы быстрее решать проблемы.

С Giskard AI мы хотим упростить мониторинг моделей ИИ и получать действенные оповещения.

Каков ваш опыт? Вы тратите много времени на мониторинг? Что работает, а что нет?
Почему бы не начать обсуждение в комментариях или написать нам на [email protected]?

Делитесь любовью 💌

Алекс

Исходный пост опубликован на LinkedIn 28 октября 2021 г.