Издание COVID-19:

Погружение в неопределенность - 6 умных шагов, которые помогут защитить ваши модели машинного обучения в будущем

Ваша модель машинного обучения потерпит неудачу в условиях пандемии. Вот как уменьшить ущерб.

Было опубликовано много статей, посвященных тому, как машинное обучение может и помогает во время пандемии. Правительства Южной Кореи и Тайваня успешно продемонстрировали, как они использовали ИИ для замедления распространения COVID-19. Французская технологическая компания выявляет горячие точки, где не носят маски, и сообщает, где правительства могут сосредоточиться на образовании. Данные и медицинские специалисты, сотрудничающие с индексирующими статьями медицинских журналов по ​​COVID-19.

Участие сообщества специалистов по науке о данных вдохновляет, и результаты выдающиеся.

Но этот пост об обратном. Я здесь не для того, чтобы рассказывать об успехах машинного обучения. Я здесь, чтобы немного усомниться во всей его славе и чудесах. Я здесь, чтобы задать вопрос:

Наблюдаете ли вы за своими моделями машинного обучения в это неопределенное время?

И почему бы нет?

Реальные данные часто расходятся с данными обучения. С того дня, как вы запустили точную и стабильную модель в производство, ее производительность снижалась с каждым днем ​​по мере развития ваших заказчиков. С COVID-19 это как если бы модель отправили из безопасной инкубированной чашки Петри на дикий дикий запад.

С изменениями политики, снижением процентной ставки и выходными для платежей внезапный сдвиг данных может оказать сильное влияние на вашу модель. Уменьшение точности модели - это нормально, но нельзя игнорировать изменения.

Уменьшение точности модели - это нормально, но нельзя игнорировать изменения.

Последние пару недель я участвовал в оценке воздействия этих моделей машинного обучения. Сначала это было ошеломляюще, поэтому я собрал несколько практических шагов в надежде, что другие команды смогут подойти к процессу с большей уверенностью и немного меньшей паникой:

Чтобы не писать на эту тему целую книгу, в этой статье используется довольно много жаргона. Если вы не знаете, что означает термин, щелкните гиперссылку.

Шаг 1. Определите затронутые варианты использования и заинтересованные стороны

Не все варианты использования будут затронуты пандемией, как и не все модели пострадают от дрейфа или дрейфа концепций.

Первый шаг в любой оценке программного обеспечения такой же, как и первый шаг в любой разработке программного обеспечения: задавайте вопросы.

Задайте кучу вопросов.

Если у вас много текущих вариантов использования и вы не знаете, какой из них выбрать в первую очередь, для начала задайте следующие вопросы:

❓ Моделирую ли я человеческое поведение? (например, товары, приобретенные на Пасху, первоначальный взнос по жилищному кредиту)

❓ Были ли у меня какие-либо неотъемлемые предположения о политике правительства или корпорации, которые изменились во время кризиса (например, запреты на поездки, отпускные платежи из банка)

После того, как вы определили варианты использования, определите заинтересованные стороны, затронутые этими вариантами использования. Заинтересованные стороны часто являются экспертами в предметной области, поэтому они могут помочь вам на шаге 2 ниже.

Нарисуйте для себя дерево решений.

Если ваша система коснулась человека или политики, перейдите к шагу 2.

В противном случае, продолжайте.

Шаг 2. Оцените риски и подверженности, когда что-то пойдет не так

Эта пандемия - классический случай «черного лебедя». Это редкая и неожиданная вирусная эпидемия с серьезными последствиями.

Так что есть вероятность, что что-то пойдет не так, но насколько?

Что-то пойдет не так, но насколько плохо?

Анализ сценария может помочь нам сориентироваться в этих экстремальных условиях.

На этом этапе чрезвычайно ценно поговорить с представителями малого и среднего бизнеса (профильными экспертами). У них часто возникает много вопросов, на которые они хотят получить ответы, и специалисты по данным анализируют данные, чтобы создать аналитические пакеты для этих вопросов. Это время, когда эти вопросы могут помочь вам допросить ваших моделей.

В качестве примера,

«Что произойдет с нашей чистой прибылью, если продажи недвижимости упадут?»

Что ж, пора это проверить. Если вы моделируете доход, полученный от жилищных ссуд, то изучите данные, когда продажи жилищных ссуд низки (зимние месяцы в городе летних каникул). Оттуда настройте его с учетом предложений SME, создайте поддельный набор входных данных и прогоните его через свою модель. Это может помочь вам оценить области, в которых модель подвержена риску.

Указание количественного числа может помочь предприятиям принимать непростые решения. Несмотря на то, что мы чувствуем, что у нас недостаточно информации, чтобы сделать прогноз, решения все равно нужно принимать. По-прежнему необходимо предоставлять ссуды и отправлять туалетную бумагу. Вместо того, чтобы продвигать ответственность дальше по цепочке, мы должны сосредоточиться на том, чтобы делать все, что в наших силах.

Сделайте прогноз со всеми звездочками.

Если воздействие велико, перейдите к шагу 3 для тщательного обследования.

В противном случае, продолжайте.

Шаг 3. Проверьте все свое решение на наличие уязвимостей

Решения машинного обучения - это больше, чем сама модель. Это конвейер инженерии данных, логический вывод и переобучение модели. Важно отсканировать все решение от начала до конца, чтобы найти уязвимости.

Решение машинного обучения - это больше, чем просто модель

Вот некоторые области, на которые вы можете обратить внимание:

⏩ Может ли большое количество разорвать ваш трубопровод? Алгоритмы прогнозирования некоторых поставщиков сломались из-за внезапного изменения количества заказов. С другой стороны, некоторые системы обнаружения мошенничества были перегружены ложными срабатываниями.

⏩ Изменилась ли базовая нагрузка вашей инфраструктуры? Некоторые модели менее актуальны, а некоторые даже более важны, перемещение ваших вычислительных ресурсов может уравновесить затраты.

⏩ Изучите глобальную и локальную важность характеристик вашей модели. Чувствительны ли ваши главные особенности к пандемии? Должны ли они быть? Есть много статей о объяснимом ИИ, и во времена неизвестности объяснимость умозаключений могла бы дать людям необходимую прозрачность.

Определите проверки на всем протяжении вашего конвейера.

К тому времени, когда вы достигли шага 3, вы уже определили, что на ваше решение влияет кризис. Итак, переходите к шагу 4.

С этого момента не будет двигаться дальше, только двигаться вперед.

Шаг 4. Настройте автоматическое оповещение и лечение

Если вы читаете эту статью, вероятно, у вас нет системы мониторинга. В противном случае вы бы настроили 500 билетов Jira и были в курсе своих следующих шагов.

Развертывание модели машинного обучения похоже на полет на самолете

А представьте, что вы пилот:

☑️: Без регистрации - это как полет без черного ящика. Любой террорист может угнать самолет без каких-либо последствий.

🖥️: Отсутствие контроля - все равно что летать вслепую в новом воздушном пространстве. Пилот понятия не имеет, куда он идет, и вы тоже.

🌪️️: Отсутствие устойчивой инфраструктуры похоже на полет с не обслуживаемым двигателем. Билет дешевый, но самолет может упасть в любой момент.

Вы не сядете в самолет со слепым пилотом и сломанным двигателем, зачем развертывать модель без регистрации, мониторинга и отказоустойчивой инфраструктуры?

Оставим мониторинг, а как насчет исцеления?

Многие зрелые решения машинного обучения имеют встроенную автоматическую переподготовку. Но в этих экстремальных случаях, возможно, стоит взглянуть на обновленные модели. Используют ли они последние данные для прогнозов? Должны ли они быть?

Автоматическое повторное развертывание обновленных моделей может быть рискованным, когда вы сталкиваетесь с неизвестностью. Подход «человек в контуре» может быть как временным, так и стратегическим решением.

1️⃣ Настройте автоматическое переподготовку и отчетность (с бизнес-ключевыми показателями эффективности, а также выборочными проверками, определенными на шаге 3).

2️⃣ Предупредить человека об утверждении с более строгими критериями предупреждения в период пандемии.

3️⃣ Если шаги 1–3 были выполнены тщательно и риски и подверженности признаны, то мы, возможно, будем готовы к повторному развертыванию моделей.

Отслеживайте смещение данных и модели и при необходимости разверните повторно.

Если вы все еще не уверены, настройте канареечное развертывание и перенаправьте небольшую часть вашего трафика на новую модель. Затем постепенно откажитесь от старой, когда новая модель станет стабильной.

Шаг 5. Распечатайте и сообщите о будущих задачах

Воздействие COVID-19 варьируется от дефицита туалетной бумаги до обвала мировой экономики. Это затронуло большинство, если не все отрасли, положительно или отрицательно.

Аномалия может стать новой нормой

Долгосрочные эффекты, такие как удаленная работа, рост банкротств, структурная безработица, а также ограничения на поездки, неясны. Когда исторические данные неприменимы в этой беспрецедентной ситуации, «ненормальность» может стать новой нормой. Это заставляет нас вернуться и раскрыть фундаментальный вопрос бизнеса и переосмыслить многие предположения.

⏩ Включаем ли мы данные о пандемии в будущие модели обучения?

⏩ Включаем ли мы новые функции, которые лучше отражают текущую реальность?

⏩ Следует ли настраивать чувствительность модели при возникновении серьезных сбоев?

⏩ Нужно ли нам переоценивать метрики модели, выбранные до пандемии?

⏩ Вернем ли мы все вышеперечисленное, когда все «вернется в норму»?

На этом этапе больше вопросов, чем ответов. Было бы преждевременно слепо рекомендовать «передовой опыт».

Единственный способ - сохранять любопытство, поддерживать открытость для общения, осознавать риски и делать это постепенно.

Шаг 6. Создайте резервные системы для смягчения последствий

Вы задумывались, почему навозные жуки не теряются?

Эти крошечные насекомые используют комбинацию направляющих систем, чтобы помочь им достичь максимально возможной точности. Когда одна система ненадежна, переходят на другую.

Когда у вас нет данных, вы должны использовать разум ~ Ричард Фейнман

Известный физик и лауреат Нобелевской премии Ричард Фейнман, расследуя катастрофу в рамках программы НАСА Challenger, сказал: Когда у вас нет данных, вы должны использовать разум. (взяты из Диапазон Дэвида Эпштейна, глава 9).

Это особенно актуально, когда машинное обучение зависит от исторических закономерностей. Когда исторические закономерности не являются надежными, необходимо использовать альтернативные стратегии:

⏩ Неконтролируемые или частично контролируемые подходы могут помочь переопределить проблемное пространство. Создавайте новые сегменты для существующих пользователей на основе их нового поведения. Бывший наркоман на открытом воздухе может быть теперь внимательным йогом.

⏩ Стресс-тестирование: структура анализа сценария, созданная на шаге 2, может использоваться для загрузки различных крайних значений входных данных.

⏩ Объединить или выбрать: объединение популярно благодаря своей способности создать сильного ученика, объединив несколько слабых учеников. Иногда в этом нет необходимости. Для одного варианта использования можно использовать несколько моделей. Инженерный конвейер может обнаруживать изменения или атрибуты и использовать наиболее подходящую модель для вывода.

Или все вышеперечисленное, с участием человека в контуре.

И поэтому, дамы и господа, AutoML не заменит специалистов по данным. Будьте голосом разума. Общайтесь с малыми и средними предприятиями. Сохраняйте спокойствие и продолжайте.

В это неопределенное время сложно ориентироваться в изменениях. Никто ни в чем не уверен, и делать прогнозы бывает непросто. Следуя этим шагам, вы сможете решить непредвиденные проблемы:

  1. Вернитесь к основам, о чем этот вариант использования?
  2. Вопрос и объяснение вашей модели
  3. Выборочная проверка всего решения
  4. Настройка системы ведения журналов и мониторинга
  5. Повторное обучение и повторное развертывание
  6. Обеспечьте себе уверенность в завтрашнем дне, оставаясь любопытным
  7. Будьте навозным жуком

Если вам понравился этот пост, я уже публиковал похожие темы по этому поводу:

Спасибо за чтение ⭐ Подписывайтесь на меня в Medium, LinkedIn или посетите мой Веб-сайт. Кроме того, если вы хотите оценить структуру развертывания машинного обучения, напишите нам в Melio Consulting.