Наблюдение за вашей системой ИИ может быть полезным на многих уровнях. Вот три способа, как это может помочь.

Поскольку большинство решений ИИ выглядят как черные ящики, становится все более актуальным регулярно контролировать их. Отсутствие мониторинга этих систем может означать, что что-то пойдет не так, не замечая. Серьезная проблема, если вы обнаружите проблемы несколько позже, и будет огромной проблемой, если вы не заметите их до тех пор, пока не наступят серьезные последствия.

Практически мы обучаем системы машинного обучения на фиксированном наборе данных. Однако на самом деле мы почти всегда подвергаем эти системы данным за пределами их обучающего распределения (длинный хвост, как некоторые его называют). Как вы можете быть уверены, что системы искусственного интеллекта надежно работают с реальными данными?

Ждать и смотреть здесь не может быть подходом. Некоторые модели машинного обучения можно тренировать на лету, в основном как механизмы обучения без учителя. Вы можете передать новые обучающие данные обратно в систему, и тогда система продолжит непрерывную оптимизацию. Однако, хотя иногда этого может быть достаточно, в других случаях сбой может быть катастрофическим.

Иногда клиенты терпят сотню бесполезных рекомендаций по продукту. Однако они определенно не могут допустить ни одной ошибки, которая может быть опасной или привести к потере значительной суммы денег. Бизнес-пользователи здесь ничем не отличаются.

Вот три вещи, которые вы можете найти, только наблюдая за своей системой ИИ.

Выделение статистических ляпов

По большому счету, эти аналитические методы зависят от сводной статистики набора данных. Этот подход может стать серьезной проблемой, поскольку несколько наборов данных с разными характеристиками могут иметь одинаковую сводную статистику.

Несколько наборов данных с разными характеристиками могут иметь одинаковую сводную статистику.

В феврале 1973 г. Ф. Дж. Анскомб опубликовал в журнале статью, в которой сказал: «Компьютер должен производить как вычисления, так и графики. Следует изучить оба вида результатов; каждый будет способствовать пониманию »[1].

Вдохновленный квартетом Анскомба [2] и Datasaurus, в августе 2016 года Альберто Каир создал набор данных Datasaurus [3]. Этот набор данных призывает людей «никогда не доверять только сводной статистике; всегда визуализируйте свои данные », поскольку, хотя данные демонстрируют нормальную статистику, нанесение данных на график дает изображение динозавра.

Autodesk в 2017 году опубликовал [4] подробный документ под названием «Одинаковая статистика, разные графики: создание наборов данных с различным внешним видом и идентичной статистикой посредством имитации отжига», посвященный этим новым характеристикам наборов данных.

Просматривая все эти ссылки, вы поймете, что с точки зрения злоумышленника это благо. Также в реальной жизни возможно возникновение подобных сценариев. Без квалифицированной красной команды и регулярного надзора за ИИ эти проблемы могут превратиться в угрозы и могут слишком долго оставаться незамеченными.

Обнаружение дрейфа концепции

Помимо статистических ошибок, наблюдение за ИИ может помочь вам выявить явление, известное как «дрейф концепций». Понятие «дрейф понятий» относится к неизвестной и скрытой взаимосвязи между входными и выходными переменными. Изменение данных может происходить из-за различных сценариев реальной жизни.

Более того, эта проблема изменения данных с течением времени и, таким образом, влияния на статически запрограммированные (или предполагаемые) базовые отношения - обычное явление для нескольких других реальных сценариев машинного обучения. Технический термин в области машинного обучения для этого сценария - «концептуальный дрейф». [5]

Вы можете спросить: «Почему это проблема?».

Для полностью статичного варианта использования это (дрейф концепции) вообще не проблема. Однако в некоторых случаях отношения между входными параметрами (или функциями) и выходными характеристиками со временем меняются. Если ваша модель машинного обучения действительно предполагает, что шаблоны данных статичны, в будущем возникнет проблема. Этот дрейф невозможно предсказать, поскольку изменения в окружающей среде или влияющих факторах могут быть случайными или сфабрикованными. В любом случае, без надзора за системой ИИ, вы никогда не сможете их обнаружить.

Одна из серьезных проблем при работе с дрейфом концепций состоит в том, чтобы обнаружить, когда этот дрейф происходит. Я предлагаю один из двух способов справиться с этим.

Одна из серьезных проблем при работе с дрейфом концепций состоит в том, чтобы обнаружить, когда этот дрейф происходит.

Когда вы дорабатываете модель машинного обучения для развертывания, запишите ее базовые параметры производительности, такие как точность, уровень квалификации и другие. При развертывании модели периодически отслеживайте изменения этих параметров, т. Е. Регулярно контролируйте ИИ. Если вы видите, что разница в параметрах значительная, это может указывать на потенциальное отклонение концепции, и вам следует принять меры, чтобы исправить это.

Другой способ справиться с этим - предположить, что произойдет дрейф, и поэтому периодически обновлять модель.

Нереально ожидать, что распределение данных останется стабильным в течение длительного периода. Допущения идеального мира в машинном обучении в большинстве случаев не работают из-за изменений данных с течением времени. Это ограничение становится растущей проблемой по мере увеличения использования этих инструментов и методов.

Признание того, что искусственный интеллект или машинное обучение могут оставаться внутри черного ящика в течение длительного времени и при этом они будут непрерывно развиваться, является ключом к решению этой проблемы.

Найдите то, что находится внутри черного ящика

Системы искусственного интеллекта, являющиеся черным ящиком, будут актуальной и постоянной проблемой. Несмотря на наплыв моря проблем и вопросов, связанных с доверием, получить доступ к внутренней логике систем искусственного интеллекта будет практически невозможно.

Однако с этой проблемой черного ящика можно немного по-другому справиться с помощью красных команд, действующих и контролирующих ИИ.

Проблема черного ящика может быть решена несколько иначе с помощью красных команд, действующих и контролирующих ИИ.

Этот подход, однако, требует тщательного проектирования экспериментов и сценариев путем тестирования и красных команд, а затем их систематического выполнения. Если все сделано правильно, пользователи или организации могут разумно оценить, что происходит внутри черного ящика, и затем действовать соответствующим образом.

Помните, что это верно и для внешних сторон, которые попытаются злонамеренно манипулировать вашими системами ИИ. Вот почему надзор со стороны ИИ может сыграть важную роль в выявлении этих рисков заранее или как можно раньше.

Заключение

У нас есть концепция машинного обучения с учителем, но управление самим ИИ не является глубоко продуманным.

Вы можете научить систему искусственного интеллекта прибегать к вмешательству человека, что может быть одной из стратегий. Однако некоторые могут часто сомневаться в его эффективности, поскольку это изначально противоречит существованию ИИ.

Недостаточно полагаться только на точную настройку моделей машинного обучения для получения более точных результатов. Это никогда не даст вам четкого представления о действительном риске.

Несколько методов машинного обучения, которые передаются в систему ИИ, основаны на нахождении корреляции в предоставленном наборе данных. Будь то обучающий набор данных или постоянный набор данных обратной связи, в большинстве случаев они будут обрабатываться одинаково.

Наблюдение за вашей системой ИИ может быть полезным на многих уровнях.

использованная литература

[1] Анскомб Ф. Дж. Графики в статистическом анализе. Американский статистик, т. 27, нет. 1, 1973, с. 17–21. JSTOR, www.jstor.org/stable/2682899. Https://www.jstor.org/stable/2682899?origin=crossref&seq=1#page_scan_tab_contents

[2] https://en.wikipedia.org/wiki/Anscombe%27s_quartet

[3] http://www.thefunctionalart.com/2016/08/download-datasaurus- Never-trust-summary.html

[4] https://www.autodeskresearch.com/publications/samestats

[5] https://medium.com/tomorrow-plus-plus/handling-concept-drift-at-the-edge-of-sensor-network-37c2e9e9e508

Об авторе: Ананд - это множество вещей, упакованных в одном человеке: серийный предприниматель, отмеченный наградами опубликованный автор, плодовитый оратор, сообразительный бизнес-советник и страстный духовный искатель. / em>

Если вам понравилась эта статья, подпишитесь на мою рассылку, чтобы получать больше таких статей, и свяжитесь со мной в LinkedIn.