По мере того, как мы полагаемся на машинное обучение, растет и наше понимание его.

Так в чем проблема?

Краткий ответ: большинство моделей машинного обучения (ML) не очень хорошо изучены, и по мере того, как экономика становится все более зависимой от результатов ML, возрастает риск неверных прогнозов и системной дискриминации в технологиях, основанных на искусственном интеллекте.

Длинный ответ:

Не секрет, что почти все средние и крупные компании принимают решения на основе данных. Большинство компаний в той или иной степени используют ИИ либо напрямую (посредством внутренней разработки), либо косвенно (с использованием стороннего программного обеспечения). Сейчас мы находимся в точке, где «ИИ» больше не является модным словом - его использование большинством компаний просто предполагается.

Однако в основе всего ИИ лежит машинное обучение. Традиционно модели машинного обучения представляют собой «черные ящики», куда поступают данные, а прогнозы появляются без понимания разработчиками, как и почему. Точности модели было достаточно, чтобы знать, что ей можно доверять.

«Теперь, когда машинное обучение встроено в большинство приложений, риск системной дискриминации на основе данных и несправедливых методов прогнозирования достиг рекордно высокого уровня».

Рассмотрим жилищный кредит, в котором отказано на основании этнической принадлежности, пола, религии или сексуальной ориентации. Такой сценарий, хотя и несправедливый и абсурдный, не редкость. Подобные примеры распространены почти во всех отраслях - представьте себе последствия этой дискриминации для таких секторов, как здравоохранение, банковское дело и страхование! К счастью, такие случаи, как правило, вызваны не злым умыслом, а, скорее, предвзятыми данными, которые были упущены разработчиками данных. Имея правильную технологию и правильное приложение, мы можем попрощаться с дискриминационными технологиями и приветствовать мир, основанный на машинном обучении, который является справедливым и свободным от предвзятости.

Войдите в объяснимое машинное обучение

По мере того, как мировая зависимость от машинного обучения становится все глубже, наше понимание того, как и почему создаются прогнозы для каждой модели, должно стать более зрелым.

Объясняемое машинное обучение (EML) - это новое поколение машинного обучения, которое обеспечивает объяснимость и интерпретируемость моделей машинного обучения. Это технология, которая значительно снизит риск предвзятого и дискриминационного машинного обучения и поможет организациям и экономике принимать более обоснованные решения и работать более эффективно.

Итак, что я имею в виду под объяснимостью и интерпретируемостью? Эти два термина часто (и ошибочно) используются как синонимы, но в оценке машинного обучения есть несколько ключевых различий.

Объяснимость

Объяснение отвечает на вопрос, ЧТО и ПОЧЕМУ скрываются за внутренними механизмами модели на языке, понятном людям, что дает несколько ценных преимуществ:

  • Понимание функции модели специалистами нетехнической области.
  • Обнаружение ошибок прогноза
  • Идентификация ранее невидимых концепций (какие ненаблюдаемые события могли произойти с учетом наблюдаемых событий)
  • Лучшее понимание того, когда присутствует неопределенность, предвзятость или несправедливость

Интерпретируемость

Интерпретируемость отвечает, КАК модель приходит к заданному результату без необходимости понимать ее внутренние механизмы, помогая найти ответ на важные вопросы, которые часто упускаются из виду специалистами по анализу данных:

  • Если вы измените определенные входные параметры, приведет ли это к тому же результату, лучшему или худшему?
  • Произойдет ли событие, если ситуация изменится?

«Объясняемое машинное обучение эффективно действует как переводчик, который позволяет пользователю понимать и даже изменять результаты».

Если бы вы когда-либо работали специалистом по анализу данных или вместе с ним, вы почти наверняка задумались бы над вопросом «почему модель сделала такое предсказание?» или «что мы можем сделать, чтобы изменить этот прогнозируемый результат?». По моему собственному опыту, возможность четко и уверенно ответить на эти вопросы не менее важна, если не более важна, чем точная настройка гиперпараметров вашей модели. Почему? Причин несколько.

Что EML приносит к столу

1. Экспертиза в предметной области при оценке модели

Превосходные модели учитывают сочетание статистических навыков, опыта в области компьютерных наук и специальных знаний в конкретной области, когда они находятся в стадии разработки (вы все видели классическую диаграмму Венна). Следовательно, эффективные модели также должны использовать эти три области при оценке. EML приглашает менее технических членов команды к разговору об оценке и интерпретации модели - то, что до сих пор оставалось исключительно статистикой. С этими дополнительными мозгами, добавленными к уравнению, в инструментарий оценки машинного обучения появляется линза знаний в предметной области.

2. Влияние на результаты

Если прогноз неблагоприятен, как вы должны знать, как изменить результат, если вы не понимаете, ПОЧЕМУ он неблагоприятен? Допустим, вы разработали почти идеальную модель, которая может предсказать отток клиентов (независимо от того, уйдет ваш клиент или нет) с точностью 98%. Вы доставляете свои прогнозы специалистам по работе с клиентами, которые замечают, что ваш самый ценный клиент почти наверняка уйдет, если вы не предпримете никаких действий. Какая в этом польза, если вы не знаете, ПОЧЕМУ они могут уйти? Разве вы не должны знать, какие переменные приводят к этому прогнозу? Вы можете это контролировать?

«EML не только проливает свет на то, почему мы можем ожидать определенных результатов, но также позволяет нам понять, как на эти результаты можно повлиять».

3. Исполнительный бай-ин

Почему лицо, принимающее решения, должно доверять вашим прогнозам, если вы не можете легко их объяснить или оправдать? Руководитель с 20-летним опытом работы в отрасли вряд ли примет ответ «модель набрала 90% точности по данным проверки, так что вы можете ей доверять», когда подвергнет сомнению предсказание, противоречащее его интуиции. Возможность визуально обосновать и объяснить, ПОЧЕМУ модель пришла к определенному результату на их языке, является ключом к поддержке со стороны руководства.

4. Взлет Citizen Data Scientist

В сочетании с автоматическим машинным обучением (AutoML) EML позволяет менее технически подготовленным людям выполнять повседневные задачи машинного обучения, которые являются точными и свободными от предвзятости и дискриминации. Устраняя необходимость в высокотехнологичных специалистах по данным для решения повседневных задач машинного обучения, EML открывает новую эру «Citizen Data Scientist» и позволяет техническим экспертам сосредоточиться на более сложных проблемах, действиях и результатах.

Новое поколение

Традиционно проекты в области науки о данных были в значительной степени сосредоточены на сборе правильных данных, очистке и разработке правильных функций, а также на выборе и настройке правильных моделей. Следующее поколение честного, автоматизированного и понятного машинного обучения только начинается.

EML расширяет возможности гражданских специалистов по данным, объединяя менее технических специалистов со сложными моделями машинного обучения и переводя рынок труда с данными от тех, кто может строить модели машинного обучения, к тем, кто может их понять, интерпретировать и принять меры. С его помощью мы можем создать мир, основанный на машинном обучении, который будет справедливым и свободным от предвзятости и дискриминации.