Машинное обучение и глубокое обучение больше не следует рассматривать как черный ящик!
В этой серии статей мы покажем, что можно использовать, интерпретировать и принимать правильные решения, используя достижения науки о данных. Наш подход будет основан на конкретных случаях и нескольких фреймворках Python.
Какую профессию Гарвард назвал самой сексуальной работой 21 века? Правильно ... специалист по данным.
Наука о данных - это постоянно развивающаяся профессия, в которой предложение превышает спрос. Эта быстро развивающаяся область, основанная на математическом прогрессе и технологическом развитии, влияет на нашу повседневную жизнь. Кто бы мог подумать несколько десятилетий назад, что виртуального помощника можно использовать для покупки билетов в кино или бронирования столика в ресторане?
Несмотря на такой невероятный рост, большинство людей и компаний могут не иметь четкого представления о том, что такое наука о данных. Парадоксально, но это еще более верно в отношении бизнеса, где те, кто может извлечь наибольшую пользу из достижений науки о данных, понимают это меньше всего. Основная идея - использовать входные данные для удовлетворения конкретных потребностей - в целом понятна, но методы науки о данных по-прежнему рассматриваются как черный ящик.
Таким образом, мы имеем дело с существенной проблемой:
Машинное обучение и растущая сложность глубокого обучения позволяют реагировать на все более сложные и разнообразные потребности, но страх перед «черным ящиком» во многих случаях препятствует их внедрению.
Почему наука о данных становится все более сложной?
Новые модели возрастающей сложности получают широкое распространение каждый день, начиная от случайного леса или ускорения до глубокого обучения и обучения с подкреплением. Эти разработки возможны из-за увеличения вычислительной мощности, использования GPU / TPU или даже облачных решений, таких как Amazon Web Services или Google Cloud Platform. Доступ к этим ресурсам стал обычной практикой, что сделало мир возможностей еще шире. Все это дает возможность обрабатывать экспоненциально увеличивающиеся доступные данные.
В свете этих благоприятных событий сложность искусственных нейронных сетей возросла - от простого персептрона до полностью связанных сетей через рекуррентные нейронные сети, способные сохранять информацию в памяти, до сверточных нейронных сетей, позволяющих облегчить обработку изображений и видео ... Становится еще сложнее для профессиональных специалистов по данным, чтобы понять эти сложные архитектуры. Хотя многие специалисты по обработке данных отдают приоритет производительности, пренебрегая интерпретируемостью и понятностью своих моделей машинного / глубокого обучения, они не принимают во внимание влияние этого отсутствия интерпретируемости на заинтересованные стороны: когда модели науки о данных рассматриваются как черный ящик, прозрачность, безопасность и доверие становится центральным вопросом.
Каковы основные мотивы интерпретируемости модели?
Интерпретируемость модели очень важна по нескольким причинам:
· Оптимизация модели: понимание того, как работает ваша модель, помогает выявить области, в которых можно улучшить
· Проблема с доверием: специалист по анализу данных должен уметь объяснять свои модели неспециалистам, чтобы они доверяли его результатам.
· Обоснование результатов. Как правило, модель, помогающая принять решение о принятии или признании заявки на ссуду недействительной, должна быть в состоянии обосновать отказ
