По мере того, как интеллектуальное использование данных становится отличительным фактором успешных организаций, все больше и больше людей хотят присоединиться к золотой лихорадке. «Специалисты» появляются повсюду, и бизнесу становится все труднее отличить суть от ерунды. К счастью, машинное обучение имеет встроенный механизм защиты от чуши.

[Это более подробный взгляд на предыдущую статью, опубликованную Дэном Кордером]

Число специалистов по анализу данных в LinkedIn удвоилось за последние 4 года. Специалисты по обработке данных, похоже, приходят из многих не связанных между собой дисциплин. Специалисты в области компьютерных наук обычно возглавляют набор кадров, но статистики, математики, нейробиологи, лингвисты и аспиранты практически из всех областей влияют на науку о данных.

Традиционные статистики также стремятся поймать лодку. Часто встречаются анекдоты об ученых, которые называют обычную регрессию методом наименьших квадратов« машинным обучением .

Модные словечки также быстро распространяются. Например, на странице Википедии о интеллектуальном анализе данных указывается, что термин интеллектуальный анализ данных является неправильным, поскольку его цель - не извлечение данных, а их обработка. На странице также приводится книга Интеллектуальный анализ данных: практические инструменты и методы машинного обучения с использованием Java в качестве примера злоупотребления модным словом. Изначально книга называлась просто Практическое машинное обучение. Название было расширено по чисто маркетинговым причинам.

Как ваша компания оценивает конкретные решения, учитывая, что машинное обучение продолжает расти? Чтобы понять эту оценку, важно понимать концептуальные различия между традиционными статистическими методами и машинным обучением.

Но сначала очень небольшое путешествие по истории научной мысли ...

Опровержимость

В XIX веке у философов науки была проблема. Разработанный ими научный метод дал революционные результаты. Но философы начали понимать, что в их основе было что-то глубоко ошибочное.

В то время индуктивный метод работал так, что ученые проводили многократные наблюдения за миром, и если определенные правила, казалось, выполнялись во всех этих наблюдениях, то правило рассматривалось как научный факт.

А теперь представьте индейку XIX века, воображающую себя ученым. После почти года наблюдения за фермером, входящим на скотный двор, за которым следует индейка, которую кормили, индейка приходит к выводу, что фермеры приносят еду - это естественное правило. Удовлетворенная собой, индейка в следующий раз, когда заходит фермер, устремляется к ней, и ее тут же забивают.

Вот почему философ ХХ века Карл Поппер предложил переосмысление системы. Он сказал, что наука не доказывает истину, а доказывает ложь. Всякий раз, когда у нас есть теория, мы должны тщательно ее проверять, чтобы попытаться опровергнуть ее. Если нам это удастся, значит, мы кое-чему научились. Мы узнали, что теория не соответствовала действительности. Если мы неоднократно терпим неудачу, мы все равно не можем сделать вывод о том, что теория верна. Но мы должны принять это до тех пор, пока дальнейшие доказательства не продемонстрируют обратное.

Как прямое следствие этой системы, единственные теории, которые Карл Поппер считал способными быть «научными истинами», - это теории, ошибочность которых можно доказать. Теории, которые не могут быть доказаны как ложные, также не могут быть научно истинными. Это называется «опровержимостью».

Важно отметить, что в основе опровержимости лежит предсказание. Чтобы теория могла быть проверена только посредством наблюдения, она должна делать прогнозы. Только тогда эти предсказания могут быть проверены эмпирически, и, в более широком смысле, сама теория.

Вывод против прогноза

На форумах технических вопросов и ответов есть сотни примеров, в которых обсуждаются фактические различия между машинным обучением и традиционной статистикой. Одним из наиболее юмористических примеров было определение термина «крупный исследовательский грант»: очевидно, около 1000 долларов в статистике и 100 000 долларов в машинном обучении.

Однако одним из ключевых отличий является результат, который подчеркивается каждой из систем. В статистике целью обычно является вывод. В машинном обучении это прогноз.

Грубо говоря, вывод заключается в оценке статистики населения по выборке, например, по результатам опроса. Вы берете интервью у нескольких человек, спрашиваете их, что они думают, скажем, о глубоком обучении, а затем пытаетесь сделать вывод, как большая часть населения относится к глубокому обучению.

После этого статистики могут делать прогнозы. Исходя из своих оценок численности населения, они могут сказать что-то вроде «если вы выберете кого-то в этой области, я предсказываю, что они поверят, что глубокое обучение - это страшно». Но этот шаг прогнозирования всегда следует за выводом.

Один очевидный недостаток методов вывода состоит в том, что невероятно сложно проверить, правильно ли кто-то обработал числа. Если вы скажете, что 30% населения верят X, как я могу это эмпирически проверить?

Я мог проверить методы . Я мог проверить их методологию и расчеты. Но чтобы эмпирически проверить их результаты, мне пришлось бы провести собственное исследование. На мой взгляд, это основная причина того, почему качество статистики в академических журналах в настоящее время настолько ужасно, и почему это часто обнаруживается только тогда, когда проводятся исследования репликации.

Машинное обучение, напротив, очень мало заинтересовано в том, чтобы делать какие-либо выводы о мире. Выводные результаты иногда получаются как побочный продукт. Но в качестве отправной точки машинное обучение переходит прямо к прогнозированию. Он делает прогнозы и просто продолжает учиться на своих ошибках, пока его прогнозы не окажутся в допустимых пределах.

Итак, как вы оцениваете предложение по машинному обучению для своей компании?

Попросите их доказать, что это работает.

Причина, по которой я занялась машинным обучением, заключалась в просмотре видео, в котором вертолет летит сам. В течение долгого времени я считал, что машинное обучение - это просто чепуха-фокус-фокус, созданная статистиками-любителями. Но действительно трудно спорить о целесообразности использования интервала Вальда с вертолетом, который сам летает. Как бы то ни было, этот материал явно работает.

И это именно то, что вам следует требовать от провайдеров машинного обучения. Какая-то демонстрация успеха. Вы никогда не сможете заставить исследовательский центр потребителей доказать точность своих результатов таким образом. Но с машинным обучением это возможно.

Конечно, это немного упрощение. В зависимости от бизнес-задачи формат этой демонстрации может потребовать настройки. Существует нехватка легко обобщаемых алгоритмов машинного обучения, и успех часто трудно определить заранее.

Но будь то минимально жизнеспособный продукт, тестовый пример, структура непредвиденных расходов или даже просто примеры предыдущей работы, решения для машинного обучения должны делать прогнозы в той или иной форме. И на определенном этапе эти прогнозы можно и нужно проверить.

Нил - специалист по стратегии обработки данных в Q Division. В свободное время он пишет больше интересных сообщений для своего личного блога.