Что, если мы обучаем модели машинного обучения так же, как обучаем младенцев?

вступление

Сегодня я прочитал интересный комментарий о пресловутой проблеме переподгонки в машинном обучении, и автор описывает переподгонку модели как ученика, который слишком старается учиться на представленном учебном материале и начинает верить в некоторые материалы. которые не обязательно верны.

Этот комментарий показался мне особенно интересным. Не только потому, что это смешно, но и потому, что раскрывает фундаментальную связь между машинным и человеческим обучением. Слишком долго мы думали о модели машинного обучения как о статистической модели, но представление о модели обучения как об обучении студентов может быть очень полезным. И я думаю, что частично именно поэтому «Глубокое обучение», недавняя технология машинного обучения, может быть настолько успешной.

В глубоком обучении

По мере того, как мы узнаем все больше и больше о когнитивной науке, люди начинают разрабатывать когнитивную систему в машине, и «Глубокое обучение» является отличным примером. Чтобы воспринимать информацию от датчиков, человеческий мозг имеет последовательность специфических -> общих слоев, где отдельные сигналы принимаются на первом уровне и обобщаются и понимаются на более позднем уровне.

Например, комбинация фотонных рецепторов дает нам форму зеленого дерева, а затем система памяти помогает нам запомнить эту форму как «дерево». Точно так же в глубоком обучении информация, как и изображения, разбивается и рекомбинируется в более высоком измерении, прежде чем она будет изучена. Однако я не думаю, что «Глубокое обучение» является единственным отражением процесса обучения/познания человека.

В старом машинном обучении

Несмотря на то, что в более старой области машинного обучения построение модели является скорее статистическим процессом, они по-прежнему очень хорошо связаны с процессом обучения человека.

Усердно работайте над своим слабым местом

Когда я еще учился в старшей школе, нас ранжировали по общему количеству баллов по китайскому языку, математике, английскому языку, физике, химии и биологии. Я редко попадал в топ-10, потому что я не очень силен в китайском языке и биологии. Поэтому больше времени трачу на китайский язык и биологию. Работайте усерднее над своим слабым предметом, так они это называют.

Тот же дух на самом деле заимствует метод машинного обучения под названием AdaBoost, где обучается ряд моделей и на каждой итерации обучения неправильно предсказанной выборке будет придаваться больший вес, чтобы модель училась на этой выборке усерднее. во время следующей итерации. Так что да, модели также нужно усерднее работать над своим слабым образцом/признаком.

Не будьте лягушкой, которая жила в мелком колодце

Когда я был совсем маленьким, мои родители любили путешествовать со мной, чтобы я могла больше видеть и, надеюсь, больше понимать. Они также поощряли меня испытывать разные вещи, потому что считают, что для творчества нужно увидеть больше и понять, насколько огромным может быть этот мир. Знаменитая лягушка из басен Эзопа думает, что небо — это просто голубой круг, потому что он мало что видел.

В машинном обучении видеть больше означает больше выборочных данных. Чтобы обучить хорошую модель, мы делаем упор на сбор данных, и даже есть девиз «Кто владеет данными, кто король». в поле. Только при наличии достаточной обучающей выборки модель может быть достаточно надежной. Если машина только выучила представления о европеоидах и гориллах, то, конечно, она пометит афроамериканцев как гориллу (шутка с тобой, Гугл!). Так что да, вы не хотите, чтобы ваша модель машинного обучения была лягушкой, которая жила в неглубоком колодце.

Не запоминайте пробный экзамен (иначе вы перетренированы)

Я люблю профессоров, которые готовы готовить практические экзамены, хотя заучивание каждого вопроса на практическом экзамене НИЧЕГО НЕ ДОСТАЕТ. Я думаю, что хороший подход к изучению пробного экзамена — просто получить общее представление о том, что будет на экзамене и насколько сложным он будет. Кроме того, я хотел бы получить представление о том, как профессор будет проводить тестирование по конкретной теме, и как лучше всего подходить к вопросам по такой теме. Таким образом, вместо того, чтобы изучать детали практического экзамена, может быть полезнее получить общую идею из практического экзамена.

Если мы думаем об обучающей выборке в машинном обучении просто как о практическом экзамене, а о выполнении пробного экзамена как об обучении модели, то применим тот же принцип. Если машина просто запоминает каждый отдельный вопрос (точку данных) из практического экзамена (набор обучающих данных), она будет перенастраивать набор обучающих данных (точно так же, как пример переобучения выше!). Несмотря на то, что модель набрала 100 баллов на своем тестовом экзамене, запоминание каждого отдельного экзамена, вероятно, не поможет ей пройти фактический тест (тестовый образец). Вместо этого, если модель может сделать хорошее обобщение обучающей выборки, она, вероятно, может дать 80% результатов во время фактического теста, даже если она не может дать конкретный ответ на эти практические вопросы.

Вывод

Список избитых стратегий обучения можно продолжать и продолжать, но идея, стоящая за этими примерами, на самом деле заключается в том, чтобы связать идею машинного обучения со стратегией обучения человека, и, возможно, в следующий раз, когда вы будете обучать модель, думайте об этом как об обучении студента. Что вы будете делать?

Многие хорошие исследователи машинного обучения, как правило, очень хорошие наставники, и мне интересно, имеет ли эта идея какое-либо отношение к этому. ;П

Отказ от ответственности: у меня нет докторской степени в области машинного обучения или когнитивных наук, поэтому не принимайте мои слова как должное