"Математика"
Подход OpenAI к решению математических словесных задач
Новая исследовательская работа и набор данных направлены на достижение прогресса в одной из самых сложных областей глубокого обучения.
Вчерашний выпуск The Sequence освещал последние исследования OpenAI по решению математических задач со словами. Сегодня я хотел бы немного глубже погрузиться в идеи, лежащие в основе этого нового исследования.
Математическое мышление долгое время считалось одним из краеугольных камней человеческого познания и одним из основных критериев измерения «интеллектуальности» языковых моделей. Возьмем следующую задачу:
«У Энтони было 50 карандашей. Он отдал 1/2 своих карандашей Брэндону, а 3/5 оставшихся карандашей отдал Чарли. Оставшиеся карандаши он оставил себе. Сколько карандашей осталось у Энтони?»
Да, решение 10 карандашей, но не в этом дело 😉. Решение этой проблемы требует не только рассуждений по тексту, но и организации последовательности шагов для достижения решения. Эта зависимость от интерпретируемости языка, а также уязвимость к ошибкам в последовательности шагов представляет собой две основные проблемы при построении моделей ML, которые могут решать математические задачи со словами. Недавно OpenAI опубликовал новое исследование, в котором предлагается интересный метод решения подобных проблем.
К настоящему времени вы, должно быть, думаете, что метод OpenAI опирается на GPT-3, учитывая, что предварительно обученная модель была в центре их прогресса в различных областях обработки естественного языка. Предположение направлено верно. Модели OpenAI основаны на GPT-3 для понимания языка и используют два основных метода оптимизации своих возможностей для решения математических задач.
1) Точная настройка. Самый очевидный подход к оптимизации GPT-3 для решения математических задач — использование метода точной настройки. По сути, подход тонкой настройки авторегрессивно выбирает решение и проверяет, является ли это решение правильным.
2) Проверка. В этом подходе используются обученные верификаторы, которые могут отбирать несколько решений и присваивать оценку вероятности каждому из них, в конечном итоге выдавая решение с наивысшей оценкой. Конвейер проверки может выбрать до 100 возможных решений для данной проблемы.
Если мы обработаем исходную математическую задачу обоими методами, мы увидим разные этапы рассуждения.
Исследование OpenAI показало, что подход к проверке обеспечивает значительный прирост производительности при решении математических задач, а наборы данных достаточно велики. Помимо прочего, это связано с тем, что верификация является более масштабируемым и распараллеливаемым процессом.
Набор данных GSM8K
Для продвижения исследований в области решения математических задач OpenAI открывает источники набора данных GSM8K. Набор данных состоит из 8,5 тыс. высококачественных математических задач для начальной школы, для решения которых требуется от 2 до 8 шагов. Все решения написаны на естественном языке, что облегчает интерпретацию.
