Впервые я использовал большую языковую модель еще до ChatGPT. Я был буквально поражен тем, на что он способен. Это было похоже на волшебство. Я задавался вопросом, как такое представление стало возможным. В чем был секрет этих фокусов? Хотя я могу жить, наслаждаясь хорошим фокусным представлением, не зная, как выполняются фокусы, то же самое нельзя сказать об использовании больших языковых моделей («LLM»). Мне хотелось залезть под капот и разобраться, что происходит.

После долгих размышлений и исследований я пришел к выводу, что студенты магистратуры — эрудиты. Для тех, кто не знаком с этим термином, эрудит — это человек, обладающий глубокими знаниями во многих разрозненных дисциплинах. Эрудит – это не только мастер на все руки, но и мастер многих из этих профессий.

Самый известный эрудит в истории – Леонардо да Винчи. У него был опыт в живописи, анатомии, инженерном деле и так далее. Для полноты информации, как и мой герой да Винчи, я тоже эрудит. Область моих знаний варьируется от искусственного интеллекта до кинопроизводства, боевых искусств и не только.

До сих пор не было единого мнения о том, как LLM могут так хорошо выполнять множество задач, особенно в областях, которым они не были специально обучены. Я сам ломал голову над этим, пока не наткнулся на статью Майкла Араки «Полиматия: новый взгляд» в октябре 2018 года.

Араки утверждал, что полиматия включает в себя: 1) глубину знаний, 2) широту знаний и 3) интеграцию знаний. Когда я исследовал эти три характеристики человека-эрудита, я сразу увидел параллель с большими языковыми моделями. Чтобы распознать эрудита, нужен эрудит.

Основное преимущество человека-эрудита заключается в том, что вы можете использовать глубокие знания в различных областях для решения проблем в новых областях. Это преимущество достигается за счет интеграции знаний. Например, Леонардо да Винчи широко изучал зоологию и использовал эти знания для создания летательных аппаратов, основанных на движении птичьих крыльев.

LLM, такие как семейство моделей GPT OpenAI, обучаются на многих петабайтах текстовых данных из множества разрозненных доменов. Это придает этим моделям как глубину, так и широту знаний. Первые две особенности полиматии. На основе этих обширных обучающих данных выводятся миллиарды параметров модели. Параметризация модели аналогична третьей особенности полиматии, то есть интеграции знаний. Тот факт, что LLM являются эрудитами, означает, что вы можете задать чат-боту, который использует нестандартные вопросы LLM, и получить аргументированный ответ.

Например, я задал чат-боту на базе LLM следующий вопрос: «Как лучше всего создать летающий автомобиль?» Базовый LLM не был специально обучен высказывать мнения о летающих автомобилях. Однако чат-бот сказал мне, что создание летающего автомобиля потребует решения сложных инженерных проблем, связанных с аэродинамикой, силовой установкой, безопасностью и нормативами. Чат-бот посоветовал мне собрать многопрофильную команду, состоящую из аэрокосмических инженеров, ученых-компьютерщиков и специалистов по нормативному регулированию, для решения этой проблемы. Для меня это звучит как разумный ответ.

От одного эрудита к другому, добро пожаловать в семейную программу LLM. Думаю, я пойду в свой гараж и поработаю над созданием прототипа летающего автомобиля. Почему в «Джетсонах» должно быть все самое интересное?