Если я вас спрошу — «похож ли Maruti Swift на Hyundai i20 или BMW X7»

Хотя ответ прост. Но как вы и ваш мозг отвечаете на это?

Вы мысленно сравниваете характеристики между Swift (наш запрос) и i20. И вы мысленно выводите оценку сходства.

Затем вы сравниваете функции Swift и X7, а затем снова получаете оценку сходства.

Этими функциями могут быть цена, двигатель CC, стоимость бренда и т. д.

Теперь i20 будет иметь очень высокий показатель сходства (скажем, 0,88), а X7 будет меньше (скажем, 0,56), верно?

Ответ — «Swift похож на i20».

Поздравляем! интуитивно вы поняли некоторые фундаментальные концепции ML/AI:

  • Параметр: уникальная характеристика или атрибут, например, цена, числовое значение движка и т. д.
  • Параметр: алгоритм понимает только числа. Период. Таким образом, корпус текста проходит несколько уровней модели глубокого обучения (DL), такой как GPT. Модели глубокого обучения идентифицируют особенности и шаблоны, на основе которых сложные алгоритмы определяют, какие смещения и веса следует использовать в сложных уравнениях. Эти изученные значения смещений и весов называются параметрами. В нашем примере с автомобилем нейронная сеть нашего мозга сделала бы что-то подобное.

GPT3 имеет 175 миллиардов параметров
GPT4 имеет чертовски 1,7 триллиона параметров (да, триллион с буквой T). Это объясняет, почему модели GPT все время так требовательны к GPU :-P

  • Встраивание. Алгоритм глубокого обучения использует эти миллиарды и триллионы параметров для преобразования этих простых слов в подробный массив чисел с плавающей запятой. Думайте об этом массиве чисел как о координатах многомерного пространства. Когда вы используете эти координаты (формально называемые векторами), вы можете встроить этот текст в пространство. Вот что такое вложение. Итак, мы преобразовали текст в числа. Что теперь делать с этими вложениями (числами)? Немного геометрии и тригонометрии!!
  • Сходство по косинусу: мы определяем сходство между двумя числами (также известными как координаты), рисуя линии от начала координат до этой координаты (примечание: эта линия называется вектором). Затем мы находим степень между этими двумя линиями и берем значение косинуса этой степени. Почему косинус? Потому что cos(0) равен 1. А 0 градусов означает, что 2 строки идентичны. Таким образом, подобные тексты имеют меньшую степень между их вложениями. В примере с автомобилем встраивание Swift ближе к встраиванию i20 и далеко от X7 и даже дальше от кресла!

Поздравляем! Теперь вы понимаете, как Нетфликс рекомендует сериалы (когда покажут игру про кальмара S2🤯). А также как LLM (такие как GPT, Bard) используют этот швейцарский армейский нож под капотом.

Что дальше?

(Подсказка: реализуйте все вышеперечисленное всего в 3 строчках кода, используя Langchain!!)

(Забавный факт: я был в шоке, когда увидел результаты этих строк)

Предыдущий пост: Как создать свой ChatGPT в 2 строки?

Следуйте за мной в этом приключении #AI, #Langchain и #LLM.