Что такое KI-NLP и как его можно использовать для разговорного ИИ?
Интенсивная обработка естественного языка (KI-NLP) хорошо подходит для ответов на вопросы, а не для поиска в Интернете или использования LLM «черного ящика». KI-NLP получает доступ к цифровому архиву для получения соответствующей информации, и чем полнее архив, тем эффективнее результат.
Введение
Прежде чем погрузиться в КИ-НЛП, я хотел бы рассмотреть одну идею. Идея о том, что NLU всегда был центральным элементом фреймворка для разработки чат-ботов, и что он находится в процессе изменения.
Идея о том, что модели, связанные с языком (LLM, KI-NLP), имеют открытый исходный код, каждая из которых охватывает различные варианты использования.
идея, что эти модели станут неотъемлемой частью платформ чат-ботов в недалеком будущем.
И, наконец, идея объединения новых пользовательских интерфейсов для доступа, управления, тонкой настройки и оркестровки этих моделей.
Эти модели, которые находятся в открытом доступе и доступны, охватывают четыре основных компонента любого решения для разговорного ИИ, как указано ниже.
Что такое KI-NLP? Он служит в качестве очень обширного предметного, наукоемкого интерфейса для ответов на вопросы или задач проверки фактов, известных в совокупности как наукоемкая обработка естественного языка. (КИ-НЛП). Модели ИИ, лежащие в основе структуры KI-NLP, ищут в цифровом архиве соответствующую информацию. Чем полнее цифровой архив, тем шире и правильнее будут ответы.
Ниже пример КИ-НЛП из игровой площадки AI21studio, где задается общий вопрос с ответом на естественном языке.
KI-NLP всегда считался эксклюзивным для таких компаний, как Google, AWS, Meta и т. д. Но с появлением Сферы это уже не так…
Ключи к языковым технологиям, таким как модели больших языков (LLM), раньше были у немногих…
Это быстро меняется с появлением моделей с открытым исходным кодом, таких как BLOOM, NLLB и связанных с разговорным ИИ, GODEL, а теперь и Sphere.
Интенсивная обработка естественного языка (KI-NLP) позволяет пользователям задавать широкий спектр вопросов общего характера, а KI-NLP может дать точный, краткий и хорошо сформированный ответ на естественном языке.
Ниже приведен пример из OpenAI, где KI-NLP используется для получения ответов практически на любой вопрос. Ответы также даны на естественном языке и кратки по форме. Итак, мы используем КИ-НЛП, даже не осознавая этого.
До сих пор КИ-НЛП в широкой области представлял собой черный ящик или в значительной степени зависел от Википедии и тому подобного. С помощью Сферы организация может создать собственный КИ-НЛП с полным контролем над результатами.
Проблема
KI-NLP до недавнего времени сталкивался с рядом проблем.
1️⃣ KI-NLP зависит от коммерческих реализаций черного ящика, таких как пример от OpenAI, показанный ниже.
2️⃣ Еще одна проблема заключается в том, что цифровые агенты зависят от Википедии или других API, связанных с KI-NLP. Примером может служить реализация вопроса и ответа NVIDIA Riva. Как вы видите в приведенном ниже примере, вопрос задается через ноутбук NVIDIA, и возвращается соответствующий ответ.
3️⃣ Можно использовать коммерческие поисковые системы, но потребуется слой абстракции с некоторой логикой. Актуальна ли информация, как работает ранжирование, сколько результатов возвращается, будет ли она на естественном языке…
Подход мета-ИИ
Meta AI утверждает, что с помощью Sphere они создали первое решение для поиска информации в белом ящике с использованием информации из Интернета.
Почему веб? Как источник знаний, это:
- универсальный
- не курируемый
- неструктурированный
В Meta AI мы создаем новые достижения в области более интеллектуальных систем искусственного интеллекта, которые лучше используют знания реального мира.
~ Meta
Сфера как источник знаний использует данные из открытой сети…
Сфера содержит 134 миллиона документов, разбитых на 906 миллионов отрывков по 100 токенов в каждом, что представляет собой на несколько порядков больше данных, чем источники знаний, рассмотренные в текущем исследовании KI-NLP.
Заключение
Как я упоминал об этом во введении… мы видим, что большие языковые модели (LLM) имеют открытый исходный код, и мы также видим открытый исходный код других языковых технологий, таких как поиск и ответ сейчас с KI-NLP. .
Доступ становится демократичным, и это служит хорошим предзнаменованием в будущем.
Эти различные элементы станут ключевыми в создании полноценного разговорного ИИ.
Мы создали новое решение для поиска по принципу «белого ящика, используя самую обширную в мире библиотеку — открытую сеть…
'Кто первым получил Нобелевскую премию по физике?' Если бы вы были поставлены в тупик этим вопросом 40 лет назад, возможно, вы открыли бы…ai.facebook.com»
