Публикации по тегам llm

Публикации по теме 'llm'

Защита программ LLM с помощью ограждений

Защита программ LLM с помощью ограждений Прагматичное руководство по реализации ограждений, охватывающее как Guardrails AI, так и NeMo Guardrails от NVIDIA. Соавтором этой статьи является Хакан Текгуль Поскольку использование приложений на основе больших языковых моделей (LLM) становится массовым явлением и распространяется на более крупные предприятия, существует острая необходимость в обеспечении эффективного управления производственными приложениями. Учитывая, что открытый..

Создайте своего собственного бота-аналитика SQL

Задавайте вопросы о своих структурированных данных; Получите обоснованные ответы Введение Одна из проблем использования LLM (больших языковых моделей) в бизнес-контексте — заставить модель давать фактические и точные ответы о данных вашей компании. Одним из возможных решений является поисковая дополненная генерация (RAG) с использованием векторной базы данных для заполнения контекста подсказки (см. мой пост: Вопросы и ответы с вашими документами: нежное введение в механизм..

От нуля до модели встраивания семантического поиска

Серия статей о построении точной большой языковой модели для нейронного поиска с нуля. Мы начнем с BERT и преобразователей предложений , пройдемся по тестам семантического поиска, таким как BEIR , современным моделям, таким как SGPT и E5 , и закончим построением нашей игрушечной модели встраивания. Проблема с семантическим поиском Базовый дизайн системы семантического поиска, предложенный большинством поставщиков векторного поиска, состоит из двух простых (это ирония судьбы)..

Задача классификации текста с очень маленькими наборами данных: тонкая настройка по сравнению с ChatGPT

LLM превосходно работают с очень небольшими наборами данных, но классические подходы проявляют себя лучше по мере роста наборов данных. Команда Toloka ML постоянно исследует и сравнивает различные подходы к классификации текста в различных условиях. Здесь мы представляем еще один из наших экспериментов по производительности моделей НЛП при обучении на очень малых наборах данных. Ранее мы предоставили краткий обзор возможных решений и сравнили классические модели с моделями больших..

Создание приложения для анализа настроений в реальном времени с использованием Langchain и Streamlit (часть 1)

Поскольку возможности обработки естественного языка продолжают расширяться с появлением новых моделей машинного обучения, способность понимать текстовые данные становится как никогда важной. В этом руководстве мы рассмотрим, как вы можете использовать возможности Langchain и Streamlit для создания приложения для анализа настроений в реальном времени. Но прежде чем погрузиться в код, давайте раскроем, чем этот проект особенно интересен. Анализ настроений — это мощный инструмент НЛП,..

Как более широкое контекстное окно раскрыло потенциал LLM

Последние LLM (большие языковые модели) генеративного ИИ, такие как Claude2 из Anthropic, привнесли ряд усовершенствований в науку о данных и машинное обучение, что привело к повышению производительности и более точным ответам. Доступные через API или такие веб-сайты, как claude.ai, эти модели демонстрируются как эффективный персональный помощник, который может легко следовать и выполнять инструкции на естественном языке. Роль токенов Концепция токенов превратила Клода в передового..

Может ли LLM научиться рассуждать о причине и следствии?

Причинное мышление — способность понимать и анализировать причинно-следственные связи между событиями — долгое время считалось отличительной чертой человеческого интеллекта. С раннего возраста люди интуитивно устанавливают причинно-следственные связи, чтобы понять окружающий их мир. Но могут ли системы искусственного интеллекта приобрести эту способность, которая так естественна для людей? Недавние достижения в больших языковых моделях (LLM), таких как GPT-3 и ChatGPT, позволили совершить..