Руководство по тестированию, оценке и мониторингу вызовов LLM для производства с использованием LangSmith.
Что такое ЛэнгСмит?
LangSmith — это унифицированная платформа, которая позволяет разработчикам создавать LLM-приложения производственного уровня, а также отлаживать, тестировать, оценивать и отслеживать эти приложения, обеспечивая эффективные жизненные циклы разработки, обслуживания и улучшения моделей ИИ. LangSmith создан разработчиками, которые предоставили вам LangChain, и легко интегрируется с этой библиотекой; проект в настоящее время находится в стадии бета-тестирования и периодически разрешает доступ к новым подпискам.
Предпосылки
В этой статье основное внимание уделяется LangSmith и его возможностям, поэтому я предоставил приложение LangChain в качестве примера, который вы можете использовать для изучения.
Руководство
LangSmith предоставляет несколько функций, которые можно использовать при улучшении наших приложений с поддержкой LLM. Первый заключается в отслеживании запусков, связанных с активным экземпляром, а затем в тестировании и оценке любых сгенерированных подсказок или ответов. Мы рассмотрим два варианта использования по мере прохождения этого руководства.
Сценарий № 1. Отслеживание
Сначала зарегистрируйтесь в LangSmith и создайте ключ API, перейдя на страницу настроек с помощью значка ключа в левом нижнем углу этой страницы.
Затем git клонируйте репозиторий:
git clone [email protected]:Ricoledan/langsmith-demo.git
Установите необходимые зависимости:
pip install -r requirements.txt
Скопируйте .env.example в файл .env:
cp .env.example .env
Обновите файл .env, указав свои учетные данные, чтобы настроить среду.
# .env LANGCHAIN_TRACING_V2=true LANGCHAIN_ENDPOINT=https://api.smith.langchain.com LANGCHAIN_API_KEY=<your-api-key> LANGCHAIN_PROJECT=langsmith-demo # if not specified, defaults to "default"…
