Мониторинг значимых показателей для приложений LLM, объединение возможностей LLM с компьютерным зрением, WhyLabs, признанных CB Insights GenAI 50, и многое другое!
Каждую неделю в сообществе надежного и ответственного ИИ (R2AI) WhyLabs происходит много событий! Это еженедельное обновление служит подведением итогов, чтобы вы ничего не пропустили!
Начните изучать MLOps и мониторинг машинного обучения:
- 📅 Присоединяйтесь к следующему событию: Создание лучших моделей компьютерного зрения — Harpreet Sahota
- 💻 Ознакомьтесь с нашими проектами с открытым исходным кодом whatlogs и LangKit!
- 💬 Присоединяйтесь к более чем 1200 надежным и ответственным пользователям AI Slack.
- 🤝 Запросите демонстрацию , чтобы узнать, какую пользу вам может принести мониторинг машинного обучения.
💡 Совет недели по MLOps:
Извлекайте значимые метрики из больших языковых моделей для мониторинга в производстве в масштабе.
Библиотека LangKit с открытым исходным кодом может использоваться для получения информации о подсказках и ответах для приложений LLM. Эти сведения можно использовать для понимания использования, установки ограничений, сравнения системных подсказок, мониторинга производительности с течением времени и многого другого.
После того, как вы установите LangKit в своей среде Python с помощью `pip`, вы сможете извлекать метрики для любого LLM, регистрируя приглашение и ответ в формате словаря.
LangKit включает в себя множество готовых метрик LLM для отслеживания качества текста, релевантности текста, безопасности, конфиденциальности, тональности и токсичности. Пользовательские метрики можно легко добавить с помощью пользовательских функций (UDF).
from langkit import llm_metrics import whylogs as why schema = llm_metrics.init() profile = why.log(prompt_and_response,schema=schema)
Эти метрики можно визуализировать и отслеживать с течением времени с помощью платформы WhyLabs Observatory.
Узнайте больше о мониторинге LLM в производстве:
- Hugging Face и LangKit: ваше решение для наблюдения LLM
- Мониторинг производительности LLM с помощью LangChain и LangKit
- Принесите свои собственные функции — объявление UDF в логах
🎥 Записи событий
Объединение возможностей LLM с компьютерным зрением — Джейкоб Маркс, Voxel51
На этом мероприятии мы поговорили с Джейкобом Марксом о сочетании возможностей больших языковых моделей (LLM) с компьютерным зрением!
📝 Последние записи в блоге:
WhyLabs признана CB Insights GenAI 50 одним из самых инновационных стартапов в области генеративного ИИ
CB Insights включила WhyLabs в свой первый ежегодный рейтинг GenAI 50, список 50 самых инновационных компаний мира, разрабатывающих приложения и инфраструктуру для генеративного ИИ в различных отраслях. Что делает это особенно примечательным, так это то, что наблюдаемость модели сразу же признается важной категорией, имеющей решающее значение для успеха приложений LLM. Подробнее на WhyLabs.AI
Обеспечение успеха ИИ в здравоохранении: жизненно важная роль мониторинга машинного обучения
Искусственный интеллект (ИИ) революционизирует здравоохранение благодаря значительным достижениям в диагностике заболеваний, прогнозировании результатов лечения пациентов, а также в общем уходе за пациентами и их безопасности. Согласно отчету Philips Future Health Index 2023, 83% лидеров здравоохранения планируют инвестировать в ИИ в следующие три года, по сравнению с 74% в 2021 году. Подробнее читайте на WhyLabs.AI
📅 Предстоящие события R2AI и WhyLabs:
- 17 августа Создание лучших моделей компьютерного зрения — Харприт Сахота из Deci AI
- 8/23 Создание и мониторинг моделей компьютерного зрения с помощью TensorFlow/Keras
- 8/24 Введение в машинное обучение в Ada Academy
- 9/6 Мониторинг LLM в производстве с помощью Hugging Face & WhyLabs
- 9/13 Введение в наблюдаемость ИИ: мониторинг моделей машинного обучения и данных в производстве
- 9/20 Мониторинг LLM в производстве с использованием OpenAI, LangChain и WhyLabs
💻 Обновления с открытым исходным кодом WhyLabs:
Вышел выпуск версии whatlogs v1.2.8!
Whylogs — это открытый стандарт для регистрации данных и телеметрии ИИ. Обновление этой недели включает в себя:
- сделать переменную окружения HTTP_PROXY доступной в WhyLabsWriter
- исправить сериализацию матрицы путаницы из старых журналов почему
Полные примечания к выпуску Whylogs см. на Github.
Вышел LangKit 0.0.14!
LangKit — это набор инструментов текстовых метрик с открытым исходным кодом для мониторинга языковых моделей.
- удалить ссылку pkg_resources
- Делает группы тем настраиваемыми
- исправить тесты CI для запуска тестов на указанной ОС
- Сделать все пользовательские функции набора данных
Полные примечания к выпуску LangKit см. на Github.
🤝 Оставайтесь на связи с сообществом WhyLabs:
Присоединяйтесь к тысячам инженеров по машинному обучению и специалистов по данным, которые уже используют WhyLabs для решения некоторых из самых сложных задач мониторинга машинного обучения!
- Более 1200 надежных и ответственных членов Slack с искусственным интеллектом
- 2326+ звезд GitHub за почему
- 1175+ надежных и ответственных участников AI Meetup
- 9 356+ подписчиков WhyLabs LinkedIn
- 895+ подписчиков WhyLabs Twitter
Запросите демонстрацию, чтобы узнать, какую пользу может принести мониторинг машинного обучения вашей компании.
Увидимся в следующий раз! — Сейдж Эллиотт
