Мы рады объявить о запуске бета-версии Modelz, бессерверной платформы логического вывода на GPU. Наша команда усердно работала над созданием платформы, которая демократизирует доступ к машинному обучению, упрощая создание и развертывание моделей для различных вариантов использования.

"Функции"

Modelz — это полностью управляемая платформа, которая предоставляет пользователям простой API для развертывания своих моделей машинного обучения. Платформа заботится обо всей базовой инфраструктуре, включая серверы, хранилище и сеть. Это означает, что пользователи могут сосредоточиться на разработке своих моделей и их развертывании на платформе, не беспокоясь о базовой инфраструктуре.

Modelz предоставляет следующие возможности из коробки:

  • Бессерверная архитектура: бессерверная архитектура позволяет нам легко увеличивать или уменьшать масштаб в соответствии с вашими потребностями, что позволяет нам предоставлять надежное и масштабируемое решение для развертывания и создания прототипов приложений машинного обучения в любом масштабе.
  • Сократите расходы: платите только за те ресурсы, которые потребляете, без дополнительной платы за простаивающие серверы или холодный запуск. Получите 30 бесплатных минут использования графического процессора L4, присоединившись к нам. Прикрепите способ оплаты и получите дополнительные 90 минут бесплатно.
  • API-интерфейс, совместимый с OpenAI: наша платформа поддерживает API-интерфейс, совместимый с OpenAI, что означает, что вы можете легко интегрировать новые LLM с открытым исходным кодом в существующие приложения, написав всего несколько строк кода.
  • Среда прототипирования: мы предоставляем надежную среду прототипирования, поддерживающую Gradio и Streamlit. Благодаря нашей интеграции с HuggingFace Space доступ к предварительно обученным моделям и запуск демонстраций стали проще, чем когда-либо, всего одним щелчком мыши. Это позволяет вам быстро тестировать и повторять свои модели, экономя ваше время и усилия в процессе разработки.

"Быстрый старт"

Начать работу с Modelz легко и просто. Вот быстрые шаги, чтобы начать:

  • Зарегистрируйте аккаунт на сайте.
  • Используйте шаблоны Modelz для создания развертывания.
  • Отправляйте запросы или посетите пользовательский интерфейс развертывания.

Вот полный пример рабочего процесса с использованием платформы Modelz Beta и шаблона Bloomz 560M для создания развертывания логического вывода.

После создания вы получите подробную информацию в пользовательском интерфейсе:

Мы покажем журналы, события (например, события масштабирования развертывания и масштабирования) и метрики (например, общее количество запросов, запросы в процессе выполнения) на панели мониторинга. Помимо этого, вы также можете получить руководство по использованию.

Шаблон Bloomz 560M работает на основе modelz-llm, который предоставляет OpenAI-совместимый API для модели. Вы можете использовать пакет Python OpenAI для использования модели. Во-первых, вам нужно получить конечную точку и API-ключ с панели управления.

import openai
openai.api_base="https://bloomz-webhiq5i9dagphhu.modelz.io"
# Use your API Key in modelz.
openai.api_key="mzi-xxx"
# create a chat completion
chat_completion = openai.ChatCompletion.create(
  model="any", messages=[{"role": "user", "content": "Hello world"}])

Бессерверный

Развертывание уменьшится до 0 после интервала простоя (это настраивается на странице создания). Вы можете получить события и метрики автомасштабирования на панели инструментов:

"Сообщество"

Modelz построен на основе envd, mosec, modelz-llm и многих других проектов с открытым исходным кодом. Если вы хотите присоединиться к сообществу Modelz, вот несколько способов принять участие:

  • Присоединяйтесь к сообществу разногласий Modelz: у нас есть сообщество разногласий, где вы можете общаться с другими разработчиками и исследователями данных, задавать вопросы и делиться своими знаниями и опытом.
  • Участие в проектах с открытым исходным кодом: Modelz построен на основе envd, mosec, modelz-llm и многих других проектов с открытым исходным кодом. Если вы заинтересованы в участии в этих проектах, вы можете проверить их репозитории GitHub и начать вносить свой вклад.
  • Поделитесь своими моделями и проектами: если вы создали модель машинного обучения или проект с помощью Modelz, мы будем рады узнать об этом! Вы можете поделиться своими проектами в нашем дискорд-сообществе или в твиттере, используя хэштег #Modelz, или упомянуть @TensorChord.

Поскольку мы продолжаем изучать возможности ИИ и его влияние на наш мир, я желаю вам большого пути в погоне за знаниями и инновациями. Если вы только начинаете работать с ИИ или являетесь опытным профессионалом, ИИ предлагает бесконечные возможности для роста и открытий.