Мы рады объявить о запуске бета-версии Modelz, бессерверной платформы логического вывода на GPU. Наша команда усердно работала над созданием платформы, которая демократизирует доступ к машинному обучению, упрощая создание и развертывание моделей для различных вариантов использования.
"Функции"
Modelz — это полностью управляемая платформа, которая предоставляет пользователям простой API для развертывания своих моделей машинного обучения. Платформа заботится обо всей базовой инфраструктуре, включая серверы, хранилище и сеть. Это означает, что пользователи могут сосредоточиться на разработке своих моделей и их развертывании на платформе, не беспокоясь о базовой инфраструктуре.
Modelz предоставляет следующие возможности из коробки:
- Бессерверная архитектура: бессерверная архитектура позволяет нам легко увеличивать или уменьшать масштаб в соответствии с вашими потребностями, что позволяет нам предоставлять надежное и масштабируемое решение для развертывания и создания прототипов приложений машинного обучения в любом масштабе.
- Сократите расходы: платите только за те ресурсы, которые потребляете, без дополнительной платы за простаивающие серверы или холодный запуск. Получите 30 бесплатных минут использования графического процессора L4, присоединившись к нам. Прикрепите способ оплаты и получите дополнительные 90 минут бесплатно.
- API-интерфейс, совместимый с OpenAI: наша платформа поддерживает API-интерфейс, совместимый с OpenAI, что означает, что вы можете легко интегрировать новые LLM с открытым исходным кодом в существующие приложения, написав всего несколько строк кода.
- Среда прототипирования: мы предоставляем надежную среду прототипирования, поддерживающую Gradio и Streamlit. Благодаря нашей интеграции с HuggingFace Space доступ к предварительно обученным моделям и запуск демонстраций стали проще, чем когда-либо, всего одним щелчком мыши. Это позволяет вам быстро тестировать и повторять свои модели, экономя ваше время и усилия в процессе разработки.
"Быстрый старт"
Начать работу с Modelz легко и просто. Вот быстрые шаги, чтобы начать:
- Зарегистрируйте аккаунт на сайте.
- Используйте шаблоны Modelz для создания развертывания.
- Отправляйте запросы или посетите пользовательский интерфейс развертывания.
Вот полный пример рабочего процесса с использованием платформы Modelz Beta и шаблона Bloomz 560M для создания развертывания логического вывода.
После создания вы получите подробную информацию в пользовательском интерфейсе:
Мы покажем журналы, события (например, события масштабирования развертывания и масштабирования) и метрики (например, общее количество запросов, запросы в процессе выполнения) на панели мониторинга. Помимо этого, вы также можете получить руководство по использованию.
Шаблон Bloomz 560M работает на основе modelz-llm, который предоставляет OpenAI-совместимый API для модели. Вы можете использовать пакет Python OpenAI для использования модели. Во-первых, вам нужно получить конечную точку и API-ключ с панели управления.
import openai openai.api_base="https://bloomz-webhiq5i9dagphhu.modelz.io" # Use your API Key in modelz. openai.api_key="mzi-xxx" # create a chat completion chat_completion = openai.ChatCompletion.create( model="any", messages=[{"role": "user", "content": "Hello world"}])
Бессерверный
Развертывание уменьшится до 0 после интервала простоя (это настраивается на странице создания). Вы можете получить события и метрики автомасштабирования на панели инструментов:
"Сообщество"
Modelz построен на основе envd
, mosec, modelz-llm и многих других проектов с открытым исходным кодом. Если вы хотите присоединиться к сообществу Modelz, вот несколько способов принять участие:
- Присоединяйтесь к сообществу разногласий Modelz: у нас есть сообщество разногласий, где вы можете общаться с другими разработчиками и исследователями данных, задавать вопросы и делиться своими знаниями и опытом.
- Участие в проектах с открытым исходным кодом: Modelz построен на основе
envd
, mosec, modelz-llm и многих других проектов с открытым исходным кодом. Если вы заинтересованы в участии в этих проектах, вы можете проверить их репозитории GitHub и начать вносить свой вклад. - Поделитесь своими моделями и проектами: если вы создали модель машинного обучения или проект с помощью Modelz, мы будем рады узнать об этом! Вы можете поделиться своими проектами в нашем дискорд-сообществе или в твиттере, используя хэштег #Modelz, или упомянуть @TensorChord.
Поскольку мы продолжаем изучать возможности ИИ и его влияние на наш мир, я желаю вам большого пути в погоне за знаниями и инновациями. Если вы только начинаете работать с ИИ или являетесь опытным профессионалом, ИИ предлагает бесконечные возможности для роста и открытий.