Самый простой способ обслуживания вашей модели машинного обучения

Читая этот пост, вы, возможно, уже знали или пробовали torchserve, triton, seldon core, tf serve и даже kserve. Это хорошие продукты. Однако, если вы не используете очень простую модель или написали много кода, модель является лишь его частью. Не так-то просто интегрировать с ними свои коды.

Здесь у вас есть еще одна альтернатива: Pinferencia.

Github: Pinferencia — посмотрите.

Что такое Пинференсия?

Pinferencia (python + inference) призвана предоставить самый простой способ обслуживания любой из ваших моделей машинного обучения с помощью полностью функционирующего Rest API.

Прямо вперед. Простой. Мощный.

Установить

pip install “pinferencia[uvicorn]”

Попробуй это сейчас!

Создать приложение

app.py

from pinferencia import Server
class MyModel:
    def predict(self, data):
        return sum(data)
model = MyModel()
service = Server()
service.register(
    model_name="mymodel",
    model=model,
    entrypoint="predict",
)

Бегать

uvicorn app:service --reload

Ура, ваш сервис жив. Зайдите на http://127.0.0.1:8000/ и получайте удовольствие.

У вас будет полная страница документации по API, с которой можно поиграться:

Вы можете протестировать свою модель прямо здесь:

API все здесь.

Github: Пинференсия.