Обзор рынка мониторинга MLOps
Ниже приводится исчерпывающий список компаний, участвующих в мониторинге MLOps, и их сегментация по персонажам, поддерживаемым типам данных (табличные, изображения, аудио и т. Д.), Характеристикам продукта (целостность данных, качество данных, работоспособность, дрейф, предвзятость и т. Д.). справедливость, XAI и т. д.), ориентация на продукт (ориентированная на данные или конвейер), общий объем финансирования на сегодняшний день (август 2021 г.), тип компании (стартап, с открытым исходным кодом, корпоративный) и многое другое. Я собрал данные, изучив сообщения в блогах, документацию, демонстрации продуктов и маркетинговые материалы.
Во-первых, если вы специалист по данным или инженер машинного обучения и задаетесь вопросом, зачем нам нужно специальное решение для мониторинга систем машинного обучения, прочтите, пожалуйста, Monitor! перестань быть слепым дата-сайентистом ».
Если вы спрашиваете себя, почему никто не отслеживает зависимости, то я также написал статью о мониторинге зависимостей, которую О’Рейли опубликовал в статье 97 вещей, которые должен знать каждый облачный инженер.
Наконец, если вы руководитель или инвестор и задаетесь вопросом, почему мониторинг моделей важен для предприятий и руководителей предприятий, прочтите следующую статью.
Анализ
Анализируя текущее пространство MLOps (рисунок 1), мы видим, что большинство компаний в этом пространстве - это стартапы, которые ориентированы на специалистов по данным (рисунок 2), инженеров машинного обучения и разработчиков и ориентированы на табличные данные (рисунок 3). ; неудивительно, что их немало из Израиля.
Большинство компаний сосредоточены на мониторинге данных, а незначительное меньшинство сосредоточено на конвейерах данных (например, DAG, не путать с традиционным APM).
Три крупных поставщика облачных услуг (рис. 4) предоставляют относительно базовые и промежуточные функции и, похоже, не планируют стать лучшими в своем классе.
Одна замечательная функция AirTable заключается в том, что вы можете просматривать карточку и сортировать ее по любому из полей, как показано на рисунке 5.
Мы видим, что рынок резко вырос и появилось много новых игроков, которые разделяют ту же функциональность, но имеют свою собственную точку зрения. Сумма денег, вложенных в пространство MLOps, составляет ошеломляющие 3,8 миллиарда долларов. Мы видим небольшие, но зрелые стартапы, которые не масштабировались и поэтому преждевременно закрылись.
Я предвижу консолидацию в этой области и верю, что в конечном итоге большие ребята будут покупать маленьких, а маленькие купят крошечных, чтобы быть привлекательными для больших.
Наконец, если вы спрашиваете себя, какое решение выбрать, ответ будет непростым, хотя все они имеют одну и ту же базовую функциональность, на данный момент нет явного победителя. Каждая компания выбрала свой собственный путь, будь то оркестровка, понимание, пользовательские метрики, настраиваемость, интеграция, функции машинного обучения и т. Д. На данный момент я предлагаю понять потребности в мониторинге вашей модели, прочитать их документацию, запросить демонстрации и решить для себя. .
Если вы обнаружите неточности или хотите добавить свою компанию, свяжитесь со мной в LinkedIn | Средний | OriCohen.com | MLCompendium.com
Доктор Ори Коэн имеет докторскую степень. в области компьютерных наук с упором на машинное обучение. Он является ведущим специалистом по обработке данных в New Relic TLV, занимается исследованиями машинного и глубокого обучения в области AIOps.
