Как (контролируемые) компании, использующие машинное обучение, должны думать о создании основы для защиты и со временем расширять свое ценностное предложение

В ML за прошедшие годы проявился один феномен: «Вы либо умираете [стартап с вертикальной поддержкой ML], либо живете достаточно долго, чтобы увидеть себя инструментом MLOps».

Конечно, это всего лишь дешевая и преувеличенная шутка с моей стороны. На самом деле, я очень люблю MLOps → спасибо Taktile, ZenML и т. Д. Тем не менее, я сталкиваюсь с тем, что все больше и больше компаний, использующих машинное обучение, видят, что это становится их реальностью: некоторые достигают точки, когда им трудно выстроить свое ценностное предложение дальше, и им приходится в дальнейшем переходить на более масштабируемый продукт.

В последнее десятилетие весна AI была символически открыта новаторским прогрессом в области AlexNet, облачных графических процессоров или распространения библиотек с открытым исходным кодом, таких как spaC y. В результате в мире стартапов появился приток компаний, использующих машинное обучение, которые намеревались решать различные вертикальные бизнес-задачи: от чат-ботов для обслуживания клиентов до оценки рисков и профилактического обслуживания на основе компьютерного зрения. Но лишь немногие из тех, кто начал с продуктов с поддержкой машинного обучения в качестве основного предложения, урезали, выжили и смогли расширить свое первоначальное обещание о том, что действительно может обеспечить машинное обучение. Это почему?

Основная причина в том, что компании, использующие машинное обучение, изо всех сил пытаются обеспечить свою защиту. Объясняя, почему многие компании терпят неудачу (стоимость машинного обучения), я обрисую, как добраться до узкого, но золотого пути защиты.

Возможные причины, по которым стартапы ML не могут масштабироваться

Основные причины неудач стартапов машинного обучения не так уж и отличаются от всех других стартапов: они обычно включают подгонку команды, сроки, исполнение или отсутствие рыночного спроса. Однако в этом сообщении в блоге я хотел бы выделить несколько причин, которые особенно актуальны для компаний, которые пытаются извлечь выгоду из продуктов и функций, основанных на (контролируемом) ML (! = MLOps, который является совершенно другим зверьком и заслуживает отдельной статьи в блоге). На высоком уровне проблемы могут включать:

  • (Под контролем) ML полагается на высококачественные данные, а данные высокого качества трудно получить или получить к ним доступ
  • Даже если вы можете изначально получать данные и получать к ним доступ, они имеют убывающую предельную полезность с течением времени, особенно если ваша модель постоянно требует актуальных данных.
  • Для достижения хорошей производительности машинного обучения требуются дорогостоящие ресурсы, такие как высокая вычислительная мощность, а также алгоритмическая и инженерная смекалка для постоянного внедрения моделей в производство.
  • Университеты, исследовательские лаборатории и компании GAFAM (некоторые сейчас предлагают FATASSMAN 😏) обычно публикуют самые современные алгоритмы машинного обучения, архитектуры нейронных сетей или фреймворки. Что еще хуже для стартапов, исследовательских лабораторий и компаний GAFAM, как правило, они даже предоставляют открытый исходный код / ​​бесплатно упаковывают их в свои облачные продукты → сложно создать реальную дифференциацию и чистую защиту только на основе алгоритмов, архитектур и фреймворков.

В целях иллюстрации мы можем обобщить приведенные выше причины и представить их как общую стоимость ML продукта.

Общая стоимость ML

Обычно мы можем разбить общую стоимость машинного обучения следующим образом:

Total cost of ML 
= 
Cost of bootstrapped ML (= effort that goes in training with initial proprietary or acquired data / buying & integrating an off-the-shelf pre-trained model) 
+ 
Cost of continuous data acquisition (= effort to ensure constant enhancement/update of the dataset and finetuning of the model)

С помощью этого - по общему признанию, несколько упрощенного - представления мы можем сложить общую стоимость ML поверх не связанных с машинным обучением стоимость (= усилия продукта, не связанные с машинным обучением, например инфраструктура или UI / UX). Сумма представляет собой общую стоимость продукта, которую компания должна нести (обратите внимание, что точная длина полос в этом сообщении в блоге не имеет значения, они существуют только для иллюстративных целей) :

В качестве иллюстрации возьмем программу перевода с поддержкой машинного обучения:

  • Стоимость продукта, не связанная с машинным обучением, будет зависеть от настройки серверной инфраструктуры и пользовательского интерфейса. Бэкэнд включает в себя базу данных с исходным словарем общеупотребительных слов на двух языках. В пользовательском интерфейсе есть панель поиска и раздел, в котором выводится результат перевода отдельных слов. Машинное обучение не требуется, поскольку продукт уже может переводить основные слова.
  • Стоимость начального машинного обучения будет обусловлена ​​лицензированием и интеграцией стороннего предварительно обученного нейронного машинного перевода, например, через Google Translation API, для дальнейшего повышения точности перевода за счет предоставления контекста в предложениях. использование или грамматика, например. В качестве альтернативы, начальные затраты могут исходить от сбора адекватного набора составленных вручную предложений между двумя языками.
  • Стоимость непрерывного сбора данных представляет собой усилия по обеспечению того, чтобы, например, данные прямого взаимодействия с пользователем (например, поправки, внесенные пользователем) в пользовательский интерфейс могли быть захвачены и отправлены обратно в модель. Это приводит к еще более точному выводу перевода, который потенциально может учитывать тоны или сленг. Отличный пример из реальной жизни - Переводчик DeepL - обязательно попробуйте!

Мы можем с уверенностью сказать, что у типичного стартапа (нет, Abacus.ai ¹, вы не типичный стартап) вряд ли есть ресурсы, чтобы изначально справиться с этими проблемами и связанными с ними расходами. Исходя из моего собственного опыта, даже богатые ресурсами технологические компании по-прежнему сталкиваются с аналогичными проблемами².

Общая пользовательская утилита

Чтобы оценить, может ли компания оправдать эти затраты и быть конкурентоспособной на рынке, нам нужно понять общую полезность для пользователя и сопоставить ее с общей стоимостью продукта.

Общую полезность для пользователя можно описать как сумму материальных и нематериальных выгод. для клиента, использующего продукт:
Ощутимые преимущества могут варьироваться от кратковременной окупаемости, увеличения доходов, экономии времени или сокращения расходов.
Нематериальные преимущества могут включать удовольствие пользователя при взаимодействии с продуктом, воспринимаемое отличие от альтернативного решения или любую особенность, основанную на трех принципах гуманности, предложенных главным директором по продукту Adobe Скоттом Бельски: лень, тщеславие и т. д. и эгоизм ».
В конечном итоге полезность для пользователя может быть реализована посредством суммы, которую пользователь готов заплатить за продукт.

Как правило, мы можем сказать, что стартап может оправдать общую стоимость предлагаемого продукта, если общая полезность для пользователя в конечном итоге будет больше, чем общая стоимость продукта.

Total user utility > total cost of product

Поскольку стартапы не могут вначале задействовать бесконечные ресурсы, это также означает, что компании необходимо найти уровень производительности машинного обучения, который можно получить достаточно дешево и в то же время достаточно приемлемый, чтобы пользователи не отказались от продукта. . В конечном итоге это компромисс между затратами на пользователя и полезностью.

Компромисс между затратами и полезностью

Мы также должны понимать, что факторы стоимости и полезности могут меняться динамически. Что наиболее важно, стоимость и полезность взаимосвязаны, что дает несколько отправных точек для стартапа. И выбор «правильной» отправной точки на определенном уровне компромисса между этими двумя может определить, сможет ли машинное обучение принести пользу и сделать ваш продукт успешным.
Давайте снова воспользуемся нашим примером программного обеспечения для перевода. : Изначально мы могли начать поставлять программное обеспечение без каких-либо возможностей машинного обучения. Это снижает первоначальные первоначальные затраты на настройку, но пользовательская утилита также может выйти из строя, поскольку перевод может быть очень жестким и не предоставлять эти слова в контексте или грамматической конструкции. В качестве альтернативы мы могли бы включить в продукт некоторый начальный ML, который увеличивает как стоимость, так и полезность. Вопрос в том, насколько и будет ли увеличение полезности пропорционально добавленным затратам? И: Может ли программное обеспечение без машинного обучения вначале не предоставить достаточно полезности? Существует определенный момент, когда исходный корпус переведенных слов создает достаточную ценность для пользователя, чтобы он мог возвращаться снова, что обеспечивает основу и время для запуска параллельного наращивания возможностей машинного обучения.

Я часто вижу, как компании, использующие машинное обучение, выбирают довольно сложную отправную точку, из-за чего потенциально трудно в конечном итоге изменить стоимость и полезность, чтобы когда-либо оправдать первоначальную стоимость машинного обучения. У них будет «менее идеальный старт».

Менее идеальная отправная точка может заключаться в том, что стартап недоинвестирует не-ML сторону вещей и изначально чрезмерно инвестирует в возможности ML. Поскольку у типичного стартапа нет ресурсов для получения (достаточного) высококачественных данных или готовых моделей GAFAM, изначально слишком общих, производная полезность для пользователя может быть слишком низкой по сравнению с альтернативами на рынке. В некоторых случаях точность модели настолько низка, что полезность для пользователя может даже уменьшиться из-за дополнительных затрат машинного обучения. Помните ранний Google Translate? Или Google Translate на языках, отличных от английского, китайского, французского, испанского или немецкого?.
В некоторых других случаях точность модели машинного обучения будет хорошей, но долгое время окупаемости будет основная причина ухудшения пользовательской полезности. Предположим, вы стартап по профилактическому обслуживанию с поддержкой машинного обучения, и вам нужно 12 месяцев инвазивного наращивания времени, чтобы собрать достаточно данных с машин в цеху вашего клиента. Это может существенно повлиять на ожидаемую рентабельность инвестиций.

Поэтому очень важно глубоко понимать ключевые факторы и связи между стоимостью и полезностью.

От «менее идеального старта» к «более идеального старта»

Во многих случаях я искренне верю, что инвестирование большего количества средств в сторону продукта, не связанного с машинным обучением (то есть UI / UX продукта, определение объема и сужение пространства проблем-решений или даже решение смежных проблем которые не обязательно требуют машинного обучения) обеспечивает лучшую основу, чем слишком ранние попытки реализовать возможности машинного обучения.

Даже если стоимость, не связанная с машинным обучением, выше, а общая полезность для пользователя может быть ниже (в правой части изображения выше), это все равно может быть лучшей отправной точкой, с которой продукт генерирует необходимая минимальная сумма, при которой ваш клиент практически не уйдет. Это «более идеальный старт».

«Более идеальный старт» в качестве отправной точки для вашей компании позволяет вам достичь и расширить ценность вашего продукта и связанной с ним модели машинного обучения, при которой ваш продукт в конечном итоге предоставит негабаритную пользовательскую утилиту с мощной надежной опорой в будущем.
Теперь мы знаем, что правильная отправная точка имеет решающее значение, но как мы можем добраться до конца игры (как показано в правой части изображения выше)? Войдите в состав строительных блоков маховика защиты.

Строительные блоки защищенности

По сути, три основных строительных блока, которые вносят значительный вклад в общую обороноспособность компании, использующей машинное обучение, вращаются вокруг продукта, создающего ценность, доступа к данным и доступа к ресурсам:

  1. Продукт, создающий ценность. Продукт, который создает как минимум минимальную стоимость, при которой пользователь почти не сбрасывает деньги. Во многих случаях превосходный UI / UX может быть основным отличием, поскольку базовые технологии снова и снова становятся предметом потребления.
  2. Эксклюзивный доступ к данным. Доступность данных влияет на производительность модели (и даже на ее существование), эксклюзивность данных влияет на защищаемость, а доступность и эксклюзивность влияют на общую стоимость продукта. Эксклюзивность может быть достигнута путем создания собственного набора данных (например, путем использования следов данных, которые пользователь оставляет на вашем продукте) и / или партнерских отношений со сторонними организациями, которые в идеале никогда не будут подключаться к сфере машинного обучения (например, государственная больница предоставляет эксклюзивный доступ фармацевтических компаний к данным пациентов)
  3. Неограниченные ресурсы. Даже если в некоторых случаях данные легко доступны, наличие ресурсов для оплаты высокопроизводительной вычислительной инфраструктуры и инженерных талантов само по себе может стать огромным строительным блоком для защиты. Например, OpenAI обучил свою языковую модель GPT-3 на свободно доступном тексте в Интернете. Тем не менее, только обучение модели стоило бы более 4,6 миллиона долларов, что более чем вдвое превышает средний размер начального раунда в Европе. Не говоря уже о ресурсах, которые идут на зарплату инженеров Open AI.

Маховик защиты в машинном обучении

Чтобы повысить обороноспособность с помощью маховика, важно выбрать правильные строительные блоки защиты в правильной последовательности. Поскольку у типичных стартапов нет неограниченных ресурсов, я предлагаю, чтобы любой стартап всегда начинал с предоставления продукта, создающего ценность, который генерирует по крайней мере минимальную требуемую стоимость, при которой пользователь почти не сбрасывает, с или без ML в начале.

Гипотеза заключается в том, что продукт, создающий ценность, получит больше взаимодействия с пользователем, в результате чего в продукте останутся конфиденциальные данные.
Собственные данные в сочетании с предварительно обученной моделью могут привести к точной настройке. Предварительно обученную модель можно обучить либо с доступом к данным из партнерства по данным, либо с лицензией на готовую модель.
Точно настроенная модель обеспечивает превосходное взаимодействие с пользователем, что увеличивает ценность продукта. Цикл начинается снова и превращается в маховик.

В качестве иллюстрации мы возьмем известное нам приложение, которое со временем стало ценным продуктом со множеством мощных возможностей машинного обучения - Instagram. Давайте посмотрим на упрощенный пример маховика Instagram в действии:

  1. Продукт, повышающий ценность. Как правило, Instagram максимально беспрепятственно связывает пользователя с медиаконтентом из всех учетных записей, о которых он заботится, в своем фиде.
  2. Больше взаимодействия с пользователем: поскольку контент очень релевантен пользователю (оценивается по тому, насколько близко он исходит, т. е. от друзей и семьи), чем больше пользователь взаимодействует с Instagram, что дает ему лайки, или смотреть и делиться этим контентом.
  3. Более частные данные. Instagram измеряет и фиксирует взаимодействие с пользователем и создает собственный набор данных, в котором указаны предпочтения каждого пользователя.
  4. Предварительно обученная модель. Instagram использует готовую предварительно обученную модель для идентификации и контекстуализации содержания медиаресурса (например, «собака на пляже»), например чтобы отфильтровать дезинформацию. Кроме того, если происходит смещение внешней парадигмы (например, GPT-3 для языковых моделей), этот шаг позволяет включить смену парадигмы обратно в маховик.
  5. Тонко настроенная модель. Instagram использует собственные данные для обучения модели машинного обучения с начальной загрузкой и обогащает результаты предварительно обученной модели, чтобы рекомендовать пользователю более релевантный контент.
  6. Превосходное взаимодействие с пользователем. Пользователи начинают любить Instagram еще больше, поскольку рекомендуемый медиаконтент становится все более актуальным и, таким образом, они проводят больше времени на платформе.
  7. Продукт, создающий ценность. Более активное участие - один из показателей продукта, создающего ценность. С увеличением времени, проведенного на платформе, объем данных, который оставляет после себя пользователь, увеличивается. Цикл начинается снова и превращается в маховик, ведущий к оплоту защиты.

Конечно, реальный Instagram намного сложнее. Вы можете подробно прочитать здесь, как Instagram реализует многоступенчатый подход, который сочетает контролируемое и неконтролируемое обучение для создания персонализированной ленты Instagram Explore.

В конце концов, дело дошло до продукта, ориентированного на добавленную стоимость. Instagram эффективно решил одну из основных задач, которые необходимо было выполнить, и тем самым значительно увеличил полезность для пользователя вначале: максимально упростив подключение пользователя к соответствующему медиаконтенту. Это заложило основу для мощной защиты Instagram по нескольким измерениям их стека машинного обучения без первоначальных вложений ни единого доллара в машинное обучение.

Именно это и взяли на себя сотрудники Люминово ³. Начав как компания, которая помогала своим клиентам решать вертикальные бизнес-задачи с помощью глубокого обучения, они взяли все свои знания и решили сначала стать продуктом, определяющим ценность (инструментом оптимизации рабочего процесса для EMS), практически без машинного обучения. начала, несмотря на их многолетний опыт работы в этой сфере. В соответствии с моей сетью Defensibility, их тезис продукта состоит в том, чтобы сначала оцифровать ценный рабочий процесс, а затем владеть интерфейсами для важных заинтересованных сторон, усердно собирающих данные, чтобы в конечном итоге стать дифференцированной компанией с поддержкой машинного обучения.

Выводы

Подытожим некоторые ключевые идеи статьи:

  • Стартапам необходимо глубоко понимать потенциальные факторы, влияющие на общую стоимость их продуктового предложения и полезности для пользователя, а также то, как они взаимосвязаны на любом этапе.
  • Им необходимо создать продукт с уровнем производительности машинного обучения, который они приобретают достаточно дешево, и в то же время, который пользователь принимает без промедления. В зависимости от проблемы и вертикали могут быть разные уровни полезности и принятия пользователем (например, ложные срабатывания / отрицания в вашей ленте Instagram Explore могут иметь разные уровни принятия, чем ложные срабатывания / отрицания в автономном вождении)
  • Во многих случаях их отправная точка даже не требует машинного обучения для предоставления пользовательских услуг. Это означает, что они могут изначально инвестировать больше в свои продукты, не связанные с машинным обучением. Например, я часто вижу SaaS-компании, начинающие как чистые инструменты оптимизации рабочего процесса, а затем интегрирующие возможности машинного обучения много лет спустя (например, Salesforce → Salesforce Einstein).
  • Нет ничего постыдного в загрузке возможностей ML с помощью GAFAM или Abacus.ai¹. Причудливая сценическая компания Series D, которой все восхищаются, с командой из 15 бывших инженеров Facebook ML и постоянными функциями Techcrunch? Они тоже это делают.
  • Стартапам необходимо как можно раньше начать думать о создании конвейера, который может собирать текущие данные → частные данные со временем объединяются. Это повышает точность модели и делает ее копирование более дорогостоящим для конкурентов.

Перспективы следующих частей контента

В этой статье мы затронули множество различных идей на более или менее высоком уровне, оставив место для интересных тем и глубоких погружений. Дайте мне знать ваше мнение об этой статье в этой теме в Twitter и о том, что вы думаете о:

  • Что такое MLOps и как компании могут снизить общую стоимость ML (взгляните на Taktile, ZenML, Layer.co или используйте этот пост в блоге в качестве указателя)?
  • Как можно количественно и измерить общую стоимость продукта и общую полезность для пользователя? (cc Liveflow, Abacum, Пигмент, Мозаика и Причинно)
  • Что такое полезность для пользователя в деталях и как вы изначально попадаете в позицию продукта, создающего ценность?
  • Что может сломать маховик защиты, и как вы его обслуживаете?

[1] Мы (La Famiglia VC) первые инвесторы Abacus.ai и y42
[2] Расскажу вам анекдот из моей предыдущей жизни, когда я сам работал над моделями машинного обучения: вы можете предположить, что современный и дальновидный такая компания, как Amazon, уже давно поняла бы это. Полные и свежие данные доступны в любое время в централизованном хранилище данных? Неа. Я до сих пор помню, как звонил коллегам из других отделов Amazon по телефону, чтобы получить конкретные данные, которые затем отправлялись в виде файла .csv, прикрепленного к письму. Это было только в 2018 году. Слава богу, мир машинного обучения и инфраструктуры данных быстро развивается, и многие стартапы уже усердно работают над этим [cc y42 ¹] 🙏🏽
[3] Я был одним из первых сотрудников Luminovo, в которых мы в La Famiglia также инвестировали позже

Вы создаете продукт, ориентированный на добавленную стоимость, который вот-вот войдет в маховик защиты машинного обучения? Или вы являетесь компанией, занимающейся MLOps, и помогаете другим компаниям снизить общую стоимость ML? Дайте нам знать и свяжитесь с [email protected] или напрямую со мной ([email protected] / https://twitter.com/vietdle ). Прямые сообщения открыты!