Искусственный интеллект (ИИ) необходим любому современному бизнесу и является логическим продолжением их нынешних бизнес-процессов за счет использования больших объемов данных, которые они могли собрать за последние годы работы. В то время как такие термины, как машинное обучение (ML) и глубокое обучение (DL), являются очевидными модными словечками, циркулирующими на рынке, ветераны ИИ обеспокоены не только методами обучения модели. Так же, как производство одного велосипеда сильно отличается от создания производственной линии для обслуживания 500 заказов на одно и то же; Точно так же ИИ имеет свой собственный набор второстепенных, но важных соображений, в то время как на самом деле производственная модель и масштабирование для обслуживания большого количества входящих запросов. Следовательно, важно понимать, что объем бизнес-прецедента, обслуживаемого ИИ, влияет на подход и на то, сколько дополнительных проблем необходимо решить для его выполнения. Следовательно, очень ограниченная реализация требует лишь небольшой части данных и усилий по сравнению с более универсально применимой системой с высокой точностью и высокой доступностью. По моему опыту, каждая современная организация проходит через следующие этапы своего ИИ-путешествия:

Нужна фаза

Именно здесь бизнес понимает, что добавление ИИ к их существующим процессам серьезно увеличит операции и / или продажи. Я не имею в виду, что у ключевого лица, принимающего решения, есть мозговая волна или просто желание внедрить ИИ только потому, что так делают все остальные. Я имею в виду, что когда ключевым лицам, принимающим решения, посредством анализа данных и исследований станет ясно и очевидно, что внедрение машинного обучения будет плодотворным даже с дополнительными усилиями по размещению нового отдела в рамках существующей бизнес-структуры. Для бизнеса важно сосредоточиться на доступных данных и столь необходимой ясности в отношении ожидаемых результатов, по крайней мере, на этапе MVP (минимально жизнеспособный продукт). Всегда рекомендуется, чтобы у них был доступ к хорошему консультанту по данным, который может решить множество вопросов, которые у них могут возникнуть, и предложить наилучший шаг вперед, когда они отправляются в область науки о данных. Основная цель на этом этапе для организации — проверить, является ли то, что они задумали, осуществимым, а также полезным для их бизнес-целей. Если какая-либо часть имеет «нет» или имеет очень низкий RoE (окупаемость усилий), они должны пересмотреть свою идею внедрения ИИ. Если все идет хорошо, организация должна планировать следующий этап, прорабатывая соображения относительно ресурсов, времени и средств, которые необходимо инвестировать.

Почему искусственный интеллект?

Важно помнить, что не для всех задач требуется машинное обучение. Например, модный стартап хочет порекомендовать своим пользователям ряд черных, темно-синих и других вещей темных оттенков, добавляя в корзину черные брюки. Если рекомендуется показывать одежду одинакового цвета, возможно, будет быстрее и точнее использовать математическую модель в сочетании с базовой обработкой изображений, чтобы отфильтровать одежду одинакового цвета. Однако, если рекомендации зависят от популярных комбинаций, предпочитаемых другими людьми / влиятельными лицами, или также зависят от шаблона и дизайна, может быть лучше реализовать алгоритм ML. Суть в том, чтобы понять, действительно ли ИИ является методом выбора или того же результата можно достичь более простыми средствами.

Фаза открытия

На этом этапе организация подтвердила свой вариант использования и решила продолжить ML. На этом этапе они начнут экспериментировать с различными подходами ML или DL, возможно, наняв команду штатных специалистов по данным и/или фрилансеров. На этом этапе они столкнутся с проблемами нормализации данных и EDA (исследовательского анализа данных), что позволит глубже понять их собственный бизнес и его процессы. Следовательно, очистка дома (данных) часто является полезным побочным продуктом этого этапа. Однако истинный результат заключается в том, чтобы найти модель или набор моделей, которые лучше всего работают с данными и вариантами использования. Кроме того, бизнес приходит из первых рук к тому, как планируются и выполняются проекты по науке о данных, как устанавливаются ожидания и красота этого после его развертывания в производстве.

Ответы на вопросы

Во время и после первой итерации команда ответила бы на множество вопросов, таких как «О чем говорят данные?» и «Почему у нас есть такие данные в нашей сфере деятельности?», и хотя первый вопрос доминирует на текущем этапе. , последняя становится кардинальной по мере продвижения к следующей фазе. На текущем этапе основное внимание будет уделяться важности функций, предварительной обработке данных, дополнению, настройке гиперпараметров и т. Д .; то есть преобразование данных в обучаемую форму ML и выполнение фактического обучения.

На этом этапе можно обучить несколько моделей, и несколько наиболее эффективных кандидатов будут включены в окончательный список для настройки. Часто меньше необходимости в явном тестировании модели, обученной на большом наборе данных, поскольку она уже была протестирована и проверена на частях этого набора данных. Раздельное обучение и тестирование встроены в общий процесс обучения и играют важную роль в расчете показателей производительности модели. Модель нуждается в тестировании только тогда, когда компания хочет оценить свои возможности обобщения на данных, намеренно не предоставленных модели во время обучения. Затем обученную модель можно развернуть, а результаты проанализировать на предмет соответствия бизнес-целям.

Масштаб этого

Другим аспектом является масштабирование усилий на этом этапе. Это действительно зависит от масштабов ИИ, над которым организация надеется работать одновременно. Если у них большое количество вертикалей данных, они могут нанять большую команду специалистов по данным (и инженеров по данным, если требуется много преобразований данных и их можно выполнять параллельно с обучением). Однако это неверное предположение, что компании с небольшими командами не имеют пропускной способности для выполнения своих требований к стратегии данных. И наоборот, более крупная команда возлагает больше ответственности на руководство, бизнес- и операционную команду, чтобы постоянно обрабатывать данные, чтобы иметь возможность создавать более качественные модели. Этот огромный механизм искусственного интеллекта останавливается, если нет пригодных для работы данных.

Ключевым моментом, который следует помнить, является то, что генерация данных не является явной работой специалиста по данным, и она не должна быть таковой, поскольку она будет страдать от своих собственных предубеждений и предостережений, которые могут противоречить самой цели обучения (если только нет конкретного варианта использования для внедрение генеративно-состязательных сетей (GAN) в определенной ситуации). Сбором данных обычно занимаются члены групп по науке о данных, но потребуются дополнительные накладные расходы на фильтрацию и маркировку данных, что, опять же, в идеале должно выполняться кем-то, кто не собирается обучать модель на этих данных, чтобы уменьшить любые предубеждения со стороны специалиста по данным. Человек в команде по обработке данных, который поддерживает связь с бизнесом и операциями, может быть предпочтительным источником для проверки качества очищенных данных. Также, чем дальше качество данных от формы, которая требуется для ML, тем больше усилий ETL (Extract-Transform-Load) требуется для каждой итерации подготовки данных. Это можно было бы автоматизировать, но все равно это увеличило бы время обработки больших наборов данных при каждом запуске конвейера.

Этап стандартизации

Думаете, основная часть работы была завершена на последнем этапе? Подумайте еще раз. На этапе открытия бизнес научился использовать ИИ для конкретного варианта использования. Чаще всего это приносило бы реальную пользу бизнесу, и сейчас необходимо разработать свои процессы с учетом возможностей ИИ. Может ли исходная модель удовлетворить эволюционные бизнес-цели. Будут ли развернутые модели такими же точными с течением времени? В основном нет.

Проблема в эволюции

Модель в производстве творит чудеса, как и предполагалось. Но теперь бизнес-цели сместились на более высокую цель. Открываются новые перспективы, и ранее игнорировавшиеся формулировки проблем выстраиваются в очередь для рефакторинга и улучшения с помощью ML. Именно здесь существующие возможности ИИ в организации расширяются как по вертикали (лучшие модели, больше информации), так и по горизонтали (больше вариантов использования, другая демография). То же самое упражнение, которое было на этапе обнаружения, необходимо повторить для нескольких новых, но похожих формулировок проблемы.

Во-вторых, существует дрейф данных. Со временем на рынке часто происходят сдвиги, в результате которых в качестве входных данных для модели поступают несколько иные данные. Теперь помните, что модель была обучена на старом наборе данных, где входные функции, их дисперсии, их дисбалансы классов, их свойства и т. д. отличались от того, что есть в наборе данных сегодня. Следовательно, наблюдается видимое ухудшение производительности модели (точность, а не задержка) не по своей вине. Что требуется, чтобы предыдущее упражнение было повторено с более высоким весом для новых данных, которые организация имеет сейчас.

Рассвет многократно используемого кода

Лучший способ справиться с повторяющимися шагами в программировании — сделать код пригодным для повторного использования. Набор таких функций можно объединить в зависимости от контекста в четко определенные компоненты и использовать в разных проектах. То же самое происходит и с ИИ. На этом этапе стандартные компоненты ML начинают обогащать кодовую базу, что может упростить объединение функций обработки в рамках рабочего процесса ML. Например, общий код для обучения модели Yolo можно стандартизировать, инкапсулировать в функцию и повторно использовать в постановках задачи обнаружения объектов. Нет необходимости писать один и тот же код с нуля каждый раз, когда этого требует проект. Теперь, когда этот код будет написан определенным образом, с использованием определенного фреймворка; и, вероятно, будет много модульных компонентов, таких как этот, технологический стек ИИ организации начинает зависать. В конце концов, было бы разумно разрабатывать все модули с использованием одной и той же среды, тем самым делая их легко взаимодействующими и сводя к минимуму вероятность нарушения рабочего процесса из-за проблем с интеграцией. Ветераны в этой области часто знают, что это логически неизбежно, и поэтому подталкивают стратегию данных организации к стандартизации своего технического стека задолго до создания самих модульных компонентов. Это значительно упрощает создание этих компонентов, если параметры уже установлены и ограничены.

Оркестрация, управление версиями и реестр

Теперь, учитывая, что вариантов использования много, и каждый из них имеет свой набор циклов EDA, обучения, настройки и развертывания. Кроме того, как мы уже установили, точность этого упражнения будет во многом зависеть от включения новых данных в модели ML/DL. Следовательно, конвейер ETL играет важную роль в конвейере данных. Чтобы объединить все это, сквозной рабочий процесс машинного обучения будет включать:

  1. Прием данных (из различных источников в озера/хранилища данных)
  2. Преобразование данных (преобразование данных в форму, пригодную для машинного обучения)
  3. Обучение и оценка модели
  4. Версии модели

Пункты 1 и 2 выше охватывают прием и преобразование данных, и вместе они образуют уровень организации данных (DO) для рабочего процесса машинного обучения. Следующим шагом является обучение и оценка модели машинного обучения. Оценка распространяется на расчет показателей производительности модели, уделяя особое внимание как точности, смещению ответа, так и задержке вывода. Рассчитанная таким образом статистика проложит путь к управлению версиями модели, когда веса модели, а также ее показатели производительности хранятся в объекте и хранилище данных соответственно. Это помогает отслеживать улучшение модели с течением времени, а также изменения в метаинформации, касающейся модели. Например, такая информация, как размер набора данных, коэффициент разделения обучающих тестов, архитектура модели и т. д., может храниться в базе данных и анализироваться позже по мере необходимости. Управление версиями модели, как и управление версиями кода, помогает откатиться к предыдущей версии, если есть проблема с более новой версией; по крайней мере, последний, который работал, можно использовать до тех пор, пока не будет отлажена более новая, более продвинутая версия.

Таким образом, к концу этого этапа рабочий процесс обучения машинному обучению модульизуется, масштабируется и расширяется, добавляя условия для непрерывного смещения данных, итеративного обучения и откатов развертывания. Этот процесс требует интенсивной обработки данных, в отличие от фазы обнаружения, которая требовала интенсивного обучения машинному обучению. К этому времени бизнес тоже претерпел бы сдвиг парадигмы в сторону управления данными; от просто ориентированной на операции к организации, ориентированной на данные. Но является ли это абсолютным концом линии?

Этап оптимизации

Очень немногие предприятия на самом деле будут стремиться (и преуспеют) в этом пространстве просто по той причине, что фактические шаги для достижения этого довольно расплывчаты. То, что означает оптимизация для одного бизнеса, не имеет значения для другого. Например, определенный бизнес стремится обогатить свою модель данными по регионам страны и, следовательно, разработать ИИ, который может точно моделировать рынок в разных регионах. Оптимизация для них могла бы улучшить модель до более высоких показателей точности по демографии. Для другого бизнеса цикл повторного обучения модели должен быть оптимизирован, чтобы они могли эффективно решать проблему дрейфа данных на нестабильном рынке, на котором они работают. Второй бизнес сосредоточится на поддержании актуальности своей основной информации, тем самым гарантируя, что их ИИ всегда будет впереди своих конкурентов.

Чтобы разобраться с примерами, рассмотрим бизнес, который хочет предсказать стоимость обслуживания транспортного средства. Рассматриваемый случай – регулярное обслуживание, а не ремонт после страхового случая. Предприятию потребуется обогатить свои данные о различных моделях автомобилей, стоимости их обслуживания в разных регионах, возрасте автомобиля, пробеге и т. д. Здесь данные не будут так сильно дрейфовать со временем, т. е. стоимость не будет сильно изменчивой. через некоторое время. Теперь рассмотрим второй бизнес, который хочет использовать ИИ для прогнозирования стоимости перепродажи автомобиля. Значение очень специфично для рыночных условий, и проблемы дрейфа данных более заметны для модели. И наоборот, даже если данные по некоторым маркам моделей отсутствуют (скажем, производители роскошных автомобилей, такие как Rolls Royce, Lamborghini, Bentley и т. д.), модель все равно будет хорошо работать в большинстве регионов, где слишком много таких автомобилей не продается. Например, во время карантина из-за Covid-19 спрос на мебель для работы на дому увеличился, что повысило их стоимость при перепродаже. Аналогичные наблюдения можно сделать и в других областях. Очевидно, что первому бизнесу необходимо обогащение данных, а второму — справляться с дрейфом данных.

Любое долгосрочное приложение должно соответствовать стратегии оптимизации, соответствующей бизнес-целям. Он может иметь обе описанные выше функции или ни одну из них; возможно, какой-то другой метод достижения бизнес-целей. Когда варианты использования быстро проходят цикл разработки, абсолютно необходимо иметь надлежащие рамки. Разработка, развертывание и обслуживание ИИ в организации уже требует много времени и требует дополнительных затрат. Без надлежащего обдумывания и планирования это может легко привести к бесконечным срокам и высоким затратам на инфраструктуру, не добавляя большой ценности для бизнеса.

Надеюсь, это было интересное чтение. Свяжитесь со мной, если вы хотите обсудить лучшие практики стратегии ИИ для организаций. Ваше здоровье!