Некоторые инструменты и идеи для изучения инициатив в области расширенной аналитики

Многие компании начинают создавать индивидуальные решения на основе искусственного интеллекта для улучшения процесса принятия решений в различных сферах бизнеса.

Многие из этих решений ИИ начинаются с простой идеи, которая после небольшой обработки может быть выдвинута в качестве гипотезы. Модель AI / ML может быть построена для материализации идеи с использованием данных и может быть использована экспериментально, чтобы узнать, работают ли они для ожидаемой цели и их ценность для бизнеса. Таким образом, с помощью быстрого создания моделей и экспериментов можно исследовать новые идеи и создавать решения AI и ML, которые впоследствии могут расширяться.

Такой подход «попробуй и посмотри» перед тем, как что-то обострить, может показаться очень естественным… мы много раз прибегаем к этому экспериментальному подходу, чтобы пробовать что-то новое в нашей повседневной жизни. Даже в этом случае, если в процессе экспериментов не применяются какие-либо правила или методология, не так-то просто доверять результатам.

Экспериментировать, применяя на практике эти правила и методики в повседневной работе, может быть очень сложно. Несмотря на то, что изучение идей должно быть быстрым и грязным, создание и тестирование должны быть определенным образом работы и среды, которые имеют тенденцию к сбою с бюрократией, процедурами утверждения, инфраструктурой, рабочими процессами и т. Д.

Еще одна вещь, которая может замедлить или даже убить экспериментирование в деловом мире, - это образ мышления. В большинстве компаний люди настроены соблюдать установленный процесс, избегать ошибок и радоваться историям успеха, в то время как эксперименты - это все, чтобы быть открытыми к неудачам (всегда ограничивая риск), учиться, постоянно сомневаться в том, как мы делаем что-то и знать, когда и как распознать новые потоки создания ценности.

Этот момент очень важен, потому что бизнес настроен на ожидаемые результаты, а цель экспериментов - учиться. Эта разница в ожиданиях оказывает большое влияние на то, как мы делаем что-то, потому что стремление к результатам означает выполнение действия, которое, как мы почти уверены, окажет положительное влияние, что противоречит экспериментированию. И что в результате? Великолепные идеи и модели, которые никогда не видят света, лишают возможности изменить статус-кво.

Если избегать экспериментов, ценность не может быть определена. По этой причине я хочу представить структуру исследования, которая может помочь методично экспериментировать с новыми идеями и создавать полезные модели искусственного интеллекта и машинного обучения, чтобы проявить влияние в реальном мире.

Прежде всего, я хотел бы уточнить, что исследование включает в себя не только эксперименты ... есть 4 основных шага, которые необходимы для изучения инициатив AI / ML:

  1. Обнаружение: основная цель - выявить возможности, которые могут иметь наибольшее влияние с помощью ИИ. Сначала выявляются бизнес-проблемы / возможности, а затем мы смотрим, достаточно ли данных для работы с ИИ, интегрируем соответствующие источники данных, которые могут решить бизнес-проблему, и рассчитываем бизнес-модель каждой инициативы на основе данных.
  2. Моделирование. Цель состоит в том, чтобы спроектировать и создать предварительные модели, позволяющие проводить первые эксперименты, а также оптимизировать и улучшать их с течением времени.
  3. Экспериментирование. Цель этого этапа - использовать модели в реальном мире, чтобы проверить, как они работают и как это влияет на процесс принятия решений в бизнесе. Положительное влияние и риск экспериментов ограничиваются масштабом экспериментов, но экстраполируя результаты, можно рассчитать эмпирические бизнес-кейсы, которые будут определять дальнейшую итерацию или реализацию.
  4. Прототипирование: если аналитическое решение продемонстрировало ценность, мы передаем модель и все полученные знания о том, как применять ее в реальных сценариях использования, и определяем MVP, который можно применить в бизнесе для повышения решение для всего бизнеса.

Эти этапы не являются строго последовательными и имеют тенденцию пересекаться друг с другом, что является наиболее распространенной итерацией между моделированием и экспериментированием.

Чтобы эффективно перемещаться между этими этапами, мы можем применить определенную структуру (концепции, практики и критерии), которые будут определять способ получения надежных результатов на каждом этапе и создавать хорошие идеи для оценки того, как двигаться вперед.

В Spike мы внедрили структуру, которая позволяет управлять всеми инициативами в одной исследовательской площадке, поэтому она может помочь расставить приоритеты идей между ними, чтобы оказать максимальное влияние на бизнес с помощью аналитических решений. Он также предоставит инструменты и рекомендации о том, как сообщать о ценности разведки и взаимодействовать с ключевыми заинтересованными сторонами.

На следующем рисунке вы можете взглянуть на фреймворк:

Давай пройдем через это!

  1. Открытие

Для начала необходимо провести предварительную работу в области исследования, например, составить библиографический обзор (прочитать и обобщить исследования, статьи, статьи и т. Д.), Чтобы понять отрасль, различные бизнес-модели и состояние искусственного интеллекта. . Мы документируем этот обзор в Notion!

В то же время очень полезно задокументировать некоторые особенности самой организации, в которой вы собираетесь исследовать (заинтересованные стороны, процессы, история), которые будут необходимы для разработки индивидуальной методологии экспериментирования.

Первое взаимодействие с заинтересованными сторонами направлено на отображение всех видов идей, проблем и возможностей, существующих в данной области. Семинар по формированию идей - хорошая идея для проведения этого, потому что он может помочь заинтересованным сторонам сделать паузу в своей повседневной работе и подумать над этими идеями. Хорошая практика - как можно больше расходиться на семинаре по формированию идей и не думать об ограничениях данных, времени или осуществимости, а просто выявлять проблемы и возможности (даже не решения). После этого, чтобы обосновать идеи и определить, где может быть ценность, хорошо поработать над определением всех проблем с определенной структурой и сопоставить их с ключевой заинтересованной стороной, чтобы связать проблему с определенной областью действий.

Затем мы организуем то, что мы называем предполетными сессиями с выбранными ключевыми заинтересованными сторонами, теми, кто будет референтами в определенной области в области исследования и которые могут поделиться наиболее актуальными идеями в области работы. На этом занятии основная цель состоит в том, чтобы оценить различные аспекты проблемы, которую мы заинтересованы в решении, и поэтому мы считаем очень полезным пройти контрольный список вопросов, нацеленных на различные виды информации, в основном о бизнесе и данных. Чтобы сосредоточиться только на наборе проблем, рекомендуется начинать сеанс с краткого изложения всех проблем, затронутых ранее, на семинаре и предварительном обзоре, которые имеют отношение к сфере охвата предметной области, чтобы сосредоточиться только на в них, и оттуда постарайтесь выявить наиболее болезненные для прохождения анкеты.

Набор вопросов, касающихся:

  1. Бизнес: определение проблемы, контекст (вау, структура), цели, целевые KPI, ценность бизнес-кейса, риски.
  2. Данные: целевые источники данных, управление, качество данных, частота.
  3. Выполнение: график высокого уровня, макеты доставки, рабочий процесс на высоком уровне в производство.

Например, если бы мы исследовали область цепочки поставок, могли бы быть разные менеджеры с разными масштабами, целями и проблемами. Таким образом, каждый из них может быть ключевой заинтересованной стороной в своем масштабе и тем человеком, с которым нужно провести предварительную подготовку.

На данный момент все это может иметь смысл. Правда в том, что, проводя предварительные полеты, мы должны быть очень осторожны, чтобы не быть очень быстро навязанными HIPPO и не привести к предвзятости при расстановке приоритетов в точках исследования. Чтобы избежать этого, всегда старайтесь проверять бизнес-модель с помощью данных и сравнивать с другими проблемами, известными для домена, чтобы другие варианты оставались доступными. Хороший способ избежать этой предвзятости - вернуться и проверить предварительное расследование.

С другой стороны, работа сверху вниз хороша тем, что она дает ясность в отношении того, как работает команда, как управляются потоки данных и процессы принятия решений. Основная заинтересованная сторона представит прекрасное видение основных источников возможностей, готовности и возможностей команды.

Результатом предполетной сессии является сводка каждой инициативы, в которой мы должны иметь возможность определить каждое пустое пространство этого холста:

Это действительно полезно, чтобы прояснить понимание проблемы, конечную цель и основные потребности для ее решения. Это также может быть мощным инструментом для согласования и общения.

Должно быть ясно, какие источники данных необходимы для создания решения AI / ML и какие ключевые показатели эффективности являются ключевыми для измерения воздействия. Поэтому во время открытия важно найти и интегрировать необходимые базы данных, чтобы дать первое представление о целесообразности, а также оценить влияние бизнес-модели на данные.

Имея все холсты в руках, мы можем использовать оценку воздействия вместе с масштабируемостью и мерой усилий для определения приоритетов инициатив AA.

В результате мы можем определить план исследований с учетом всех различных инициатив. Дорожная карта - отличный способ организовать рабочую площадку, увидеть весь портфель инициатив и дать представление о том, что должно происходить дальше. Но будьте осторожны! Само исследование не может быть очень структурированным и иметь заранее определенные следующие шаги. Вся цель исследования состоит в том, чтобы найти новые идеи и информацию на пути и иметь достаточно гибкости, чтобы принимать их во внимание и следовать новым путям и гипотезам, если это разумно. Таким образом, дорожная карта касается не самих сроков, а знаний, полученных в прошлом, и того, что имеет смысл делать в следующие недели, не намного позже.

Как только дорожная карта станет ясной и будут доступны данные, можно приступать к моделированию.

2. Моделирование

Примите во внимание, что этап моделирования означает не только программирование алгоритма, но также включает изучение различных моделей, применимых к конкретному случаю, определение того, какая из них лучше подходит, построение модели и ее проверка.

Важно быть максимально прозрачным для заинтересованных сторон в отношении того, как работает модель. Иногда объяснимость возможна, а иногда нет (как в моделях глубокого обучения). Но даже когда можно построить объяснимость, для этого требуется много работы. Поэтому, исследуя что-то новое, не всегда имеет смысл начинать создавать полную объяснимость. Один из способов преодолеть этот момент - осмыслить, как работает модель, предоставить несколько ее примеров и показать некоторые классические ключевые показатели эффективности, такие как точность, точность и отзывчивость.

Как только модель заработает, мы приступаем к экспериментам, и посредством экспериментов мы получаем знания для постепенного улучшения модели и тестирования.

Если доказано, что модель оказывает воздействие и будет передана в эксплуатацию, техническому партнеру необходимо будет иметь все технические документы и репозитории, доступные для обработки. Поэтому во время исследования рекомендуется как можно больше задокументировать модель, прием данных и прогнозы.

Еще один важный момент - это уровень автоматизации в процессе использования модели. При экспериментировании нормально не автоматизировать все, так как это может занять время и не всегда окупается. Так что имейте в виду, что когда вы начинаете экспериментировать с моделью, имеет смысл работать с некоторыми частями модели вручную, но если эксперименты продемонстрируют ценность и начнут расширять масштабы, неизбежно будет работать над автоматизацией.

Таким образом, не имеет значения, находимся мы в первой или последней версии модели, всегда необходимо проводить эксперименты, чтобы извлечь выгоду из ее ценности и оказать влияние на бизнес и научиться чему-то новому.

3. Эксперименты

Подобно построению моделей при моделировании, экспериментирование - это не только выполнение эксперимента.

Для начала очень важно спланировать правильный эксперимент и обеспечить его применимость к бизнесу. Например, не всегда возможно создать контрольную группу для проведения A / B-тестов, и нам приходится прибегать к более сложным экспериментальным планам. Подобные решения принимаются на начальном этапе экспериментов. Наиболее важные определения, которые следует принять, касаются: переменных, элементов управления и ключевых показателей эффективности.

В общем, экспериментирование заключается в разработке экспериментов, их реализации, измерении результатов и определении следующих шагов. Следующие шаги могут заключаться в изменении гипотезы, повторении или использовании модели.

Чтобы помочь в определении следующего шага, мы можем рассчитать полученную ценность в эксперименте и экстраполировать ее, чтобы получить эмпирическое экономическое обоснование, которое мы можем сравнить с теоретическим бизнес-планом и сделать выводы.

Более того, всегда помните, что самое важное в экспериментировании - это знания, полученные в результате вмешательства в реальность, поэтому хорошей практикой является ведение аналитического журнала, чтобы затем визуализировать весь путь обучения и сохранять его задокументированным. Это может быть очень полезно для визуализации результатов обучения, которые являются наиболее важными активами в исследовании, а также в качестве входных данных для фазы прототипирования, если демонстрируется ценность.

4. Прототип

После того, как инициатива продемонстрировала эмпирические доказательства воздействия посредством итерации экспериментов, мы приводим аналитическое решение к этапу эксплуатации, который заключается в переходе в производственный режим и полной эскалации, чтобы повлиять на всю реальность бизнеса. Для того, чтобы это произошло и чтобы помочь бизнесу получить всю ценность, оцениваемую на этапе экспериментирования, есть два важных аспекта передачи: сама модель (как ее обучать, прогнозировать и поддерживать) и использование аналитических результатов при использовании в бизнесе. кейсы (действия, рабочие процессы и создание воздействия, взаимодействие между человеком и решением).

На этом этапе ожидается, что у вас будет твердое представление о том, что представляет собой бизнес-кейс, если будет реализовано решение AI / ML, и четкое видение того, что должен включать MVP.

Для этой цели определение того, как должен выглядеть MVP, включая все знания об итерациях с прототипом, является хорошим способом объединиться в осязаемое и функциональное решение с командами эксплуатации. MVP должен учитывать все идеи, полученные в ходе экспериментов, и включать аналитическое решение. MVP должен создаваться командой разработчиков, чтобы гарантировать, что мы используем MLOps и передовые методы разработки продуктов (QA, CI / CD, отслеживание проблем).

Передачи встреч с конечными пользователями и группами эксплуатации необходимы для передачи знаний, полученных в результате экспериментов, а также передачи технических частей: конвейеров, API, визуализаций, жизненного цикла модели и т. Д. Соответствующей команде.

Все вышеперечисленное должно быть хорошо задокументировано и доступно для команд по передаче.

И это все!

Я надеюсь, что это краткое объяснение того, что представляет собой фреймворк и как использовать такие инструменты, как холст, может сейчас повлиять на ваш бизнес и улучшить исследования!

Большое спасибо Mane, Angie и JP.