Стратегия «0/1/Готово» для науки о данных

TL;DR:Чтобы добиться операционного совершенства в предоставлении прикладных наук о данных, цель:0-day Handovers,Прототипирование за 1 деньи объявлять проектывыполненными, когда они полностью выполнены. Работайте в обратном направлении от этих целей, проводя анализ разрыва между ними и текущими возможностями команды, чтобы определить процессы, инструменты и инициативы по управлению для их достижения.

Исследования и разработки по сравнению с BAU

Успешное применение науки о данных в организационной среде почти всегда требует тонкого балансирования.

Обычно он принимает форму бизнес-функции, которая демонстрирует характеристики исследований и разработок (НИОКР), пытающихся улучшить процессы обычного бизнеса (BAU). Это может быть сложной средой для достижения успеха. Попытка оказать влияние, основанное на науке о данных, сопряжена с высокой ценностью, но также и с высоким риском, и команды должны стремиться быть как эффективными, так и действенными.

В некотором смысле Google Trend по «науке о данных» — и в соответствующих терминах, если на то пошло — изображает этот баланс стоимости и риска, хотя временным рядам можно дать множество интерпретаций. Наука о данных (DS) неизменно на протяжении многих лет была очень привлекательной областью, и действительно, функции DS появились практически почти в каждой организации по всему миру за последние полвека. Но плато после января 2020 года в «науке о данных» — по крайней мере, по объему поиска — совпадающее со временем пандемии COVID-19, схематично отражает уязвимость науки о данных в том смысле, что во время кризиса ее можно рассматривать как менее привлекательным, хотя, опять же, здесь могут играть роль и другие факторы.

Действительно, практика НИОКР — по названию или в том случае, если она воспринимается как таковая, особенно если она не установлена ​​или не доказана — может быть одной из первых, которые высшее руководство будет подвергнуто тщательному рассмотрению во времена неопределенности. Это ключевая причина, по которой эти многообещающие бизнес-функции DS должны быть удобными «пуленепробиваемыми», прежде чем решать еще более амбициозные задачи или расширять сферу их компетенции.

Обзор стратегии

В News UK нам выпала честь вести успешную практику Data Science, которая уже оказала существенное влияние на ряд областей, включая наши ключевые издания, такие как The Times и The Sunday Times, и Солнце. К ним относятся механизмы рекомендаций по контенту, инструменты анализа новостей и модели клиентов, и это лишь некоторые из них. Чтобы ускорить его следующий уровень роста, мы решили разработать стратегию, которая укрепит основы доставки, снизит факторы операционного риска и заложит прочную основу для будущего — после чего наши амбиции в отношении этой функции еще больше возрастут.

Мы делимся этой итерацией нашей Стратегии обработки данных в надежде, что другие функции могут извлечь выгоду из принятия ее принципов и целей.

Стратегия состоит из трех основных столпов: Развитие персонала, Производственное совершенство и Фокус на продукте в наших проектах. Между ними существует элемент иерархии, поскольку наши люди — их развитие и благополучие — стоят на первом месте, поверх которых мы формируем наши цели по улучшению нашей совместной работы (операционное превосходство), что является еще одной основой для наших решений. построены. Вы можете справедливо заметить, что эти три столпа напоминают структуру доктора Гарольда Ливитта «Люди, процессы, технологии», хотя это было лишь незначительным источником вдохновения при разработке стратегии. Столпы развития персонала и сосредоточения внимания на продукте могут принимать различные формы и формы, а детали могут быть очень специфичными для бизнеса или уже широко распространенными. Напротив, то, как мы сформулировали операционное превосходство, является новым, и его можно обобщить и применять более широко. Именно об этой области внимания мы подробнее остановимся ниже. Сам термин не нов — предположительно он был придуман доктором Джозефом М. Джураном в 1970-х годах — но мы используем его здесь буквально, а не в его первоначальном деловом контексте.

"0 / 1 / Готово"

Рабочий поток нашей стратегии Operational Excellence (OE) направлен на улучшение наших внутренних методов работы и слаженность того, как мы работаем как команда. Мы делаем это, проверяя наши технические возможности, бизнес-знания, управление проектами и средства контроля, а также ищем возможности автоматизации для оптимизации и защиты доставки.

У нас есть три взаимодополняющие и в то же время, казалось бы, противоречащие друг другу цели.

Мы стремимся к:

• 0-day Handovers,
• Прототипирование за 1 день, и назвать нашу работу…
• Готово, когда полностью выполнено, также взаимозаменяемо называемое Определение готовности

Кодовое название: «0 / 1 / Done». (Он начинается с 0, потому что… вы знаете… Python.)

Первое и второстепенное, на что следует обратить внимание, это то, что «передача» может показаться не самой интересной концепцией для привязки к стратегической цели. Тем не менее, не требуется больших усилий, чтобы оценить уровень операционного совершенства, возникающий в результате стремления к такому высокому уровню гибкости, когда речь идет о владении проектом (практически без посторонней помощи), а также о снижении риска потери знаний и перерывов в бизнесе. поддерживать.

[ 0-day Handovers ]

Более подробно, с помощью 0-day Handovers мы стремимся иметь возможность сменить владельца проекта практически без необходимости в одноранговой поддержке. Идея состоит в том, что любой член команды может быть включен в новый проект только после того, как ему будет дан набор указателей, с помощью которых они смогут самостоятельно понять его суть и практическое участие. Документы, вики-сайты, репозитории кода и/или даже демонстрационные видеоролики могут быть частью набора возможностей; они должны быть настолько тщательными, полными и актуальными, чтобы в противном случае не было необходимости в неявной передаче знаний.

[ 1 день прототипирования ]

Прототипирование за 1 день относится к нашей способности предоставить работающий прототип решения с пригодными для использования результатами, которые работают выше существующих бизнес-эталонов для задач, которые можно естественным образом сформулировать как «типичное обучение ML» с учителем и без учителя. те.

Например, мы можем захотеть создать прототип модели для поддержки предстоящей маркетинговой кампании и для того, чтобы она работала лучше, чем простой эвристический подход или случайный выбор. В нашем контексте круг проблем, которые мы хотим решать таким образом, довольно широк. Модели клиентов, связанные с маркетингом и рекламой, такие как сегментация, прогнозируемый отток, пожизненная ценность (LTV), взаимодействие, перекрестные/дополнительные продажи, двойники, модели приобретения или прогнозирования, могут быть частью комплекса.

Быстрая доставка таких прототипов позволяет нам (i) мгновенно выявлять и разблокировать последующие инженерные зависимости, а также (ii) быстро переключать обсуждение с того, сколько времени занимает разработка сложного моделирования, на управление изменениями BAU, необходимое для внедрения новых возможностей и внедрения. это в действии, задача «последней мили», с которой часто сталкиваются проекты машинного обучения. Таким образом, команда Data Science не рассматривается как источник задержки.

Понятно, что не все бизнес-проекты являются типичными ML. Например, невозможно создать рекомендательный механизм за одну ночь. Мы также понимаем, что однодневную модель всегда можно доработать и улучшить, однако это то, что мы можем продолжить с меньшим давлением после того, как у бизнеса будет рабочий прототип.

Чтобы однодневное решение было рассмотрено, наши специалисты по обработке и анализу данных должны иметь четкие бизнес-требования, и действительно, эта цель может направлять разговоры с бизнес-аналитиками и владельцами продуктов для улучшения методов работы. Акт быстрого прототипирования решения также помогает лучше объяснить, как работает наука о данных и какие бизнес-входы ей нужны, до начала проекта, а также помогает выявить нюансы в проблеме, которые могут предоставить ранние доказательства того, будет ли проект успешным. или потерпеть неудачу.

И, возможно, не в последнюю очередь то, что создание однодневных прототипов с помощью однодневных хакатонов может в то же время быть веселым, четко определенным упражнением по построению команды.

[Определение готовности]

Определение готовности формализует процесс реализации проекта машинного обучения, перечисляя все шаги, которые он должен предпринять, чтобы гарантировать, что разработка решения отвечает всем требованиям, от проверки данных, моделирования и проверки до документации и обеспечения объяснимости и мониторинга, прежде чем окончательное подписание проекта.

Это может показаться не новым, но в мире прикладной науки о данных этому слишком редко следуют. Он также поддерживает цель передачи обслуживания. Кроме того, это жизненно важная проверка, позволяющая избежать поспешного перераспределения специалистов по данным для предстоящих проектов до того, как все будет завершено, в то же время она дает руководителям проектов руководство и ясность. Это может распространяться на то, как мы формулируем «критерии закрытия» для проектов, в которых мы должны ответственно «быстро провалиться». Одна из первоначальных проверок заключается в том, что специалисты по данным консультируются с другими командами, такими как службы аналитики / бизнес-аналитики, прежде чем приступить к разработке решения, чтобы подтвердить, что над данным проектом еще не было выполнено отдельной достаточной работы. Таким образом мы поощряем межфункциональное сотрудничество и защищаем от дублирования работы.

Для достижения этой цели у нас есть Матрица завершения проектов, в которой перечислены все проекты нашей команды в соответствии с ключевыми этапами жизненного цикла проекта и требованиями. Мы оценили соответствующие ячейки со значениями завершения от 0 до 100%, насколько это возможно. Таким образом, мы сопоставили наш технический долг и поставили себе общую оценку завершения проекта, чтобы стремиться к улучшению. Области, представляющие наибольший интерес, представляли собой менее встречающиеся области, такие как обработка дрейфа данных и объяснимость модели, а не неизбежные обязательные элементы выбора и проверки модели. В конечном итоге все эти этапы должны формировать галочку в списке Definition of Done. При заполнении этой матрицы мы, естественно, будем рассматривать независимые от проекта решения (инструменты), где это уместно, учитывая, что не все проекты требуют индивидуальных решений для определенных областей.

В обратном порядке

В целом, наша цель состоит в том, чтобы работать в обратном направлении от трех амбициозных целей «0 / 1 / Готово», чтобы определить, чего не хватает для их достижения, а затем реализовать более детализированные, небольшие инициативы. Мы перечисляем некоторые из них ниже. Они, естественно, будут различаться в разных организациях, учитывая масштаб и уровень операционной зрелости каждой команды Data Science. В любом случае эти инициативы можно использовать для простого отслеживания и измерения улучшений в существующих возможностях или в качестве переподготовки для команды.

0-day Handovers:

• Гармонизация разработки кодекса (стандарты и соглашения); чтобы обеспечить более простую, независимую от разработчика читаемость кода, ремонтопригодность и, в конечном итоге, передачу права собственности
• Сценарии и процедуры автоматической настройки для наших сервисов облачной платформы; нацелен в первую очередь на упрощение создания набора данных хранилища и вычислительного экземпляра, чтобы поддержать адаптацию, настройку и миграцию проектного конвейера для Data Scientist.
• Модернизация пространства управления знаниями команды; превратить вики-страницы проектной документации команды в «универсальный магазин» информации о проекте

Прототипирование за 1 день:

• Тренинг «Изучите наши ключевые наборы данных»; чтобы каждый член команды хорошо знал критически важные наборы данных о продукте, охватывающие ключевую информацию о пользователях, контенте и поведении, чтобы быстрее справляться с проектированием функций и разработкой моделей.
• Магазин функций; для дальнейшей поддержки по вышеуказанному
• Обучение и обмен знаниями по эффективным запросам к большим данным, принципам Agile и Lean, областям бизнеса и заинтересованным сторонам; все из которых сами по себе поддерживают всеобъемлющую цель быстрого прототипирования
• Обзор технического стека; искать дополнительные возможности для улучшения инструментов, например, с помощью AutoML

Определение готовности:

• Ворота принятия решений по жизненному циклу проекта и контрольный список; для тщательного управления реализацией проекта, включая учет этических соображений
• Формулировка минимальных критериев проверки кода; помочь в разъяснении того, из чего состоит хорошая проверка кода (требование к проекту до утверждения)
• Создание модуля объяснимости (независимо от проекта); для поддержки в выполнении менее часто обслуживаемых требований объяснимости
• план ответа на запрос на доступ к субъекту данных (DSAR); систематизированное и своевременное обнаружение использования цифровых данных человека моделями машинного обучения в соответствии с его правом доступа GDPR
• Заполнение…Матрицы завершения проекта; как описано выше

Измерение успеха

Как группа по науке о данных, мы установили временные рамки для реализации этой стратегии, чтобы она имела импульс, и, несмотря на то, что она является внутренней, мы более широко рекламируем ее другим командам, чтобы мы могли ограждать возможности для ее реализации, и поэтому мы можем считать себя более ответственными за его прогресс. Наш план состоит в том, чтобы измерить успех для каждой цели OE.

0-day Handovers:

• Инициировать передачу проекта от одного члена команды другому, не уведомляя их и не указывая никаких инструкций, кроме указателей документации проекта. Контролировать и измерять уровень помощи, необходимой им в процессе перехода права собственности; чем ниже, тем лучше. Оцените через неделю.

Прототипирование за 1 день:

• Предоставьте команде типичную бизнес-проблему машинного обучения, которая будет правильно определена. Попросите их создать прототип решения в течение одного дня в рамках хакатона на целый день. Оцените эксперимент.

Определение готовности:

• Получите все проекты на всех этапах в Матрице завершения проектов до общего балла завершения >90 %. Убедитесь, что контрольный список жизненного цикла проекта понят и принят руководителями проектов, ответственными за проекты DS.

Здоровое напряжение

Стоит столкнуться со здоровым противоречием между тремя целями операционного совершенства, а также с тем, как они дополняют друг друга.

• Прототипирование за 1 день предлагает членам нашей команды быть быстрыми и несколько небрежными (с некоторыми ограничениями), чтобы получить отдачу. В то же время 0-day Handovers и Definition of Done требуют тщательности и детализации.
• 1-day Prototyping и 0-day Handovers могут не обязательно предлагать им расширить предоставленное решение, а вместо этого «завершить его», даже если оно частично завершено, при условии, что ядро результат был передан, в то время как Определение готовности требует, чтобы все шаги и ворота проекта сопровождались запрашиваемым обоснованием, когда это не так для определенных этапов.
• Пара 1-day Prototyping и Definition of Done побуждает команду взаимодействовать с внешними заинтересованными сторонами и обслуживать их при 0-day Handover самостоятельно. фокусируется на внутренних, внутрикомандных способах работы с упором на сочувствие и поддержку коллег по данным.

Мы надеемся, что вы видите ценность этой стратегии так же, как и мы. Прежде всего, ключевым принципом является поддержание высоких амбиций. Даже если в конечном итоге видение не будет достигнуто на 100%, мы считаем, что такие высокие устремления могут значительно улучшить зрелость, благополучие и статус команды Data Science в организации.

Особая благодарность Дэну Гилберту за просмотр и предоставление ценных отзывов.