DragonFly - это уникальный набор технологий и инструментов, который поддерживает нашу инвестиционную стратегию в WovenLight, от поиска поставщиков и тщательности до создания стоимости в нашей собственности. Здесь мы рассмотрим одну из ключевых задач разработки DragonFly - создание решений для анализа повторяемых данных и машинного обучения.

Авторы: Томас Френч, руководитель отдела разработки продуктов, A ngus Taylor , главный менеджер по продукту WovenLight.

Для инвестиционной компании применение аналитики данных и машинного обучения (ML) может открыть новые ценности, расширить возможности как в портфельных компаниях, так и в наших собственных. Но, как подчеркнули Касадо и Борнштейн, разработка этих подходов сопряжена с проблемами, отчасти потому, что бизнес-задачи и ввод данных различаются в разных компаниях - в отличие от традиционной разработки программного обеспечения, в которой проблемы и исходные данные часто легче определить.

Это приводит к увеличению затрат и времени на разработку для поддержки аналитики, снижению их внедрения и надежности, а также увеличению времени окупаемости. В конечном итоге мы наблюдаем снижение окупаемости инвестиций по сравнению с традиционным программным обеспечением, где обычно существуют низкие маржинальные затраты (и высокая маржа) после разработки продуктов. Как отмечают Касадо и Борнштейн, снижение маржи ухудшается с учетом дополнительных затрат на облако и требований к постоянной поддержке и обслуживанию. (Хотя есть продуктовые компании, которые разрабатывают аналитические продукты для более конкретных или узких вариантов использования, эти продукты по-прежнему требуют настройки и настройки, если данные или проблемы немного меняются.)

Возможный, жизнеспособный и ценный

Создание продуктов обычно требует определения целевой проблемы или варианта использования, компромисса между специфичностью и гибкостью (общность). Но это может привести к риску создания продукта, который будет специфичен для конкретного варианта использования и не будет хорошо обобщаться для других контекстов (и, следовательно, рискует быть неиспользованным); или разработка продуктов, которые слишком общие, чтобы быть полезными. Задача разработки продукта состоит в том, чтобы найти баланс между ними, который является осуществимым, жизнеспособным и ценным.

Проблемы, связанные с выпуском продуктов для аналитики, привели к увеличению количества консалтинговых компаний, предлагающих услуги по разработке решений в области науки о данных и аналитики. В этом контексте, когда для выполнения проектов для клиентов привлекаются консультанты, часто бывает необходимо рассмотреть новые варианты использования и построить инфраструктуру, которая должна интегрироваться с существующими пользовательскими клиентскими системами. Эти требования увеличивают стоимость проекта и время разработки, а также значительно снижают рентабельность инвестиций.

Напротив, в инвестиционном контексте большее влияние может быть оказано на системную архитектуру и направление инфраструктуры, что потенциально снижает затраты и время разработки и позволяет стандартизировать. В то время как крупные предприятия могут иметь возможность развивать собственные разработки или нанимать консультантов, эти дополнительные расходы затрудняют понимание ценности аналитики малыми и средними компаниями.

В этом контексте аналитика данных должна работать в разных масштабах: в разных компаниях; по продуктовым линейкам; в разных географических регионах.

Для создания повторяемых решений требуется стандартизованный, но в то же время очень гибкий подход, включающий:
- шаблоны для сценариев использования аналитики, которые служат отправной точкой;

- Единая аналитическая структура и структура проекта для повышения качества и совместной работы;

- Технологическая инфраструктура для гибкой масштабируемой разработки и развертывания решений для улучшения цикла разработки и сокращения времени на получение обратной связи;

- Культура открытости и сотрудничества в сочетании с передовыми техническими методами расширяет возможности профессионалов в области аналитики.

Давайте разберемся с каждым чуть подробнее.

Шаблоны

Как обсуждалось выше, создание вариантов использования аналитики является сложной задачей, поскольку крайние варианты использования будут сохраняться. Однако между вариантами использования часто есть общность и совпадение, так что начинать с нуля было бы медленным, дорогостоящим и ненужным.

Разработка шаблонов в качестве отправных точек, которые одновременно являются руководствами и набором репозиториев данных, функций и гипотез с библиотеками аналитики. Шаблоны, основанные на модульных многократно используемых компонентах, сокращают время настройки и разработки, тем самым ускоряя переход к ценности. Повторение шаблонов после предоставления вариантов использования приводит к улучшению обратной связи.

Платформа аналитики

Предоставление вариантов использования для аналитики может включать в себя множество движущихся частей: от данных и конвейеров; комплектации и моделям. Кроме того, для использования доступно множество инструментов и систем. Со временем отсутствие стандартизации и фрагментация приводит к дополнительному техническому долгу и создает препятствия для сотрудничества, увеличивая объем обслуживания и замедляя разработку.

Стандартизация структуры проекта и построение на общей надежной платформе аналитики при одновременном кодировании передовых практик и шаблонов проектирования, что приводит к более качественным и удобным в обслуживании проектам с более гладкой совместной работой.

Техническая инфраструктура

В инвестиционном контексте разработка аналитических решений с несовершенными, постоянно меняющимися данными, меняющимися эксплуатационными и техническими требованиями и необходимостью передачи возможностей портфельным компаниям создает несколько технических проблем. Ему требуется платформа, которая быстро предоставляет и настраивает безопасную облачную и аналитическую инфраструктуру, облегчая гибкую разработку и развертывание решений.

Разработка аналитики требует управления сложными данными и зависимостями кода: данными; трубопроводы; Особенности; модели; и выходы, что приводит к медленным циклам разработки и циклам обратной связи, а также к увеличению трения при совместной работе. Требования к данным и вычислениям могут значительно различаться в зависимости от проекта и его этапов. У поставщиков общедоступных облаков существует множество инструментов и платформ для поддержки жизненного цикла разработки, но их использование может привести к фрагментации и блокировке.

Развертывание аналитических решений в стандартной облачной инфраструктуре, поддерживающей непрерывный жизненный цикл разработки, что обеспечивает гибкую, масштабируемую разработку и развертывание сценариев использования аналитики. Инфраструктура, обеспечивающая компоненты рабочего процесса оперативной аналитики, такие как: среды разработки; CI / CD; отслеживание экспериментов; специализированные магазины; и модельный мониторинг. В конечном итоге это означает ускорение циклов разработки; снижение трений для сотрудничества; усиление воздействия; и сокращение времени окупаемости.

Вместе с шаблонами и платформой аналитики, обеспечивающие более быстрое развертывание и получение выгоды для компаний, использующих данные и аналитику.

Командная культура

Обеспечение успешной аналитики инвестиционной среды по портфельным компаниям с операционными и инфраструктурными требованиями требует межфункционального опыта и командной работы. Без надежных технических методов это может привести к разрозненным знаниям и «блокировке» зависимостей или передач, увеличивая трение для сотрудничества и замедляя цикл разработки, что в конечном итоге снижает влияние. Мы смягчаем это, наделяя команды непрерывным владением потоком создания ценности аналитики для более быстрого цикла разработки и получения обратной связи; и обеспечение непрерывного совершенствования.

Создавая техническую культуру вокруг практик DevOps / MLOps для быстрого потока, постоянной обратной связи и улучшений, мы создаем здоровые, растущие команды. И мы дополняем это четкими процессами адаптации и передовыми практиками, которые способствуют сокращению технической фрагментации, укреплению межгруппового взаимодействия и повышению качества с первого дня.

WovenLight

В WovenLight мы стремимся объединить Пособие шаблонов сценариев использования аналитики, основанное на десятилетнем опыте развертывания аналогичных сценариев использования; с развивающимся протоколом, который определяет наши повторяемые методы; с нашими исключительными людьми;, все они опираются на нашу технологию Dragonfly, используемую для ускорения развертывания аналитики в портфельных компаниях.

Пособие
- набор сценариев использования аналитики, основанный на шаблонах повторно используемых компонентов аналитики для ускорения развертывания.

- Опыт, помогающий найти нужные данные, что строить, и помощь в их построении.

Протокол
- развивающийся, повторяемый метод жизненного цикла сквозной аналитики, обеспечивающий согласованность, эффективность и качество.

- Последовательный процесс адаптации и обучения членов команды нашему аналитическому подходу, ускорение получения результатов и повышение производительности.

- Кодификация передового технического опыта и технологических решений, снижающих фрагментацию разработки и технический долг.

Люди
- культура открытого коллектива, позволяющая уменьшить разрозненность знаний и повысить продуктивность.

- Непрерывное владение потоком создания ценности аналитики, расширяющее возможности специалистов-аналитиков.

- Практики непрерывной обратной связи и улучшения для поддержки развития команды, повышения производительности и поощрения установки на рост.

Для WovenLight и наших команд цель состоит в том, чтобы запустить маховик, создавая возможности, которые объединяют: улучшение поиска и усердия, стимулирование повторного создания ценности и улучшение владения.

Все вышеперечисленное основано на открытой и совместной командной культуре для решения наиболее важных и значимых проблем и сокращения ваших обязанностей и обязательств. В результате ваш бизнес будет легче поддерживать из года в год.