Пандемия COVID-19 сильно изменила поведение потребителей и рыночный спрос, что привело к тому, что многие модели искусственного интеллекта и машинного обучения устарели. В результате некоторые компании активизировали свои усилия по использованию внешних данных вместо того, чтобы сосредоточиться на внутренних операционных данных.

Хотя многие компании очень хорошо используют свои внутренние операционные данные, относительно немногие компании осознали ценность использования сторонних или общедоступных источников данных. Ведущие компании знают, что нельзя построить высококачественные модели, используя только внутренние данные. Хотя оперативные данные отлично подходят для построения картины того, что вы делали в прошлом месяце, внешние источники могут дать вам представление о том, что вы можете сделать завтра.

Какие компании лидируют в игре?

50% из 100 крупнейших хедж-фондов используют внешние данные. Они используют данные о потребительских расходах и образе жизни, чтобы оценить потенциальный рост своего портфеля. Инвесторы собирают объявления о вакансиях, данные о текучести кадров (с веб-сайтов профессиональных сетей) и заявки на патенты, чтобы прогнозировать финансовые результаты определенной компании.

Например, Orbital Insights собирает анонимные спутниковые снимки с парковок по всей территории США и предоставляет данные о том, где и когда люди делают покупки. Orbital Insights обслуживает такие отрасли, как финансовые услуги, потребительские товары, цепочка поставок и энергетика.

Бенсон и Маги из Массачусетского технологического института показали, что давность и важность патентных заявок в технологических областях могут предсказать, насколько быстро будет развиваться определенная технология. Например, компания Dyson запатентовала свой высококлассный сверхзвуковой фен в 2013 году. Фен появился на рынке в 2016 году. Это понимание может стать ключевой информацией для хороших инвестиций.

Йорн Люсегген подчеркивает в своей книге «Внешний взгляд: путешествие по миру, утопающему в данных», что производитель стеклянных окон использует географические данные о зарегистрированных преступлениях, чтобы улучшить прогноз спроса для каждого региона.

Kabbage — это финтех-компания, которая финансирует малый бизнес через автоматизированную кредитную платформу. Браун из Массачусетского технологического института объяснил, что Кэббидж использует данные из социальных сетей, историю продаж и доставки для определения кредитоспособности малого бизнеса.

Компании по недвижимости прогнозируют потенциальную будущую стоимость определенных объектов недвижимости на основе данных о пешеходном трафике, рейтингах ресторанов и развлекательных мероприятиях в непосредственной близости от их целевого района.

Аазер и МакЭлхани из McKinsey проиллюстрировали варианты использования внешних источников в следующем обзоре.

Как начать использовать внешние данные?

Для подхода к исследованиям и разработкам или экспериментального проекта небольшая команда может начать с идеи использования некоторых внешних данных и создания минимально жизнеспособного продукта (MVP).

Для масштабируемого проекта и более устойчивого подхода можно выполнить следующие шаги от McKinsey для создания централизованного конвейера.

Шаг 1 — определение вариантов использования

Определите надежные варианты использования, которые могут использовать преимущества внешних данных. Команда, состоящая из заинтересованных сторон и специалистов по стратегии обработки данных, может разработать варианты использования, которые предлагают повышение или ценность.

Шаг 2. Определите роли

Определите роли для поддержки усилий, включая разведчиков данных и рецензентов данных.

Стандартные роли:

  • Эксперты по закупкам заключают контракты с поставщиками данных
  • Архитекторы и инженеры DevOps разрабатывают платформы для интеграции и управления доступом
  • Инженеры данных получают и подготавливают данные
  • Специалисты по данным и аналитики строят модели и применяют данные для вариантов использования, измеряя ценность моделей и анализов.

Новые ключевые роли:

В эффективном проекте данных с внешними источниками необходимы две новые роли. В зависимости от размера проекта эти роли можно комбинировать со стандартными ролями.

  • Рецензенты данных оценивают, как использовать внешние данные и оценивают риски (например, риски, связанные с GDPR)
  • Исследователи данных / стратеги работают с бизнесом, чтобы сопоставить соответствующие внешние источники.

Шаг 3. Узнайте свои источники

Каковы ваши параметры данных?

Общедоступные данные. Государственные учреждения бесплатно публикуют высокоуровневые данные. Например, Статистическое управление Нидерландов (cbs.nl) предоставляет общедоступные данные по 22 различным категориям, начиная от динамики количества гостей в отелях по городам и заканчивая данными о траекториях полета дронов. Открытые данные правительства США (data.gov) содержат более 200 000 наборов данных от различных государственных учреждений.

Рынки данных. Внешние платформы данных — это новые игроки в индустрии аналитики, которые предоставляют данные и сигналы своим клиентам. Gartner начала анализировать и ранжировать этих вендоров с 2021 года.

Шаг 4. Оцените ценность данных

В большинстве случаев вы должны иметь возможность оценить данные перед покупкой. Вы можете использовать ручные или автоматические методы, чтобы понять потенциальную ценность данных. Рецензенты данных играют ключевую роль в увязывании бизнес-потребностей и ценности данных до того, как специалисты по данным и аналитики начнут использовать внешние данные.

Заключение

Кризис COVID-19 ускорил тенденцию к использованию внешних источников данных. Компании поняли, что их прогностические модели не работают, просто используя внутренние данные. Для успешного перехода к новым источникам необходима централизованная стратегия. Правильная стратегия синтезирует внешние данные с внутренними данными, чтобы получить некоторый интеллект, который имеет отношение к вашим вариантам использования.

Используете ли вы внешние данные в своих проектах? Знаете ли вы другие успешные истории?