Вы можете создать ИИ
Специалисты по анализу данных с Марса, а бизнесмены с Венеры
«Практическое руководство по улучшению общения и получению желаемого от отношений»
Биляна - опытный специалист по обработке данных в крупной сервисной компании в США. Она присоединилась к недавно созданной команде по анализу данных три года назад, готовая вывести свою новую компанию на новый уровень данных и аналитики. Менеджер, нанявший Биляну, также был очень рад ее присоединению, так как она закончила с лучшими в своем классе, и уже опубликовала пару научных статей на конференциях первого уровня по машинному обучению. «Это стратегическая победа для нашей компании», - сказал он, впервые представляя ее генеральному директору компании. Три года спустя Биляна не чувствует, что реализовала свой потенциал и цели.
Я уверен, что некоторые из вас уже слышали эту или очень похожую историю в прошлом. Во многих компаниях, с которыми я встречаюсь, я вижу взаимное разочарование от таких стратегических и захватывающих матчей. Я разговариваю с бизнес-менеджерами (генеральный директор, продажи, маркетинг, планирование, финансы, логистика, производство ...) компаний, которые жалуются, что машинное обучение (ML) и искусственный интеллект (AI) не для них, и указывают за усилия, которые они приложили, чтобы нанять своих блестящих специалистов по анализу данных. Тем не менее, особой ценности от этой команды не получилось. Я разговариваю с аналитиками данных, которые демонстрируют мне разработанные ими умные модели машинного обучения с точностью более 90% и жалуются, что бизнесмены игнорируют их модели и предпочитают использовать старый ручной процесс.
В чем причины несоответствия?
Причины этих несоответствий не в том, о чем вы могли подумать. Это нет, потому что данные беспорядочные или плохо структурированы. Специалисты по обработке данных отлично справляются с обработкой данных, а недавние достижения в области исследований искусственного интеллекта предоставляют инструменты для работы с неструктурированными данными из изображений, видео, текста, речи, временных рядов и т. Д. Часто сбои не связаны с сложностью построения моделей машинного обучения, поскольку инструменты, доступные сегодня в виде инструментов с открытым исходным кодом или управляемых служб в облаке, являются значительно упрощая разработку, оптимизацию, развертывание и эксплуатацию этой модели машинного обучения. Я также не рассматриваю отсутствие талантов в области науки о данных как серьезную причину отсутствия успеха в противостоянии между компаниями и специалистами по обработке данных. Есть много хороших старших специалистов по данным и гораздо больше младших, которые рады работать над проблемами реального мира и имеют доступ к огромному количеству данных, доступных в реальном бизнесе.
Да, это настоящие проблемы, которые много раз мешают даже начать внедрять ИИ в крупных организациях. Однако даже первые пользователи, которым удалось преодолеть эти первые препятствия, также не видят ожидаемой отдачи от своих инвестиций.
По моему опыту, основная причина - недопонимание между двумя очень разными дисциплинами. Бизнес сосредоточен на сильных и слабых сторонах психологии и человека, в то время как наука о данных сосредоточена на сильных и слабых сторонах математики и компьютеров.
Известные примеры недопонимания
Проблемная коммуникация не нова, и причина, по которой стоит выделить ее и решить сегодня, в основном связана с огромными возможностями, которые современный искусственный интеллект и машинное обучение могут предложить крупному бизнесу. В наши дни большинство компаний уже внедрили некоторые цифровые системы, такие как системы ERP или CRM, и имеют достаточно данных, чтобы воспользоваться мощью передовой аналитики, машинного обучения и искусственного интеллекта.
Предположение о том, что «достаточно построить хранилище данных или озеро данных и добавить инструмент бизнес-аналитики (BI) для исследования данных», очевидно, не работает должным образом. Позвольте мне привести вам пару известных примеров того, как сложно «читать» данные и понимать, как на их основе принимать важные решения.
В 1973 году Калифорнийский университет в Беркли опасался судебного преследования за предубеждение по признаку пола, потому что данные о приеме в аспирантуру показали очевидную предвзятость в отношении женщин:
В интервью Wall Street Journal с Питером Бикелем, одним из статистиков, участвовавших в первоначальном исследовании, говорится:
Парадокс Симпсона многих обманул. Осенью 1973 года, например, выпускное отделение Калифорнийского университета в Беркли приняло около 44% абитуриентов-мужчин и 35% претендентов-женщин. Это вызвало удивление у школьных чиновников, которые опасались предвзятости и попросили Питера Бикеля, ныне почетного профессора статистики в Беркли, проанализировать данные.
«Заместитель декана аспирантуры полагал, что на университет могут подать в суд», - говорит г-н Бикель.
Когда г-н Бикель и его коллеги внимательно изучили данные, они обнаружили мало свидетельств гендерной предвзятости. Вместо этого они обнаружили, что больше женщин подали заявки на факультеты, которые принимали небольшой процент соискателей, например, английский язык, чем на факультеты, которые принимали большой процент соискателей, например машиностроение.
Эта знаменитая история подчеркивает тенденцию людей отдавать предпочтение хорошим рассказам, основанным на действительно глубоких исследованиях. Парадокс Симпсона, описанный в исследовании Data Science, разрушил хорошую историю дискриминации, понятную деловым людям. Более того, если вы поищете эту историю в различных онлайн-источниках, вы чаще всего найдете историю о реальном судебном процессе против Калифорнийского университета, еще одну хорошую историю, которой никогда не было.
Вторая известная история о Второй мировой войне и воздушном сражении над Британией.
Группа математиков, статистиков и инженеров пыталась найти лучший способ защитить самолеты от пуль вражеской ПВО. Они могли бы надеть на самолет больше брони, но это сделает их тяжелее и медленнее, и с большей вероятностью они попадут и упадут.
Группа проанализировала данные, полученные от многих самолетов, вернувшихся после авиаударов в Европе:
Один из статистиков, Абрахам Вальд, удивил всех наблюдением, что вместо того, чтобы накладывать дополнительную броню на область, в которой было большинство отверстий, они должны поставить дополнительный щит на части без отверстий. Термин научных данных для этого наблюдения - «систематическая ошибка выживших», и это означает, что группа самолетов, которые были отобраны для набора данных, были самолетами, которым удалось вернуться после рейдов на оккупированные немцами территории. Остальные самолеты не вернулись, поскольку в местах, где они были обстреляны, были нанесены смертельные удары, что привело к авиакатастрофам. Если самолет попадал за пределы красных областей на карте самолета, он не возвращался и не отображался в данных.
Если вы добавите к этим историям много историй, «выбирающих вишенку», когда люди выбирают конкретный пример, подтверждающий их гипотезу, и не утруждаются проверять или сообщать о других случаях, которые этого не сделали, вы можете потерять надежду на доказательства - основанный бизнес.
«Если вы будете мучить данные достаточно долго, они признаются (во всем, что захотите)».
- Рональд Х. Коуз
Есть ли надежда на бизнес, основанный на доказательствах?
Когда я впервые встретил Биляну, специалиста по данным, которого я описал в начале, она была недовольна. Она потратила год на создание отличной модели машинного обучения, чтобы предсказать одну из самых серьезных проблем своей компании - отток клиентов. Многие компании страдают от клиентов, которые отказываются от их услуг и переходят к конкурентам. На сегодняшнем динамичном и конкурентном рынке вы должны быстро вводить новшества и бороться, чтобы удержать каждого клиента. Компания Биляны ничем не отличалась, и совет директоров и генеральный директор поставили сокращение количества уходящих клиентов своим главным приоритетом.
Тогда почему Бильяна, которому удалось построить модель машинного обучения, которая предсказывает вероятность того, что клиент уйдет за 3–6 месяцев до его фактического ухода, с точностью более 90%, была недовольна.
Она смогла получить данные из нескольких баз данных (CRM, биллинг, билеты и другие), она проанализировала данные, удалив смещения и отсутствующие значения, она обучила сложные алгоритмы машинного обучения на данных и применила лучшие научные методы для измерения ошибки модели. Теперь она может выставить каждому клиенту своей компании оценку вероятности ухода этого клиента. После всей этой тяжелой работы и очень точной модели деловые люди не использовали ее.
Биляна попыталась понять, почему, обошла ожидаемых пользователей ее модели и спросила о причинах. «Заказчик уже сказал мне, что уходит, и я не могу передумать», «Я не думаю, что клиент уйдет, я не вижу никаких признаков от моих встреч с ним», «не будите спящих! Вы хотите, чтобы я позвонил им и напомнил, что они собираются уйти от нас? » были некоторые из ответов, которые она слышала.
Суть в том, что специалисты по данным с Марса, а бизнесмены с Венеры. Они говорят на разных языках, по-разному думают о мире и им сложно эффективно общаться. Это не несоответствие между интровертами и экстравертами или столкновение университетских умных и уличных. Не все ученые интроверты, и не все бизнесмены бросают колледж, чтобы основать свою компанию. Планета Марс, на которой живут специалисты по данным, построена на основе случайных величин, вероятностей и выборки из функций распределения. На Марсе нет бесплатного обеда, и если вы сделаете одно и то же несколько раз, вы получите каждый раз разные результаты. Планета Венера, откуда приходят деловые люди, построена на уверенности, возможностях и возможностях действовать и реагировать, а также на рабочих процессах, которые призваны давать стабильные результаты каждый раз, когда они выполняются. В деловом мире вы двигаетесь быстро или отстаете. Если вам удастся найти несколько подтверждающих доказательств того, что то, что вы хотите делать, полезно, вы делаете это и не ждете, пока значимая оценка достигнет определенного уровня.
В одном из наших недавних проектов моя команда разработала современную модель для улучшения порядка предложений для конечных пользователей. В лабораторных условиях новая модель увеличила кликабельность более чем на 10%, и мы были готовы взять ее на производственный этап A / B-тестирования. При A / B-тестировании конечные пользователи получают один из двух вариантов: один на основе существующей модели, а другой - на основе новой модели. Во время теста мы измеряем рейтинг кликов по каждому варианту и пытаемся увидеть, работает ли последняя модель лучше, чем старая. Как долго мы должны проводить A / B-тест?
На Венере, которая находится ближе к Солнцу, время идет быстрее, и деловые люди рассчитывают выбрать новую модель через несколько дней. Специалисты по анализу данных с Марса рассчитали вероятности случайных величин с предыдущим более низким показателем переходов по ссылкам и рекомендовали проводить A / B-тест как минимум на шесть месяцев.
Если вы с Земли, вы, возможно, сейчас улыбаетесь и думаете, что есть способ уравновесить эти взгляды, но если вы родились на любой из двух других планет, вы знаете, что одна правая, а другая нет.
Сможем ли мы предотвратить следующую планетную войну?
Обещание из заголовка статьи исходит из знаменитой книги об отношениях между мужчиной и женщиной, которая была полна практических советов по улучшению общения в супружеских парах. Я дам вам наш рецепт, чтобы сделать обе стороны счастливыми в отношениях внутри компаний, которые ищут магии науки о данных.
Одна из самых эффективных практик, которые мы делаем, и вы можете сделать это в своей компании, - это нанять группу опытных деловых людей, которые являются экспертами в предметной области, с парой специалистов по обработке данных, которые будут работать над проектами данных для эта группа. Команда должна обсудить проблемы, которые стоит решить, факторы, влияющие на эти проблемы, а также рабочий процесс и действия, которые потенциально могут их решить.
Например, давайте обсудим следующие общие проблемы: прогнозирование спроса, продление контрактов и предотвращение оттока клиентов.
Для прогнозирования спроса нарисуйте график спроса за последние пару лет и попросите экспертов в своей области объяснить вам различные причины пиков и минимумов на графике. В ходе этого обсуждения специалисты по обработке данных услышат о различных источниках данных, которые им необходимо найти, и о факторах, которые им необходимо закодировать в модели. Эксперты в предметной области опишут классические факторы, такие как сезонность и праздники, и добавят несколько других, таких как рекламные кампании, изменение цен, производственные проблемы, негативное освещение в прессе и т. Д.
Вторая часть обсуждения этой проблемы должна включать «что мы можем сделать с этими прогнозами?». Если у вас нет четкого представления о действиях и решениях, которые могут принимать деловые люди, маловероятно, что точные прогнозы, которые специалисты по данным построят на основе данных, и указанные выше факторы окажут какое-либо реальное влияние на бизнес. Команда должна определить рабочие процессы, такие как поиск лучшей замены для продуктов с низким запасом, или динамическое ценообразование для рекламных акций, или время проведения маркетинговых кампаний и т. Д.
Что касается второй проблемы, связанной с продлением контракта, вы представляете команде набор записей о клиентах и просите их действовать по своему усмотрению, что с большей вероятностью продлит его контракт, если мы ему позвоним. На одной из таких сессий я узнал от опытных продавцов в модных магазинах, что они обычно смотрят на обувь покупателей, которые входят в магазин, чтобы предсказать, насколько вероятно, что он или она купит. В этом случае специалисты по обработке данных преобразовали эти данные в модель видения, которая фокусировалась на обуви как на предикторе покупки. В большинстве случаев факторы более просты и основаны на структуре семьи, владении в качестве клиента, поле, ценовом диапазоне и т. Д. Как и раньше, вы должны обсудить, «что мы можем сделать с идеальной моделью», и определить рабочие процессы, такие как список приоритетов, время взаимодействия, лучший контакт для использования, цена и предлагаемые скидки и т. д.
Третий пример обычно более естественен, так как у команды уже есть опыт такого типа анализа, который им необходимо провести по проблеме. Специалисты в предметной области могут объяснить причины ухода клиентов, такие как постоянные проблемы и жалобы, смена руководства, появление нового конкурента в конкретном регионе, снижение использования услуг и т. Д. Как и раньше, специалисты по данным теперь знают, где найти соответствующие данные. это поможет им построить модели прогнозирования оттока. Действия и рабочие процессы экспертов в предметной области снова очень важны для понимания. Биляна теперь может узнать, что нужно менеджерам по работе с клиентами на бизнес-стороне, от ее модели. Они могут предлагать скидки для клиентов, которых раздражает цена, или активно обращаться к клиентам, преследуемым конкурентами, или отдавать приоритет разрешению своих билетов, или предлагать продукт следующего поколения. «Если бизнесмены ничего не могут с этим поделать, мне не нужно строить модель, чтобы предсказать это», - говорит она сейчас.
Резюме и следующие шаги
В этой статье мы обсудили различия в способах, которыми деловые люди управляют своей работой, и способы, которыми специалисты по обработке данных используют свои уникальные методы для решения бизнес-задач. Распространенные несоответствия и недопонимание разочаровывают обе стороны и мешают новой эре передовой аналитики, машинного обучения и искусственного интеллекта зародить и успешно развиваться в традиционных компаниях.
Наем специалистов по обработке данных и предоставление им возможности «находить интересные идеи в данных» - не лучший план. Наем дорогостоящих консалтинговых компаний, которые помогут вам определить ваши будущие данные, проекты машинного обучения и искусственного интеллекта, и оставить вам набор слайдов и отчетов - тоже не лучший путь вперед. План должен учитывать вышеуказанные различия и выделять время и ресурсы для их устранения. Вновь назначенный или нанятый руководитель аналитического отдела вашей компании должен убедиться, что деловые люди не только пассивно участвуют в проектах данных и аналитики, но и руководят ими со своими приоритетами, опытом в предметной области и, что наиболее важно, интегрируют результаты в ежедневные рабочие процессы и деятельность как можно большего числа бизнес-пользователей в компании.
Специалисты по обработке данных ищут эффективную работу, и они присоединятся к компаниям, которые предоставляют им игровую площадку для решения сложных и значимых проблем и вносят значительный вклад в жизнь людей вокруг них. Поскольку они прибывают с Марса, где они измеряют значимость перед каждым решением, вы должны убедиться, что он находится на максимальном уровне, чтобы нанять, сохранить и извлечь выгоду из отношений с ними. И для ученых, занимающихся данными, партнеры с Венеры действуют по-другому, используя человеческий интеллект, который мы не можем сопоставить с нашими нынешними технологиями. Они создали сложные организации для решения грандиозных задач («Компьютер, высадивший Аполлон-11 на Луну, был примерно таким же мощным, как современный карманный калькулятор»), основанные на человеческой интуиции, многолетнем опыте и упорном труде. Улучшение связи и сотрудничества между двумя планетами может привести к успеху в экономике и принести пользу человечеству в целом.
