Работал со Свати Мудхелли, Наби Сьедой, Алехандрой Мирамонтес и Мейси Сан

(UC Irvine MSBA ‘21)

Введение

а. Бизнес-проблема

Когда COVID-19 поразил мир и ситуация быстро изменилась в 2020 году, пандемия затронула многие отрасли, особенно авиационную отрасль. Многие страны ввели ограничения и запреты на поездки, что сильно изменило и усложнило работу авиакомпаний. Авиакомпания постоянно сталкивается с большими проблемами, связанными с поддержанием уровня удовлетворенности. Согласно американскому индексу удовлетворенности клиентов (ASCI), контрольные показатели показывают, что только 1% авиакомпаний могут поддерживать или повышать уровень удовлетворенности клиентов в годовом исчислении.(1) Поскольку COVID-19 повлияет на будущее путешествий и дальнейшее влияние на качество обслуживания клиентов, нам необходимо выявить наиболее важные факторы, влияющие на удовлетворенность в условиях меняющейся динамики поездок.

б. Почему мы выбрали эту тему

В нашем предварительном исследовании мы нашли статью «Будущее аэропортов после COVID-19», которая вдохновила нас на более глубокое изучение удовлетворенности клиентов авиационной отрасли в новых обстоятельствах. В этой статье есть одна цитата, которая идеально резюмирует нашу цель: «Выполнение обслуживания клиентов имеет решающее значение, потому что лучший способ увеличить доходы от авиации — повысить удовлетворенность клиентов». ASCI детализирует 23 критических элемента, влияющих на впечатления пассажиров (1). Мы намерены изучить эти элементы и понять их статистическую значимость или важность для определения удовлетворенности.

в. Чему мы надеемся научиться благодаря этому проекту

Для этого проекта мы намерены изучить результаты опроса, предоставленного клиентами авиакомпании Invistico (анонимно), и понять, что вызывает удовлетворение или неудовлетворение клиентов. В конечном счете, мы надеемся, что наши выводы позволят нам дать рекомендации о том, как устранить факторы, вызывающие удовлетворенность или неудовлетворенность.

д. Набор данных

Мы используем набор данных с Kaggle.com. Он состоит из результатов опроса и демографической/личной информации о 129 880 клиентах. Всего 23 переменных. Набор данных уже очищен и в основном готов к анализу и дальнейшей обработке. Кроме того, ни в одной из переменных нет пропущенных значений.

  • Зависимая или классовая переменная «удовлетворенность» — это то, что мы заботимся и анализируем в этом проекте. Среди 130 тысяч экземпляров 55% «удовлетворенных» и 45% «неудовлетворенных» наблюдений соответственно распределены по категориям. В цифрах есть 71 087 довольных отзывов и 58 793 недовольных отзыва.
  • Пол: категориальный, женский или мужской
  • Тип клиента: категоричный, лояльный клиент или нелояльный клиент
  • Возраст: Числовой, возраст рассматриваемого клиента.
  • Тип поездки: Категориальная, Деловая поездка или Личная поездка
  • Класс: категориальный, Бизнес, Эко или Другой
  • Расстояние полета: числовое значение, расстояние рассматриваемого полета.
  • Задержка отправления в минутах: числовое значение
  • Задержка прибытия в минутах: числовое

Следующие 14 переменных — это уровень удовлетворенности клиентов определенным аспектом полета. Все они являются числовыми переменными по шкале от 0 до 5.

  • Комфорт сиденья
  • Удобное время отправления/прибытия
  • Еда и напитки
  • Расположение ворот
  • Wi-Fi на борту
  • Развлечения на борту
  • Онлайн поддержка
  • Простота онлайн-бронирования
  • Обслуживание на борту
  • Обслуживание комнаты для ног
  • Обработка багажа
  • Служба регистрации
  • Чистота
  • Онлайн интернат

Остальные 22 переменные для удобства мы разделили на две группы:

  1. Персональные факторы: переменные, связанные с клиентами. Например, есть возраст, пол, тип клиента (постоянный клиент или нет), тип путешествия (деловой или личный) и класс (в салоне).
  2. Полетные факторы: переменные, связанные с авиакомпанией. К ним относятся такие переменные, как комфорт сиденья, развлечения на борту, задержка вылета, еда и напитки, простота онлайн-бронирования и чистота.

Исследовательский анализ данных

Для нашего набора данных мы обнаружили, что около 70 000 человек довольны своим опытом полета и почти 60 000 человек не удовлетворены авиакомпаниями.

Анализ личных факторов: удовлетворенность и неудовлетворенность Недовольные клиенты

Возраст:

Вот график Ridgeline удовлетворенности (количество довольных клиентов) в зависимости от возраста. Из графика видно, что больше молодых клиентов (20–40 лет) недовольны авиакомпанией, тогда как большее количество клиентов среднего возраста (40–60 лет) довольны авиакомпанией. Пожилые клиенты в целом были более удовлетворены всеми функциями и оценили их выше, чем молодые путешественники. Это может указывать на то, что более молодые путешественники более критично относятся к факторам и имеют более высокие ожидания от продуктов по сравнению с населением старшего/среднего возраста (количество путешественников в этих возрастных группах, 20–40 и 40–60 лет, примерно одинаково).

Однако, как ни удивительно, мы заметили, что причина неудовлетворенности среди 20–40-летних кроется в «развлечениях в полете», тогда как группа довольных клиентов в возрасте 40–60 лет оценила их как «очень высокие». Одна и та же функция (развлечения на борту) вызывает как удовлетворение, так и недовольство у разных возрастных групп. Это говорит о том, что развлечения авиакомпаний в полете, такие как фильмы, музыка и т. д., нравятся пожилому населению. Авиакомпания может легко улучшить эту переменную, разнообразив контент в фильмах и музыке, чтобы привлечь широкий круг возрастных групп.

Молодые недовольные путешественники также сталкивались с более высокими средними задержками вылета/прибытия по сравнению с довольными путешественниками среднего возраста, что объясняет, почему гораздо больше молодых путешественников могут быть недовольны. Молодые путешественники также оценили «еду и напитки» ниже, чем «путешественники постарше», что еще раз указывает на то, что молодые клиенты ожидают большего от опыта, чем клиенты старшего возраста.

Дальность полета:

Мы также рассмотрим еще один интересный график, показывающий уровень удовлетворенности в зависимости от пройденных пассажиром миль. Можно было бы предположить, что клиенты, совершающие более длительные перелеты, будут более неудовлетворены из-за усталости или скуки в путешествии. Однако, судя по графику, это не так. Очевидно, что клиенты, проехавшие 2000–3000 миль, с одинаковой вероятностью будут удовлетворены или недовольны.

Класс путешествия:

Из приведенной выше диаграммы видно, что большинство деловых путешественников довольны обслуживанием, в то время как большинство (>60%) путешественников эконом-класса недовольны обслуживанием. Наше первоначальное предположение заключалось в том, что неудовлетворенность может быть вызвана очевидными различиями в комфорте сидений и еде, что может улучшить общее впечатление для деловых путешественников. Интересно, что пассажиры обоих классов очень высоко оценили комфорт сидений, еду и напитки, пространство для ног. Дальнейший анализ показал, что существует большая разница в среднем рейтинге развлечений на борту, онлайн-бронирования и онлайн-посадки на борт между бизнес-путешественниками и путешественниками эконом-класса. Деловые путешественники очень высоко оценили эти функции по сравнению с путешественниками эконом-класса.

Анализ летных факторов: удовлетворительные и неудовлетворительные. Недовольные клиенты

Мы использовали радарные диаграммы, чтобы сравнить удовлетворенных и неудовлетворенных клиентов на основе их среднего рейтинга по 16 характеристикам или коэффициентам отклонения. Как видно, существует значительный разрыв в среднем рейтинге между удовлетворенными и неудовлетворенными клиентами, когда речь идет о развлечениях на борту, онлайн-поддержке, простоте онлайн-бронирования и обслуживании на борту.

t-тест: мы провели t-тест, чтобы понять, является ли существенной разница в средствах двух типов клиентов (удовлетворенных и неудовлетворенных). В следующей таблице показаны результаты t-тестов. Все t-тесты (удовлетворенность каждой переменной) имеют чрезвычайно значимые p-значения, что указывает на то, что разница в средних значениях для удовлетворенных и неудовлетворенных клиентов значительна.

Следующим шагом в нашем анализе является проверка корреляции между независимыми переменными. Наш набор данных состоит из числовых и категориальных переменных; мы обнаружили, что корреляционная матрица подходит для визуализации связи между числовыми переменными.

Мы строим матрицу корреляции, чтобы понять, сильно ли коррелируют две или более независимые переменные друг с другом. Из приведенной выше матрицы задержка прибытия и задержка отправления сильно коррелируют друг с другом. Далее мы рассчитали VIF (коэффициент инфляции вариации) для проверки мультиколлинеарности, что подтверждает тот же результат. Итак, мы опускаем одну из этих переменных, когда выполняем регрессию.

Логистическая регрессия и важность переменных

Следующим шагом в нашем анализе является запуск модели логистической регрессии. Поскольку включение всех независимых переменных в наш набор данных имело логический смысл, мы использовали метод, называемый пошаговой регрессией, чтобы оценить влияние каждой из них на удовлетворенность и выбрать оптимальный набор переменных. Первоначально мы использовали полную модель, включающую все независимые переменные в нашем наборе данных. К нашему удивлению, результаты показали, что каждая независимая переменная важна для прогнозирования удовлетворенности. Для целей нашего исследования мы намеревались найти более значимые результаты. Чтобы дополнительно проверить, нужно ли включать каждую переменную в наш анализ, мы использовали нулевую модель, добавляя каждую независимую переменную по одной, чтобы увидеть, улучшила ли она оценку AIC логистической регрессии. Хотя мы сочли этот шаг важным в нашей методологии, он не изменил результатов нашей модели и подтвердил, что каждый предиктор был статистически значимым.

В следующей таблице показаны коэффициенты нашей регрессионной модели со всеми включенными независимыми переменными, каждая из которых оказалась значимой. Из этой модели мы видим, что наличие постоянного клиента увеличивает вероятность его удовлетворения на 622%. Во-вторых, предоставление лучших развлечений в полете повышает вероятность удовлетворения на 97%.

Результаты логистической регрессии показывают, что все переменные являются значимыми предикторами удовлетворенности. Тем не менее, авиакомпании практически не контролируют личные факторы клиентов, такие как возраст, пол или класс обслуживания. Тем не менее, они имеют значительный контроль над другими переменными, которые мы называем факторами полета (удобство сидения, чистота, еда и напитки, обслуживание в полете и т. д.). Мы хотели понять, какие из этих факторов полета более важны, чем другие.

С этой целью мы запустили функцию «переменная важность», используя методы случайного леса. Мы использовали 80% обучающих и 20% тестовых данных для этой функции, чтобы ранжировать переменные в порядке важности. В следующей таблице показаны результаты, а Y визуализирует ранг важности среди всех независимых переменных. Переменные, которые имеют более высокие значения «важности», более значимы, чем другие.

На следующем графике представлены переменные по их важности с точки зрения прогнозирования удовлетворенности.

Среди всех независимых переменных развлечения на борту, удобство сидений и простота онлайн-бронирования входят в пятерку наиболее важных переменных, в то время как Wi-Fi на борту и задержка вылета наименее важны для прогнозирования удовлетворенности. Это можно интерпретировать следующим образом.

  1. Развлечения на борту и удобство сидений связаны со временем, проведенным на любом конкретном рейсе. Без отличных развлечений длительные перелеты могут стать скучными, и опыт, как правило, надолго остается в памяти клиентов.
  2. Простота онлайн-бронирования создает хорошее первое впечатление. Это простой, но мощный шаг, потому что в наши дни путешественники ищут простоту бронирования билетов, поскольку это экономит их время.
  3. Онлайн-поддержка помогает решить проблемы, которые могут возникнуть во время или перед поездкой.
  4. Наконец, еда и напитки могут вызвать физическое неудовлетворение, если они не соответствуют ожиданиям клиента.

Оценка Net Promoter Score — один из показателей удовлетворенности

После анализа мы сочли уместным предоставить компании одну-единственную метрику, которую можно использовать для измерения общей удовлетворенности. Для этого мы рассчитали Net Promoter Score (NPS). Фундаментальное предположение заключается в том, что клиенты с общей высокой оценкой удовлетворенности (4,5), скорее всего, будут удовлетворены и порекомендуют продукт друзьям, т. е. будут продвигать продукт.

Мы приступили к расчету средневзвешенной оценки удовлетворенности для каждого путешественника, назначив веса на основе переменной важности из нашего предыдущего анализа случайного леса — начиная с развлечения на борту, получившего наивысший вес, и заканчивая задержкой вылета, получившей наименьший вес. После присвоения весов мы подсчитали «средневзвешенную оценку удовлетворенности» для каждого клиента — по пятибалльной шкале. Затем мы разделили клиентов на а) Промоутеров: люди с оценкой 4,5 и б) Критики: люди с оценкой 1, 2.

NPS — это разница между процентом сторонников и процентом противников. По нашим расчетам, Invistico имеет NPS 40, что соответствует отраслевым стандартам. Мы можем интерпретировать это так, что на каждого недовольного клиента приходится 40 довольных клиентов. Другие авиакомпании с хорошей лояльностью клиентов, такие как Jet blue и Southwest, имеют NPS 60+.

Положительный NPS Invistico выше среднего по отрасли — отличная отправная точка. Сосредоточив внимание на ключевых переменных, влияющих на удовлетворенность, Invistico может эффективно и действенно повысить свой NPS.

Последствия для бизнеса

Имея в виду наше понимание и цель повышения удовлетворенности, мы сосредоточили наши рекомендации на 5 главных переменных. Мы провели анализ чувствительности, который показал, что увеличение «средневзвешенной оценки удовлетворенности» 8% клиентов приведет к увеличению NPS на 10 пунктов или наоборот. И этих 8% можно легко достичь, улучшив средние оценки пяти наиболее важных переменных.

  1. Первым наиболее важным фактором были развлечения в полете для всех групп, но, что наиболее важно, для молодежи, которая сообщила о статистически высоком уровне неудовлетворенности. При этом фильмы и игры, предназначенные для развлечения как молодых, так и пожилых путешественников, значительно повысят общий уровень удовлетворенности.
  2. Комфорт сидений: оба класса путешественников (бизнес, эконом) имеют одинаковый средний рейтинг комфорта сидений. Точно так же клиенты всех возрастных групп дали низкую среднюю оценку комфортности сидений. Хотя это не то, что можно радикально изменить, Invistico может собрать больше данных о сидениях, чтобы детально проанализировать проблему. Удобство сиденья — вторая по значимости переменная для прогнозирования удовлетворенности.
  3. Простота онлайн-бронирования: возможно, у авиакомпаний есть другой пользовательский интерфейс бронирования для деловых и экономических путешественников. Общий средний рейтинг по этой переменной был в основном из-за того, что 70% путешественников эконом-класса оценили ее как очень низкую. Invistico может изучить различные точки соприкосновения этих двух типов путешественников в своем приложении, сопоставив пути клиентов, чтобы определить болевые точки путешественников эконом-класса. Простой и удобный интерфейс гарантирует, что те, кто не разбирается в технологиях, по-прежнему смогут легко бронировать и управлять своими поездками через платформу.
  4. Онлайн-поддержка. Согласно исследованию ASCI, 80 % авиапассажиров оценили «Поддержку клиентов и онлайн-обслуживание» как очень важную функцию в общей удовлетворенности. Он подтверждает необходимость и важность отличного механизма поддержки клиентов. Недовольные клиенты всех возрастов, полов и классов оценили онлайн-поддержку ниже. Invistico следует опираться на существующую инфраструктуру поддержки для улучшения обслуживания клиентов.
  5. Обслуживание на борту. С меняющейся динамикой многие крупные авиакомпании изучают творческие способы расширения ассортимента еды и напитков на борту. Помимо бесплатной еды и напитков, они предлагают закуски по запросу, выбор основных блюд, коробки с фруктами, алкоголь, безглютеновые блюда, зеленые блюда, коробки для десертов. И т. д., чтобы сделать пребывание на борту уникальным. Invistico может изучить некоторые из этих идей, чтобы улучшить общее впечатление.

Заключение и дальнейшее исследование

Удовлетворенность — это сумма множества факторов, которые авиакомпания может улучшить. Кроме того, наличие информации об отзывах клиентов и данных для обработки естественного языка поможет понять отношение пользователей к особенностям, которые не очевидны из данных опроса. Кроме того, дальнейший анализ взаимосвязи между лояльностью и удовлетворенностью клиентов необходим для понимания удовлетворенности и перевода удовлетворенности в лояльность. Благодаря нашему исследованию мы смогли подтвердить, что это может быть корреляция между ними. Можно утверждать, что существует причинно-следственная связь между лояльными клиентами, сообщающими о высоком уровне удовлетворенности. Являются ли они лояльными, потому что они удовлетворены или удовлетворены, потому что они верны? Дополнительные данные о том, что определяет лояльность и удовлетворенность в наборе данных, как эти переменные получены, могут быть необходимы для изучения причинно-следственных связей.

Цитаты:

  1. https://www.theacsi.org/industries/travel/airline
  2. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7428780/
  3. https://www.fau.edu/newsdesk/articles/air-travel-stress.php
  4. https://towardsdatascience.com/the-mathematics-of-decision-trees-random-forest-and-feature-importance-in-scikit-learn-and-spark-f2861df67e3
  5. https://www.forbes.com/sites/danielreed/2019/09/10/why-does-delta-with-its-superior-operating--profit-numbers-have-a-lower-net-promoter- оценка-чем-американские-иногда-числа-ложь/?sh=a40320841cda
  6. https://www.qualtrics.com/experience-management/customer/net-promoter-score/
  7. https://www.kaggle.com/sjleshrac/airlines-customer-satisfaction/version/1