Измерение вовлеченности контента имеет решающее значение для измерения PR, оно оправдывает влияние опубликованного контента, средств массовой информации и ценности бренда. Метрики и атрибуты, которые учитывались при измерении вовлеченности, действительно объясняют ее эффективность. И обычно используемые показатели, которые используют большинство PR-компаний, — это количество посещений, репостов, лайков, комментариев, конверсий, время, проведенное на странице, общее количество посещенных страниц и количество посещений.

Проблемы, связанные с измерением вовлеченности контента, заключаются в неуверенности в выборе правильных PR-показателей для отслеживания вовлеченности контента. Это связано с тем, что шеры или лайки в любых социальных сетях не означают, что читатель активно вовлечен или собирается предпринять какие-либо действия. Это означает, что нет 100-процентной вероятности того, что читатель, который поделился контентом или лайкнул его, активно взаимодействует с ним.

В этой статье я бы сделал некоторые предположения о том, как вышеупомянутые метрики плохо связаны в объяснении взаимодействия с контентом в режиме реального времени.

Чтобы измерить вовлеченность контента, я рассмотрел некоторые показатели/атрибуты, показанные в таблице ниже.

Используя приведенный выше список, мы можем ответить на такие вопросы, как «Определяет ли количество посещений (или) репостов (или) отметок «Нравится» (или) продолжительность сеанса участие в контенте? Какие факторы определяют, активно ли клиент взаимодействует с контентом или нет? Среди всех перечисленных атрибутов двумя менее важными показателями для измерения вовлеченности контента являются «охват» и «продолжительность сеанса».

  • Охват против вовлеченности: Охват определяется как количество посещений веб-сайта. В некоторых случаях клиенты посещают веб-сайт, потому что их содержание вводит их в заблуждение. В таком случае это не лучший показатель для измерения вовлеченности контента.
  • Продолжительность сеанса по сравнению с вовлеченностью: продолжительность сеанса означает количество времени, потраченное на чтение контента. Иногда люди открывают несколько вкладок, отвлекаются и уходят от экрана. В таком случае время суммируется и может дать вводящие в заблуждение результаты, говорящие о том, что конкретный читатель активно взаимодействует с контентом.

Я перечислил несколько случайных комбинаций всех вышеупомянутых мер, чтобы доказать, что точно измерить вовлеченность контента сложно. В приведенной ниже таблице выходной переменной является «конверсия», потому что конечным результатом активного взаимодействия с контентом является выполнение определенного действия над контентом в форме продаж, а все остальные — входные переменные, которые используются для анализа взаимодействия. Все приведенные ниже комбинации применимы для различных «источников веб-сайтов» и «местоположений».

Существует множество комбинаций вышеупомянутых мер, если учитывать источники, которые они используют, и государство, из которого читатели. Потому что источник и состояние также влияют на взаимодействие с контентом. Если источник более популярен, например, Forbes или LinkedIn, читатель может подумать, что это хороший контент, и может принять меры. Точно так же читатели из определенных мест с большей вероятностью будут действовать, чем читатели из других мест.

Примечание. Я составил 214 записей точек данных с перечисленными выше комбинациями (из таблицы -2 для дальнейшего анализа) и разделил данные на обучающие и тестовые наборы.

Ссылка на набор данных: https://github.com/ShailuSurya/ContentEngagement/blob/master/ContentEngagement%20Dataset.csv

I. Как мы определяем, активно ли читатель взаимодействует с контентом или нет?

Используя вышеперечисленные комбинации, очень сложно предсказать, активен читатель или нет. Единственный атрибут, который определяет вовлеченность контента, — это «конверсия». Если клиент совершает действие после посещения контента, то говорят, что он активно взаимодействует с контентом, в противном случае — нет. Итак, главная задача — предсказать «конверсию».

Существует множество моделей классификации машинного обучения для прогнозирования результата. Здесь я использую алгоритмы классификации логистической регрессии и случайного леса для прогнозирования вероятности конверсии.

Ссылка на код: https://github.com/ShailuSurya/ContentEngagement/blob/master/ContentEngagementMeasurement.ipynb

а. Логистическая регрессия

Я взял входные переменные: «Состояние», «Источник», «Нравится», «Поделиться», «Комментарии», «Количество_посещений», «Новый_пользователь», «Возраст», «Всего_посещенных_страниц», «Длительность_сеанса (мин) для обучения Модель прогнозирования конверсии. Данные делятся в соотношении 75/25. Матрица путаницы для тестовых данных показана ниже. Судя по результатам модели, частота ложноотрицательных результатов (ошибка типа II) составляет 66%. Общая точность модели составляет 46,2%.

Результаты прогнозирования первых пяти записей логистической регрессии показаны в таблице ниже. Результаты не точны, даже если мы прогнозируем, что читатель предпримет какие-либо действия, вероятность того, что наш прогноз неверен, составляет 66%. Все ячейки «оранжевого цвета» в столбце прогноза конверсии предсказаны неправильно (по сравнению с предоставленными исходными данными).

б. Случайная классификация леса

Модель классификации случайного леса для прогнозирования «конверсии» обучается с использованием 600 деревьев решений с 70% обучающих данных и 30% тестовых данных. Матрица путаницы для модели показана ниже.

Исходя из приведенной выше матрицы путаницы, если мы предсказываем, что читатель предпримет какие-либо действия, то существует вероятность 59 % (ложноотрицательный показатель) того, что читатель не предпримет никаких действий. Точно так же, если мы прогнозируем, что читатель не предпримет никаких действий, то с вероятностью 46% наш прогноз неверен. Таким образом, трудно сказать, вовлечен ли клиент в контент, основываясь на показателях лайков, репостов, комментариев, продолжительности сеанса, общего числа посещений.

В приведенной ниже таблице ячейки оранжевого цвета являются неверными предсказаниями модели случайного леса. Она аналогична логистической модели для первых пяти записей. В этом анализе точность модели случайного леса выше, чем у логистической регрессии, на 1%. Я думаю, что это увеличение на 1% не влияет на количество неправильных прогнозов. Я думаю, что эти два метода не позволяют точно предсказать конверсию читателей.

Модель случайного леса определила, что наиболее важными переменными для прогнозируемых конверсий являются «возраст», «Код состояния» (состояние), «длительность сеанса» и общее количество посещенных страниц. Это придавало очень мало значения лайкам, репостам, типам пользователей и комментариям. Я считаю, что возрастная переменная важна, потому что выбор конкретного контента для чтения зависит от возраста. Некоторые бренды известны в некоторых регионах. Таким образом, «StateCode» из приведенной выше гистограммы определяет, что узнаваемость бренда в разных местах будет влиять на конверсию.

II. Как компании измеряют вовлеченность в контент?

Из приведенных выше двух моделей было ясно, что мы не можем точно измерить вовлеченность контента. Но как компании это измеряют?

  • Обычно компании измеряют «вовлечение контента» на основе шаблонов, доступных в данных. Если читатель, которому «понравился контент с большой продолжительностью сеанса», предпримет действие, то модель предскажет, что читатель, которому понравился контент или который потратил много времени на контент, предпримет действие. Но насколько точны эти результаты? Это зависит от того, насколько точны данные.
  • Если имеющиеся данные необъективны, то и результат будет необъективным. Например, если большинство клиентов поставили лайки, поделились, прокомментировали и просмотрели контент несколько раз, примите меры. Затем, используя такие типы точек данных, мы можем сказать, что клиенты, которым понравился/поделился/комментировал контент, с большей вероятностью предпримут какие-либо действия.

Но что, если наш прогноз неверен? Итак, я считаю, что нет правильного способа угадать вовлеченность читателей. Потому что, если клиент не хочет действовать, он не будет этого делать. Это полностью связано с поведением клиента в данный момент. Также в 2014 году профессор Технологического университета Сиднея Джим Макнамара объяснил вовлеченность читателей психологическим понятием, которое ошибочно измеряется кликами и репостами. Я чувствую, что это так верно. Что должны сделать компании, чтобы так точно измерить вовлеченность читателей?

Компаниям следует учитывать еще несколько метрик, а также риски, связанные с доступными метриками. Для построения любого измерения лучше иметь определенные широкие стандарты внутри каждой компании. Я также считаю, что одержимость цифрами, анализ только количественных данных, а также неспособность применить методы измерения и оценки также приводят к неудаче в измерении вовлеченности контента.

Вывод

В целом не существует одной входной переменной, которая действительно определяет коэффициент конверсии. Обе модели, логистическая регрессия и классификация случайного леса не могут предсказать конверсию. Итак, сначала нужно понять доступность данных и какие дополнительные показатели учитывать для прогнозирования конверсий.

использованная литература

Джим Макнамара, (2014). Возвращение к дисциплинарной родине оценки: новые перспективы для информирования стандартов оценки PR

Далибор Якус, специалист по связям с общественностью. ИЗМЕРЕНИЕ И ОЦЕНКА PR-КОММУНИКАЦИЙ