Начиная
Если вы когда-либо публиковали историю на Medium раньше, скорее всего, вы знакомы с Medium Stats и ее предложениями. Medium Stats - это инструмент, с помощью которого вы можете просматривать статистику трафика и посетителей для сообщений, которые вы публикуете на платформе. Это также инструмент, которого сильно не хватает.
Эта функция дает нам доступ к таким показателям, как просмотры, чтения, коэффициент чтения и количество поклонников для каждой из опубликованных историй. Он также дает кумулятивные итоги для определенных показателей за предыдущие 30 дней.
Дизайн страницы широко оспаривается, но правда в том, что здесь нужно сделать больше, чем просто визуальное улучшение. Medium отслеживает множество информации, недоступной в рамках ограниченной функциональности страницы. Более того, любая функциональность, которая существует, основана на тщеславных показателях, которые не могут передать полную картину.
Проэкт
У нас может не быть доступа к множеству собираемых метрик, но в нашем распоряжении есть средняя статистика. Может быть, там где-то действительно зарыта какая-то значимая информация. Может быть, может быть ...
Есть ли способ использовать эти данные для получения более полезной информации, чем мы сейчас предлагаем?
Помня об этом вопросе, я приступил к сбору данных со своей страницы со средней статистикой, а затем выполнил исследовательский анализ данных по любым заметным взаимосвязям и тенденциям в моих более чем 30 предыдущих историях.
Если вы хотите провести аналогичный анализ своих собственных данных Medium, ознакомьтесь с репозиторием, указанным ниже. Для начала вы найдете мой личный набор данных, а также пару записных книжек, которые могут пригодиться.
С тех пор, как я начал копаться в данных, я начал много думать о показателях и о том, что они означают здесь, на Medium.
В этом посте я подробно расскажу о каждой метрике, предлагаемой Medium Stats, и рассмотрю возможные альтернативы. Я также буду ссылаться на идеи и вопросы, поставленные в ходе исследовательского анализа данных из моих предыдущих историй.
Несколько замечаний по метрикам
Задача создания или выбора новых показателей, безусловно, непростая. По этой причине мы часто в конечном итоге заменяем исходную проблему каким-то упрощенным вопросом, который легче интерпретировать. Есть много полезных эвристик, но я часто в конечном итоге разбиваю вещи на следующие, когда думаю о показателях:
1. Как в этом контексте выглядит успех?
2. Как мы можем это измерить?
Из-за субъективного характера задачи анализировать, что делает определенный показатель хорошим или плохим, часто бывает еще сложнее. При этом стоит упомянуть несколько атрибутов, которые обычно связаны с эффективными показателями. Вот краткий список для начала от Plan Brothers:
Сравнительная степень
Хорошая метрика должна быть сопоставима со временем, другими эквивалентными группами и конкурентами.
Понял
Создавайте понятные метрики. Если люди не могут вспомнить детали или обсудить их, это означает, что показатель сбивает с толку.
На основе соотношения
Каждая метрика должна основываться на четком соотношении. Подумайте о вождении машины. Пройденное расстояние носит информационный характер, но не требует действий. С другой стороны, расстояние в час - это то, на что вы можете рассчитывать.
Изменение поведения
Хорошая метрика дает данные, которые позволяют внести необходимые корректировки и побуждают к действию. Что я буду делать по-другому, основываясь на этой информации?
Помня об этих атрибутах, давайте перейдем к анализу. Чтобы узнать больше о показателях, я настоятельно рекомендую прочитать Джули Чжуо и ее различные сообщения о настройке показателей. Давайте начнем!
Показатель №1: просмотры
Просмотры являются основным продуктом, когда речь идет о веб-контенте. Их очень легко интерпретировать, и они чертовски эффективны, заставляя нас чувствовать себя хорошо. Вот как выглядит моя пятерка самых просматриваемых постов:
Вы могли заметить, что две главные истории значительно затмевают другие. После дальнейшего анализа я обнаружил, что более 70% просмотров за всю мою жизнь приходятся на 2 из моих 30+ историй здесь, на Medium. Эти статьи посвящены концепциям обучения машинному обучению и манипулированию данными путем их реализации на Python. Думаю, это обычная тема среди писателей - не каждый пост будет хоумраном.
Это также говорит о том, что просмотры не раскрывают всей картины. Во всяком случае, они измеряют объем сообщения, т.е. сколько людей это достигло. Огромное количество наблюдений за данной историей крайне вводит в заблуждение и часто поощряет заголовки кликбейта и описания, наполненные модными словами.
Альтернативный показатель: Shares
Можно было бы привести аргумент, что представления можно полностью выбросить. Эта метрика часто приносит больше плохого, чем хорошего, заставляя писателей больше сосредотачиваться на привлечении внимания и меньше на создании проницательной работы.
Если вам нужен счетный показатель для измерения объема работ, я рекомендую вместо этого использовать акции. Я считаю это улучшением по двум причинам:
- Публикации по-прежнему измеряют объем сообщения, но также учитывают его содержание, поскольку читатель не поделится публикацией, которая ему не понравилась.
- Акции наказывают мелкие кусочки кликбейта, а не награждают их.
Возможный недостаток использования Shares заключается в том, что репост от известного влиятельного лица будет иметь такой же вес, как и репост с меньшим количеством подписчиков.
Хорошо это или плохо - вопрос спорный. В контексте количественной оценки объема, акции изначально не соответствуют требованиям и будут зависеть от имеющегося цепного эффекта. Например, когда кто-то со 100 000 подписчиков репостит вашу статью в Twitter, это первоначально записывается как «+1». Дополнительный вес для этой конкретной влиятельной доли должен прийти в виде представления большего количества читателей, которые также будут иметь возможность поделиться постом и так далее.
Даже принимая это во внимание, я по-прежнему считаю, что Shares - это улучшение, когда дело доходит до предоставления содержательной обратной связи. Даже если это не замена неизменно верным взглядам, писателей, несомненно, по-прежнему интересует, сколько людей видели их рассказы.
Публикации должны предлагаться вместе с просмотрами, когда дело доходит до оценки истинного объема и виральности сообщения.
Показатель № 2: Читает.
Reads лучше справляется с отсеиванием неглубоких постов, поскольку читатели могут нажимать на них, но, скорее всего, они не закончат читать, когда поймут, что не получают от этого никакой пользы.
Вы, наверное, помните, что вообще следует избегать подсчета показателей. О них может быть интересно упомянуть друзьям или использовать для повышения нашего эго, но когда дело доходит до вождения, они терпят неудачу.
Как и следовало ожидать, между прочтениями и представлениями будет четкая корреляция, которая затуманивает любые выводы, которые мы можем извлечь из этой метрики. Обратите внимание, что я удалил выбросы, чтобы лучше рассмотреть взаимосвязь ниже:
Reads немного отличается от Views. В то время как Views пытались измерить масштаб, Reads вместо этого сосредоточен на вовлечении. Насколько хорошо люди действительно взаимодействуют с материалом? С счетной метрикой ответить на этот вопрос сложно.
Чтобы действительно понять, насколько интересна публикация, нам нужно будет использовать что-то более основанное на соотношении. К счастью, у Medium уже есть ответ на эту проблему.
Альтернативный показатель: коэффициент чтения
Я не буду сейчас вдаваться в подробности о коэффициенте чтения, поскольку мы коснемся его более подробно позже, но давайте рассмотрим некоторые заметные улучшения:
- Коэффициент чтения регулируется в зависимости от количества просмотров, устраняя предвзятость, которая ранее влияла на чтение.
- Коэффициент прочтения сравним для большинства типов сообщений, независимо от контекста или популярности.
Коэффициент прочтения оказался довольно полезным показателем для оценки читабельности моих сообщений. В конце концов, вы не сможете принести пользу своим читателям, если не сможете поддерживать их интерес.
Показатель № 3: Коэффициент чтения
Наконец-то действенный показатель средней статистики! Как мы только что упоминали, коэффициент чтения - это более значимый поворот по сравнению с традиционным счетчиком чтения. Более того, это все еще легко понять как процент зрителей, которые остались и прочитали пост. Давайте посмотрим на мои лучшие сообщения на Medium по коэффициенту чтения:
Мне это было очень интересно. Похоже, что у моего самого первого поста на Medium был самый высокий коэффициент чтения. Когда я вернулся и просмотрел главные статьи выше, я заметил тему. Почти все они были несколько короткими; приходит менее чем за 6 минут до времени чтения. У них также было много картинок и заголовков, чтобы читатель мог легко их просмотреть.
Это кажется довольно интуитивно понятным, но давайте рассмотрим эту догадку глубже, оценив коэффициент чтения сообщений, разделенных на соответствующее время чтения.
Как и следовало ожидать, вероятность того, что кто-то прочитает сообщение, во многом зависит от длины статьи. Это определенно мешает нашей интерпретации коэффициента чтения. Так что давайте исправим.
Альтернативный показатель: скорректированный коэффициент чтения
Нам нужно разработать способ показать пользователям, что считается хорошим и плохим по сравнению с другими сообщениями той же длины во времени чтения. Для этого мы могли бы нормализовать коэффициенты чтения в каждой группе времени чтения и сообщить новый результат от 0 до 1.
Этот показатель был бы более точной оценкой того, насколько привлекательным является пост, но он создает проблему с интерпретируемостью. При выборе показателей часто приходится идти на компромиссы; мы хотим ответить на поставленный вопрос, но нам нужно что-то, что также легко понять.
Давайте найдем компромисс. Обратите внимание, что я собираюсь немного схитрить. Это не обязательно отдельная метрика, это скорее тонкая настройка информационного дизайна. Добавляя относительную производительность к уже интерпретируемому коэффициенту чтения, пользователь может вывести из него гораздо больше.
Это не потрясающе, но это небольшое изменение имеет огромное значение. Давайте вернемся к нашим четырем характеристикам сильной метрики: сопоставимому, понятному, основанному на соотношении и изменяющемуся поведению.
Изначально коэффициент чтения был хорошо понятным и основанным на соотношении. Однако ему не хватало сопоставимости и существенной силы изменения поведения из-за предвзятости в отношении времени чтения.
Этот новый дизайн охватывает все четыре основы, и писатели могут легко интерпретировать, насколько увлекательна их работа по сравнению с ее продолжительностью.
Показатель № 4: Вентиляторы.
После непродолжительного успеха с коэффициентом чтения мы вернулись к тщеславным метрикам. Обратите внимание, что «Поклонники» не сообщают нам количество аплодисментов, а просто регистрируют каждого пользователя, который аплодирует, как поклонника. Излишне говорить, что здесь могло быть больше существа.
С помощью Fans мы хотим оценить что-то совершенно иное, чем мы были с Views (объем) или Reads (взаимодействие). Мы особенно стремимся к количественной оценке воздействия. Какое влияние оказывает публикация? Насколько это нравится людям?
Чтобы улучшить этот показатель, давайте оставим его простым и возьмем альтернативу, основанную на коэффициентах. На каждого человека, прочитавшего пост, сколько из них были настолько затронуты, что хотя бы один раз хлопнули в ладоши? Ответ - коэффициент поклонников.
Альтернативный показатель: скорректированное соотношение вентиляторов
Несколько пользователей Medium уже говорили о ручном вычислении этого показателя, поэтому я немного удивлен, что он не был включен в предложения Medium Stats.
Используя коэффициент вентилятора вместо числа поклонников, мы получаем очевидные преимущества использования коэффициента вместо количества. В частности, он предлагает нам сопоставимую метрику, содержащую полезную информацию. Вот мои главные посты о Fan Ratio:
Первое, что я заметил здесь, это то, что мои посты о самосовершенствовании получили заметно лучшее отношение поклонников, чем мои технические посты.
У некоторых жанров историй больше поклонников, чем у других?
К счастью, я отправляю все свои сообщения в публикации по теме. Сообщения по темам самосовершенствования идут в Восхождение и Стартап, а другие технические сообщения - в На пути к науке о данных, freeCodeCamp и Hackernoon. Наконец, любые сообщения, связанные с дизайном, обычно отправляются в UX Planet.
Основываясь на небольшой выборке из ~ 30 историй, это, похоже, подтверждает наше подозрение, что одни жанры работают лучше, чем другие. С другой стороны, введение публикаций может просто привести к тому, что у одних публикаций больше заинтересованных пользователей, чем у других. Трудно ответить на этот вопрос без дополнительных данных, но мое чутье подсказывает мне выбрать первый вариант: жанр.
Для меня это интуитивно понятно. Особенно когда речь идет о выполнении постов по самосовершенствованию. Судя по всему, они самые популярные на Medium и часто привлекают множество поклонников. Многие из них могут быть нацелены на кого угодно в любой ситуации и, таким образом, с большей вероятностью окажут на кого-то положительное влияние и создадут поклонника.
Medium может даже пойти дальше, сгруппировав похожие сообщения с использованием других функций, основанных на содержании, для создания системы профилирования.
Вместо того, чтобы сравнивать коэффициент поклонников поста с другими постами в этом жанре, его можно сравнить с другими постами в его кластере для более точного представления об истинной относительной силе поста.
Лучший КПЭ
После долгих размышлений и анализа я обнаружил, что успешная публикация на Medium обычно имеет следующие атрибуты:
- Это увлекает читателей, удерживая их достаточно заинтересованными, чтобы дочитать до конца.
- Это положительно влияет на читателей, принося некоторую ценность или удовольствие.
В этом посте мы затронули множество различных показателей и идей, но на самом деле все очень просто. Вы привлекаете читателей и приносите им пользу.
Как мы отмечали ранее, мы можем измерить взаимодействие с помощью скорректированного коэффициента чтения и воздействия с помощью скорректированного коэффициента поклонников. К счастью, эти два фактора, по-видимому, довольно сильно связаны с корреляцией 0,54 в этой конкретной выборке.
Приятно видеть здесь несколько линейную взаимосвязь, а это означает, что сильные сообщения обычно хорошо себя чувствуют как по коэффициенту чтения, так и по коэффициенту поклонников. Имея это в виду, я рассмотрел несколько возможностей для нормализованных и взвешенных средних, достигающих высшей точки в одной всеобъемлющей метрике, но я отказался от этого из соображений интерпретируемости.
«Когда человеческое суждение и большие данные пересекаются, происходят забавные вещи», - Нейт Сильвер.
Если бы у меня все было по-своему, я бы предложил что-то похожее на визуализацию ниже, когда вы наводите курсор на конкретный пост. Как мы исследовали ранее, это обеспечивает лучшее представление об эффективности данного поста, оставаясь при этом интерпретируемым и сопоставимым. Вовлеченность и влияние.
Заключительные слова
Поздравляю, если вы продержались так долго! Я никогда не ожидал, что этот проект перейдет от краткого исследовательского анализа данных к глубокому погружению в метрики на 2600 слов. Однако у меня есть последнее замечание.
Мы знаем, насколько важны данные. Мы знаем, что это может быть полезно практически для любого контекста - да, включая письмо. Компании предположительно с каждым днем все больше и больше ориентируются на данные.
Итак, когда это движение попадет на платформу Medium для писателей?
Этот тип анализа должен быть доступен всем авторам, а не только энтузиастам и практикам в области науки о данных. Нам необходимо демократизировать анализ данных для создателей контента. Эти идеи стали возможны при размере выборки 30 сообщений, взятой с одной страницы средней статистики. Представьте себе возможности с большим количеством данных и информации в нашем распоряжении.
Предоставляя авторам возможность анализировать свой контент и понимать, как его воспринимают читатели, они будут работать лучше и эффективнее.
Это непростая задача, но я считаю, что она вполне достижима. Ваш ход, Средний.
Спасибо за прочтение! Если вы хотите проверить мой анализ или выполнить аналогичный проект с вашими собственными данными Medium, перейдите к моему репо на Github: Medium Stats Analysis.
Если вас интересуют новые сообщения, обязательно подписывайтесь на меня и подпишитесь на мою рассылку новостей ниже, чтобы получать любой новый контент. Чтобы узнать больше обо мне и о моих планах, посетите мой сайт.
