За последние пару лет скорость изменений во многих областях возросла, и как отдельным лицам, так и предприятиям приходится искать более эффективные способы адаптации, основанные на данных.
Важность измерения изменений/тенденций возросла, и одной из целей является использование данных не только для измерения текущих тенденций, но и для прогнозирования будущих.
Для этого можно использовать множество различных источников данных.
Одним из крупнейших источников являются платформы социальных сетей, как с точки зрения доступности, так и с точки зрения релевантности (пользовательский контент).
Большинство платформ социальных сетей имеют отличные или, в некоторых случаях, по крайней мере достойные общедоступные API, которые позволяют увеличить объем сбора данных с целью исследования тенденций.
Нас могут интересовать тренды в самых разных областях, одной из важных сфер является Электронная коммерция, где одной из задач может быть изучение тенденций покупки/интереса к набору товаров. Если
Мы могли бы быть заинтересованы в том, чтобы узнать, какие продукты продемонстрировали самые положительные тенденции, например. измеряется как рост в некотором заданном интервале времени.
И, классифицируя продукты, мы также можем ответить, какие продукты являются наиболее популярными в данной вертикали. Для классификации продуктов ознакомьтесь с нашей статьей что такое классификация продуктов?.
Популярные продукты в социальных сетях
Как только мы остановимся на некоторых продуктах, которые хотим проанализировать, следующим шагом будет выбор платформы социальных сетей для получения данных.
У Twitter отличный API, подробнее о нем можно прочитать здесь: https://developer.twitter.com/en/docs/twitter-api.
Из всех доступных источников данных из Твиттера на самом деле есть разные возможности для использования.
Один из подходов — использовать Twitter Firehose. Однако с этим связано несколько трудностей. Во-первых, это огромное количество данных, которые необходимо обрабатывать, и соответствующее большое количество серверов, необходимых для этой цели.
Другим недостатком является цена доступа к Firehose, что может означать высокие затраты на ваш потенциальный новый продукт или услугу уже при запуске.
Лучшим подходом было бы использование Twitter Search API:
https://developer.twitter.com/en/docs/twitter-api/v1/tweets/search/api-reference/get-search-tweets
Это менее затратный и более целенаправленный подход для получения желаемого результата поиска данных о конкретном продукте.
Этот подход может работать для многих продуктов, за исключением тех, которые имеют большое количество упоминаний в час, например. марка смартфона. В этом случае для получения всех твитов может снова потребоваться много ресурсов, поэтому может иметь смысл использовать для них некоторые ограничения.
Следующим очень полезным API социальных сетей, который можно использовать для поиска популярных продуктов, является API от Youtube, вы можете найти больше информации о нем здесь: https://developers.google.com/youtube/v3.
Некоторые другие платформы, такие как Facebook и Instagram, могут быть немного более строгими в отношении того, какие данные вы можете получить, но также могут быть хорошим вариантом.
Популярные продукты — из поисковых систем, с использованием PyTrends
Популярность трендовых товаров можно оценить и другими способами. Поскольку решению о покупке какого-либо товара А часто предшествует поиск этого товара в поисковой системе, имеет смысл использовать тенденции поиска в качестве показателя популярности популярных товаров.
Можно использовать различные источники данных от Google, например. если вас интересует фактическое количество поисковых запросов, лучшим вариантом будет Google AdWords (или недавно Google Ads).
Однако если нас в первую очередь интересуют тенденции, то можно получить данные из Google Trends.
Вот пример тенденций Google для науки о ключевых словах:
На практике проще всего это сделать с помощью библиотеки, одной из лучших для этой цели является https://github.com/GeneralMills/pytrends.
Pytrends — это своего рода неофициальный API для Google Trends. Он имеет множество функций для загрузки данных Google Trends и позволяет нам выполнять множество статистических анализов.
Это очень полезно, если вы хотите создать свой собственный сценарий кода для получения данных трендов и хотите быстро создать автоматизированный конвейер, который может это сделать.
Данные, получаемые PyTrends, масштабируются от 0 до 100, где 100 указывает на самую высокую популярность. 0 указывает на недостаточное количество точек данных для определенного ключевого слова.
PyTrends принимает множество различных параметров, которые вы можете передать:
Интерес во времени
Исторический почасовой процент
Интерес по регионам
Связанные темы
Связанные запросы
Популярные поисковые запросы
Тенденции поиска в реальном времени
Лучшие графики
Предложения
Остановимся подробнее на некоторых из этих параметров.
Интерес с течением времени: исторический временной ряд (индексированный), который показывает, когда ключевое слово чаще всего искали.
Исторический почасовой интерес: это исторические, проиндексированные почасовые данные о том, когда ключевое слово искали больше всего. Его можно получить, сделав несколько запросов в Google, и каждый из них ежечасно извлекает данные за одну неделю.
Интерес по регионам: аналогично первому параметру, за исключением регионов.
Связанные темы: ценная функция, если вы ищете связанные термины и ключевые слова.
Актуальные поисковые запросы: последние популярные поисковые запросы, отображаемые в сегменте трендовых поисковых запросов Google Trends.
Top Charts: данные по заданной теме, показанные в сегменте Top Charts Google Trends.
Предложения: еще одна полезная группа данных, предложения, которые можно использовать для дальнейшего уточнения.
Данные трендов можно комбинировать с другим анализом, например. можно классифицировать все трендовые продукты в соответствии с их классом. Подробнее о категоризации товаров читайте в нашей статье:
Данные о тенденциях также интересны для глубокого анализа технологий, чтобы увидеть, что в тренде, а что нет.
На нашей платформе Alpha Quantum мы создали рекомендатель ИИ, который предсказывает, какие технологии наиболее интересны тому, кто использует определенный набор технологий.
Например, если вы используете технологию Owl Carousel, то вам будут интересны следующие технологии:
Заключение
В последние годы темпы изменений в обществе и бизнесе увеличиваются, и возрастает потребность в измерении и понимании тенденций в различных областях.
В этой статье мы показали два варианта получения необходимых для этого данных, используя для этой цели платформы социальных сетей и поисковые системы.
