Позволят ли ограничения скорости Twitter мне провести анализ данных, необходимый для построения полного графа социальной сети с примерно 600 тысячами пользователей?

Я отвечу на эти вопросы в обратном порядке, начиная с Дэвида Маркса: Ну, у меня есть доступ к довольно мощному компьютерному исследовательскому центру с огромным объемом памяти, так что это не должно быть проблемой. Однако я не знаю, справится ли с этим программное обеспечение.

Скорее всего, мне придется сократить проект, и это нормально. Идея для меня состоит в том, чтобы начать с большей идеи, выяснить, насколько большой она может быть, а затем соответственно урезать.

В продолжение вопроса Anony-Mousse: Часть моей проблемы заключается в том, что я не уверен, что правильно интерпретирую ограничения скорости Twitter. Я не уверен, что это 15 запросов за 15 минут или 30 запросов за 15 минут. И я думаю, что 1 запрос получит 5000 подписчиков/друзей, так что вы могли бы предположительно собирать 75 000 друзей или подписчиков каждые 15 минут, если ограничение составляет 15 запросов за 15 минут. Я также пытаюсь выяснить, существует ли какой-либо процесс запроса более высоких пределов скорости для любых исследовательских целей.

Здесь перечислены ограничения: https://dev.twitter.com/docs/rate-limiting/1.1/limits

Основной вопрос: Позволят ли мне ограничения скорости Твиттера заниматься интеллектуальным анализом данных (...)

Да, это технически осуществимо, однако на это уйдет много времени, если вы используете только один токен доступа пользователя API. Я имею в виду здесь, вероятно, более 6 месяцев непрерывной работы.

Чтобы быть более точным:

• извлечение узлов (пользователей Twitter) можно выполнить очень быстро, поскольку вы будете использовать конечную точку users/lookup API, которая позволяет извлекать 100 узлов за запрос и выполнять 180 запросов за 15-минутное окно (на каждый токен доступа, который вы имеют)
• извлечение ребер (отслеживание отношений между пользователями) является медленной частью, вы будете использовать конечные точки friends/ids и followers/ids API, ограниченные 15 запросами в 15 минут и позволяющие извлекать не более 5000 друзей подписчиков за уникальный пользователь на запрос.

Вы можете использовать метаданные узлов (тексты описаний, местоположения, языки, часовые пояса) для выполнения интересного анализа, даже не извлекая «график» (следите за отношениями между всеми)

Обойти это можно, распараллелив части извлечения, распределив извлечение по нескольким токенам доступа. Мне кажется, что условия использования соответствуют требованиям, если вы уважаете защищенные учетные записи.

В любом случае следует отфильтровать извлечение ребер для знаменитостей (вы, наверное, не хотите извлекать подписчиков hootsuite, их почти 6 миллионов).

отказ от ответственности: самореклама здесь: если вы не хотите разрабатывать это самостоятельно, я могу сделать для вас извлечение и предоставить вам файл графика, так как я извлекаю графики из твиттера на tribalytics. (Я прочитал это и что перед публикацией).

Я также пытаюсь выяснить, существует ли какой-либо процесс запроса более высоких пределов скорости для любых исследовательских целей.

Официально в белом списке больше нет приложений с более высокими ограничениями скорости, как могло бы быть с предыдущая версия API твиттера. Вам, вероятно, все же следует связаться с Twitter и узнать, могут ли они помочь вам, поскольку ваша работа предназначена для академических целей.

Скорее всего, мне придется сократить проект, и это нормально.

Я бы посоветовал вам сократить первоначальный список из 600 пользователей настолько, насколько это возможно. Оставляйте только тех, кто действительно занимает центральное место в вашей теме и чья аудитория не слишком велика. Извлечение графика местных знаменитостей даст вам график со многими людьми, не имеющими никакого отношения к населению, которое вы хотите изучить.