Публикации по теме 'rate-limiting'
Интеграция с API с ограниченной скоростью
Веб-службы часто ограничивают скорость запросов к своим API. Давайте поговорим о нескольких случаях использования ограничений скорости API.
Облачные провайдеры, такие как AWS (Amazon Web Services) и GCP (Google Cloud Platform), взимают плату с приложений за каждый запрос API и применяют ограничения на основе своих планов обслуживания.
При создании веб-службы, в зависимости от того, какие типы ресурсов вы обслуживаете, вы можете убедиться, что ваш API обеспечивает справедливый доступ..
Ограничение скорости и requests_respectful
До сих пор моя стажировка была плодотворной. Я наткнулся на несколько действительно крутых вещей. Ограничение скорости и requests_respectful. Вам это может показаться новым. Я тоже был для них новичком.
Что такое ограничение скорости?
Ограничение скорости в основном используется для управления объемом трафика в или из сети. Это обеспечивает улучшение потока данных и повышение безопасности за счет уменьшения числа атак .
Это удобно, когда возникает необходимость..
Настройте глобальное ограничение скорости с помощью AWS WAF за 5 минут
Вероятно, каждая служба / веб-сайт рано или поздно потребует ограничения количества запросов. Особенно, если для генерации контента (ответа на эти запросы) требуется время вычислений (которое нелегко обслуживается из кеша). Установить ограничение скорости запросов несложно с HAProxy, NGINX или любым другим прокси / балансировщиком нагрузки. Но когда дело доходит до глобального или распределенного ограничения скорости , эта задача становится немного сложнее. Глобальное ограничение..
Вопросы по теме 'rate-limiting'
Фильтр сервлетов: очень простой фильтр ограничения скорости, допускающий всплески
Я хотел бы добавить очень простой фильтр, выполняющий ограничение скорости для каждого IP-адреса, но при этом допускающий всплеск, немного похожий на то, что позволяет делать iptables .
Я не хочу устанавливать всю кухонную раковину: мне нужен...
5827 просмотров
schedule
24.03.2022
Ограничение скорости API по IP
Я смотрел, как выполняется ограничение скорости, и кажется, что многие API (включая API StackOverflow v1) ограничивают скорость по IP или ограничивают ключи API для использования в определенном домене. Как это сделать надежно?
Когда я смотрю на...
3839 просмотров
schedule
09.04.2023
Позволят ли ограничения скорости Twitter мне провести анализ данных, необходимый для построения полного графа социальной сети с примерно 600 тысячами пользователей?
Основной вопрос: позволят ли ограничения скорости Твиттера выполнить анализ данных, необходимый для построения полного графа социальной сети со всеми направленными ребрами среди примерно 600 тысяч пользователей?
Вот идея:
Ребра/связи/отношения в...
673 просмотров
schedule
27.04.2023
Настройки динамических квот Apigee по умолчанию
Для динамических настроек квот: http://apigee.com/docs/api-services/content/rate-limit-api-traffic-using-quota#dynamic-product-based-quota-settings
Я обнаружил, что, когда в приложении разработчика не определен атрибут, например...
817 просмотров
schedule
25.10.2023
Почему при использовании Tweepy в Твиттере по-прежнему возникает ошибка ограничения скорости?
Я пытаюсь получить все твиты за предыдущий день. И чтобы устранить ограничение скорости в Twitter, я реализовал два набора кодов.
if counter == 4000:
time.sleep(60*20) # wait for 20 min every time 4,000 tweets are extracted
counter == 0...
1928 просмотров
schedule
16.12.2023
Временная очередь обещаний/дроссель
У меня есть функция request-promise , которая делает запрос к API. Я ограничен скоростью этого API, и я продолжаю получать сообщение об ошибке:
Exceeded 2 calls per second for api client. Reduce request rates to resume uninterrupted service....
3187 просмотров
schedule
20.12.2023
RateLimiter Guava в минутах вместо секунд?
Я пытаюсь ограничить количество учетных записей, которые пользователь может создать с помощью моего REST API.
Я хотел бы использовать RateLimiter в Guava, чтобы позволить IP создавать, скажем, 5 учетных записей в течение 10 минут, но метод...
12931 просмотров
schedule
28.08.2022
Ручное ограничение скорости API
Я пытаюсь написать функцию ограничения скорости вручную для пакета rgithub . Пока это то, что у меня есть:
library(rgithub)
pull <- function(i){
commits <- get.pull.request.commits(owner = owner, repo = repo, id = i, ctx =...
421 просмотров
schedule
23.03.2023
Работа с ошибкой 104 и ограничение скорости Twitter
Я работаю над исследовательским проектом, который включает анализ больших объемов данных из Твиттера. Проект создается на Python с использованием Tweepy. Как вы можете себе представить, мне приходится очень тесно работать в рамках ограничителя...
2018 просмотров
schedule
28.02.2023
Ограничение скорости в nginx на основе заголовка http
Может быть, я задаю плохой вопрос, но я хочу применить ограничение скорости в nginx на основе пользовательского заголовка http, а не на основе IP. Моя конфигурация на основе IP работает, но я не могу обойти использование пользовательского заголовка...
9089 просмотров
schedule
03.09.2022
Celery: Ограничение скорости для задач с одинаковыми параметрами
Я ищу способ ограничить вызов функции, но только тогда, когда входные параметры разные, то есть:
@app.task(rate_limit="60/s")
def api_call(user):
do_the_api_call()
for i in range(0,100):
api_call("antoine")
api_call("oscar")
Поэтому я...
4188 просмотров
schedule
22.04.2023
jQuery / AJAX устанавливает тайм-аут при достижении предела скорости стороннего API
В своем приложении я делаю несколько вложенных вызовов AJAX к LiquidPlanner API , который ограничивает запросы до 30 requests every 15 seconds . Когда я достигаю предела, я хочу установить своего рода тайм-аут, чтобы прекратить отправку запросов к...
1028 просмотров
schedule
25.05.2022
Как реализовать распределенный ограничитель скорости?
Скажем, у меня есть P процессов, выполняющих некоторую бизнес-логику на N физических машинах. Эти процессы вызывают, скажем, какой-нибудь веб-сервис S. Я хочу убедиться, что не более X вызовов службы S в секунду всеми процессами P вместе взятыми....
11298 просмотров
schedule
25.11.2023
Что означает аннотирование в ограничителе частоты запросов
Я использую Django Ratelimit, чтобы ограничить скорость вызова моих просмотров по IP.
Но я не знаю, что означает параметр block , задокументировано здесь .
Когда я устанавливаю его на True, я получаю 403, когда мой предел скорости превышен....
240 просмотров
schedule
15.06.2022
Предлагает ли AWS S3 какое-либо ограничение скорости или защиту от злоупотреблений для общедоступных файлов?
У меня есть веб-приложение, которое обслуживает медиафайлы (другими словами, довольно большие) с публичным доступом. Файлы размещены на S3. Мне интересно, предлагает ли AWS какую-либо защиту от злоупотреблений, например обнаружение или...
200 просмотров
schedule
27.06.2023
Google API: время и часовой пояс сброса лимита квоты
У кого-нибудь есть информация о времени, в которое лимиты квот / ограничения скорости сбрасываются для следующих API Google? Большинство приведенных выше API имеют ежедневные квоты, в которых упоминается, что квоты сбрасываются на следующий день, и я...
4654 просмотров
schedule
26.11.2022
c# Ограничение скорости для итераций foreach
В основном я пытаюсь ограничить скорость выполнения итераций списка.
Мне очень нравится идея использования RX, так как я могу создать более элегантное решение, но это не обязательно делать с помощью RX.
Я сформулировал это с помощью многих,...
430 просмотров
schedule
26.01.2023
Упростите алгоритм ограничения скорости для сервера Node.js.
Я придумал наивное решение для алгоритма ограничения скорости для сервера Node.js, и я считаю, что есть способ упростить его, но я пока не уверен, как это сделать.
Мы хотим ограничить запросы до 50 в секунду. Таким образом, если приходит новейший...
1308 просмотров
schedule
10.02.2023
Информация об ограничении скорости API Google Книг?
Я не могу найти никакой информации об ограничении скорости с помощью API Google Книг. Я заинтересован в выполнении около 300 000 запросов ISBN для получения списков категорий книг, и я хочу ограничить количество запросов, чтобы они оставались ниже...
6520 просмотров
schedule
11.12.2022
Почему решения для ограничения скорости Flask используют Redis?
Я хочу ограничить скорость моего Flask API. Я нашел 2 решения.
Расширение Flask-Limiter .
Фрагмент веб-сайта Flask с использованием Redis: http://flask.pocoo.org/snippets/70/
Каково значение Redis, когда Flask-Limiter может...
4384 просмотров
schedule
26.06.2023
