Разумны ли сотни / тысячи сокетов TCP с memcached?

k Я кое-что понял ..

1) МОЖЕТ быть разумным иметь сотни / тысячи сокетов, подключенных к memcached, если вы используете библиотеку, которая использует epoll или что-то еще - однако, если вы используете ruby, как я, я не знаю о библиотеке, которая что-то использует иначе, чем select () или poll () - поэтому этот вопрос / запрос немедленно отменяется.

2) если вы похожи на меня, у вас сейчас работает только 1 сервер memcached и пара ублюдков / тонких людей, которые заботятся о запросах ... поэтому ваши соединения с кэшем памяти должны быть проблемными. быть не больше, чем количество запущенных вами дворняжек / худых (при условии, что вы кэшируете только 1 или два набора вещей) - что было в моем случае

вот исправление:

настроить memcache через memcached gem, а не через merb :: cache (который фактически обертывает любую библиотеку memcache, которую вы используете

MMCACHE = Memcached.new("localhost:11211")

получить / установить свои значения:

  @cache = MMCACHE.clone
  begin
    @hand_xml = @cache.get("/hands/#{@hand.id}.xml")
  rescue
    @hand_xml = display(@hand)
    @cache.set("/hands/#{@hand.id}.xml", @hand_xml)
  end
  @cache.quit

сядьте и выпейте холодную воду, потому что сейчас, когда вы это сделаете:

lsof | grep 11211 | wc -l

вы видите что-то вроде 2 или 3 вместо 2036!

props to reef за то, что подсказал мне, что соединения кэша памяти с самого начала могут быть постоянными

Возможно, я смогу помочь, но для этого мне нужно рассказать историю. Вот.

Когда-то был кластер из 10 серверов apache (ssl), сконфигурированных так, чтобы каждый имел ровно 100 потоков. Также был кластер из 10 серверов memcached (на одних и тех же ящиках), и все они казалось жили мирно. И apache, и memcached охранялись злобным демоном monit.

Затем Король установил 11-й сервер apache (ssl), и memcached начал случайным образом перезапускаться каждые несколько часов! Король начал расследование и что он нашел? В документации модуля php memcache была ошибка, в которой говорилось, что конструктор по умолчанию для объекта подключения memcache не постоянный, но, видимо, так и было. Случилось так, что каждый поток php (а их было около 1000) открывал соединение с каждым memcached в пуле, когда он нуждался в нем, и оно его удерживало. Было 10 * 100 подключений к каждому серверу memcached, и это было нормально, но с 11 серверами это было 1100 и как 1024 ‹1100. Максимальное количество открытых сокетов для memcached было 1024. Когда все сокеты были заняты, демон monit не смог подключиться, поэтому он перезапустил memcached.

В каждой истории должна быть мораль. Итак, что король со всем этим сделал? Он отключил постоянные соединения, и все они жили долго и счастливо, число соединений в кластере достигло 5 (пяти). Эти серверы обслуживали огромное количество данных, поэтому у нас не могло быть 1000 запасных сокетов, и было дешевле согласовывать соединение кэша памяти при каждом запросе.

Извините, но я не знаю Ruby, похоже, у вас было ужасное количество потоков или вы неправильно кешировали его.

Удачи!