Opscenter не показывает мои ключевые пробелы

На моей веб-странице opscenter на вкладке схемы мне не удалось увидеть ни одно из моих пространств ключей (0 пространств ключей | 0 семейств столбцов), а в журналах продолжают говорить

WARN [rollup-snapshot] 2013-11-18 20:02:47,373 42937 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,373 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,373 42938 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,373 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,373 42939 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,373 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 42940 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 42941 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 42942 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 42943 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 42944 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 42945 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 42946 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,374 42947 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 42948 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 42949 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 42950 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 42951 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 42952 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 42953 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 42954 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,375 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,376 42955 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,376 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,376 42956 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-18 20:02:47,376 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-18 20:02:47,376 42957 operations dropped so far.

Я перезапустил datastax-agent, но все равно не смог найти никаких ошибок в файле журнала, ниже находится файл agent.log.

Журнал запуска:

 Starting DataStax agent monitor datastax_agent_monitor[  OK  ]
    log4j:WARN No appenders could be found for logger (org.eclipse.jetty.util.log).
    log4j:WARN Please initialize the log4j system properly.
    log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
     INFO [main] 2013-11-27 01:37:45,191 Loading conf files: /var/lib/datastax-agent/conf/address.yaml
     INFO [main] 2013-11-27 01:37:45,260 Java vendor/version: Java HotSpot(TM) 64-Bit Server VM/1.7.0_25
     INFO [main] 2013-11-27 01:37:45,261 Waiting for the config from OpsCenter
     INFO [main] 2013-11-27 01:37:45,262 Attempting to determine Cassandra's broadcast address through JMX
     INFO [main] 2013-11-27 01:37:45,264 Starting Stomp
     INFO [main] 2013-11-27 01:37:45,264 SSL communication is disabled
     INFO [main] 2013-11-27 01:37:45,264 Creating stomp connection to x.x.x.x:61620
     INFO [Initialization] 2013-11-27 01:37:45,266 New JMX connection (127.0.0.1:7199)
     INFO [StompConnection receiver] 2013-11-27 01:37:45,274 Reconnecting in 0s.
     INFO [StompConnection receiver] 2013-11-27 01:37:45,280 Connected to x.x.x.x:61620
     INFO [main] 2013-11-27 01:37:45,313 Starting Jetty server: {:port 61621, :host nil, :ssl? false, :join? false}
     INFO [Jetty] 2013-11-27 01:37:45,511 Jetty server started
     INFO [StompConnection receiver] 2013-11-27 01:37:45,566 Got new config from OpsCenter: {:kerberos_use_keytab true, :rollups300_ttl 2419200, :kerberos_use_ticket_cache true, :rollups60_ttl 604800, :thrift_port 9160, :ec2_metadata_api_host "x.x.x.x", :metrics_enabled 1, :rollups7200_ttl 31536000, :thrift_ssl_truststore nil, :metrics_ignored_column_families "", :cassandra_log_location "/var/log/cassandra/system.log", :thrift_rpc_interface "x.x.x.x", :thrift_ssl_truststore_password nil, :jmx_port 7199, :provisioning 0, :use_ssl 0, :kerberos_debug false, :rollups86400_ttl -1, :api_port "61621", :storage_keyspace "OpsCenter", :kerberos_renew_tgt true, :metrics_ignored_solr_cores "", :thrift_ssl_truststore_type "JKS", :metrics_ignored_keyspaces "system, system_traces, system_auth, dse_auth, OpsCenter", :rollup_subscriptions [], :cassandra_install_location ""}
     INFO [StompConnection receiver] 2013-11-27 01:37:45,567 New JMX connection (127.0.0.1:7199)
     INFO [Initialization] 2013-11-27 01:37:45,633 Using x.x.x.x as the cassandra broadcast address
     INFO [StompConnection receiver] 2013-11-27 01:37:45,662 Starting up agent collection.
     INFO [Initialization] 2013-11-27 01:37:45,714 agent RPC address is  x.x.x.x
     INFO [Initialization] 2013-11-27 01:37:45,715 agent RPC broadcast address is  x.x.x.x
     INFO [StompConnection receiver] 2013-11-27 01:37:45,721 Starting OS metric collectors (Linux)
     INFO [Initialization] 2013-11-27 01:37:45,723 Clearing ssl.truststore
     INFO [Initialization] 2013-11-27 01:37:45,723 Clearing ssl.truststore.password
     INFO [Initialization] 2013-11-27 01:37:45,723 Setting ssl.store.type to JKS
     INFO [Initialization] 2013-11-27 01:37:45,728 Clearing kerberos.service.principal.name
     INFO [Initialization] 2013-11-27 01:37:45,728 Clearing kerberos.principal
     INFO [Initialization] 2013-11-27 01:37:45,728 Setting kerberos.useTicketCache to true
     INFO [Initialization] 2013-11-27 01:37:45,728 Clearing kerberos.ticketCache
     INFO [Initialization] 2013-11-27 01:37:45,729 Setting kerberos.useKeyTab to true
     INFO [Initialization] 2013-11-27 01:37:45,729 Clearing kerberos.keyTab
     INFO [Initialization] 2013-11-27 01:37:45,729 Setting kerberos.renewTGT to true
     INFO [Initialization] 2013-11-27 01:37:45,729 Setting kerberos.debug to false
     INFO [thrift-init] 2013-11-27 01:37:45,733 Connecting to Cassandra cluster: x.x.x.x (port 9160)
     INFO [StompConnection receiver] 2013-11-27 01:37:45,737 Starting Cassandra JMX metric collectors
     INFO [thrift-init] 2013-11-27 01:37:45,749 Downed Host Retry service started with queue size -1 and retry delay 10s
     INFO [StompConnection receiver] 2013-11-27 01:37:45,755 New JMX connection (127.0.0.1:7199)
     INFO [thrift-init] 2013-11-27 01:37:45,757 Registering JMX me.prettyprint.cassandra.service_Agent Cluster:ServiceType=hector,MonitorType=hector
     INFO [pdp-loader] 2013-11-27 01:37:45,834 in execute with client org.apache.cassandra.thrift.Cassandra$Client@67cf1438
     INFO [thrift-init] 2013-11-27 01:37:45,836 Connected to Cassandra cluster: /Test
     INFO [pdp-loader] 2013-11-27 01:37:45,844 Attempting to load stored metric values.
     INFO [thrift-init] 2013-11-27 01:37:45,841 in execute with client org.apache.cassandra.thrift.Cassandra$Client@67cf1438
     INFO [thrift-init] 2013-11-27 01:37:45,845 Using partitioner: org.apache.cassandra.dht.Murmur3Partitioner
     INFO [jmx-metrics-1] 2013-11-27 01:37:50,748 New JMX connection (127.0.0.1:7199)
     INFO [qtp131393312-25] 2013-11-27 01:38:59,902 HTTP: :get /os-metric/disk-space {} - 200
     INFO [qtp131393312-24] 2013-11-27 01:39:04,468 HTTP: :get /os-metric/disk-space {} - 200

WARN [rollup-snapshot] 2013-11-27 01:42:45,841 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-27 01:42:45,842 1 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-27 01:42:45,842 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-27 01:42:45,842 2 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-27 01:42:45,843 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-27 01:42:45,843 3 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-27 01:42:45,843 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-27 01:42:45,843 4 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-27 01:42:45,843 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-27 01:42:45,843 5 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-27 01:42:45,844 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-27 01:42:45,844 6 operations dropped so far.
 WARN [rollup-snapshot] 2013-11-27 01:42:45,844 Thrift operation queue is full, discarding thrift operation
 WARN [rollup-snapshot] 2013-11-27 01:42:45,844 7 operations dropped so far.

Бережливость работает:

tcp        0      0 0.0.0.0:7199                0.0.0.0:*                   LISTEN      498        21333533   15520/java
tcp        0      0 0.0.0.0:9160                0.0.0.0:*                   LISTEN      498        21334831   15520/java

Узлы Cassandra запущены и работают.


datastax-enterprise opscenter
person Ram    schedule 18.11.2013    source источник
comment
Первый журнал, который вы включили, на самом деле также является журналом агента. Это указывает на то, что у агента возникают проблемы с записью данных в кластер из-за бережливости, но это не должно влиять на список пространств ключей. Можете ли вы найти ошибки в журнале OpsCenter и указать их здесь? Также было бы полезно отправить вывод из 'curl http://‹opsc_url›:‹port›/‹имя_кластера›/keyspaces'   -  person nickmbailey    schedule 20.11.2013
comment
Я обновил журналы, и странно, что теперь я вижу пространства клавиш, но каждый раз, когда я перезапускаю браузер, это занимает много времени, а как насчет этих ПРЕДУПРЕЖДЕНИЙ?   -  person Ram    schedule 20.11.2013
comment
Сообщения WARN означают, что агент не может подключиться к cassandra через экономию. Ваш узел cassandra запущен и работает в режиме экономии? Другая вставленная вами трассировка стека должна быть исправлена ​​в более поздней версии OpsCenter. Можно ли обновиться до 3.2.2 или 4.0.1?   -  person nickmbailey    schedule 22.11.2013
comment
Я обновился до 4.0.1, но все те же предупреждения.   -  person Ram    schedule 25.11.2013
comment
Я добавил их в файл address.yaml thrift_max_conns: 100 async_pool_size: 100. Все та же ошибка.   -  person Ram    schedule 25.11.2013
comment
Предупреждения о бережливости? Эти предупреждения не связаны с версией OpsCenter, они просто указывают на то, что агент не может подключиться к локальному узлу cassandra через экономию. Предполагая, что комиссионный сервер запущен и настроен правильно, мне нужно было бы увидеть больше журнала агента, чтобы узнать, что не так. В журнале также должны быть фактические ошибки подключения.   -  person nickmbailey    schedule 27.11.2013
comment
Я добавил журнал запуска, пожалуйста, посмотрите его. Я не мог найти никаких ошибок в моем журнале   -  person Ram    schedule 27.11.2013
comment
Thrift работает, а cassandra работает.   -  person Ram    schedule 27.11.2013
comment
Хм, если thrift работает и агент может успешно подключиться, то он просто не может идти в ногу с количеством собираемых им метрик. Наиболее вероятные кандидаты — либо у вас очень большое количество семейств столбцов, либо ваш кластер находится под значительной нагрузкой и очень медленно отвечает.   -  person nickmbailey    schedule 27.11.2013
comment
У меня было очень большое количество семейств столбцов, то есть ~ больше 600. Вот почему я увеличил max_thrift_conns до 100. Это вызовет какие-либо проблемы с моим кластером cassandra, если я запущу службу восстановления с помощью opscenter? есть ли работа для этого?   -  person Ram    schedule 27.11.2013
comment
Это не должно вызвать никаких проблем с выполнением ремонтной службы, за исключением того, что ремонт может занять больше времени. Вы можете контролировать, для каких пространств ключей и семейств столбцов собираются метрики. См. datastax.com/documentation/opscenter/4.0/webhelp/.   -  person nickmbailey    schedule 28.11.2013
comment
Я пытался запустить службу восстановления, но получаю сообщение ОШИБКА: служба восстановления не может завершиться без негативного воздействия на кластер. Требуемый параллельный ремонт: 47,0, Макс. параллельный ремонт: 1, Закрытие ремонтной службы. Я увеличил количество дней до 20 и параллельных копий до 10, но все та же ошибка. Каково максимальное значение для параллельных копий и что произойдет, если я увеличу количество дней больше, чем gc_grace_period. Увеличено количество дней на основе этой статьи support.datastax.com/entries/   -  person Ram    schedule 02.12.2013
comment
вы должны открыть еще один вопрос по этому вопросу   -  person nickmbailey    schedule 02.12.2013

Ответы (1)


arrow_upward
3
arrow_downward

В данном случае проблема была связана с количеством семейств столбцов, созданных в кластере. Большое количество семейств столбцов может замедлить получение списка пространств ключей и семейств столбцов, а также резервную вставку метрик. Вы можете указать, для каких семейств столбцов собираются метрики. Видеть:

http://www.datastax.com/documentation/opscenter/4.0/webhelp/index.html#opsc/configure/../../opsc/configure/../../opsc/configure/opscExcludingKeyspaces_c.html

Если вы не хотите отключать мониторинг кластеров с большим количеством семейств столбцов, есть несколько параметров, которые вы можете настроить в конфигурации агента.

thrift_max_conns - the max number of concurrent connections to make to the local node
asysnc_pool_size - the size of the threadpool pulling from a queue of inserts and inserting in to cassandra
async_queue_size - the size of the queue of inserts to send to cassandra, if the queue fills up additional operations will be dropped
person nickmbailey    schedule 02.12.2013
comment
Я не хочу исключать какие-либо из моих пространств ключей из мониторинга. есть ли способ сделать это? - person Ram; 02.12.2013
comment
Я отредактировал свой ответ с соответствующими настройками для настройки. - person nickmbailey; 06.12.2013
comment
Применимы ли эти параметры конфигурации к DSE 4.6.1, OpsC 5.1.0? Они не задокументированы здесь: datastax.com/documentation/opscenter /5.1/opsc/configure/. Я часто вижу следующее сообщение в файле agent.log моих узлов: Очередь операций Cassandra заполнена, операция cassandra отменяется. У меня более 400 таблиц в моем пространстве ключей - person PJ.; 22.02.2015