Druid не сохраняет в AWS S3

Я пытаюсь отправить данные на AWS S3. У меня был пользовательский пример в (http://druid.io/docs/0.7.0/Tutorial:-The-Druid-Cluster.html), но изменил common.runtime.properties, как показано ниже.

druid.storage.type=s3
druid.s3.accessKey=AKIAJWTETHZDEQLHQ7AQ
druid.s3.secretKey=tcTtvGXcqLmmMbo2hRunzlSA1P2X0O0bjVf537Nt
druid.storage.bucket=testfeed
druid.storage.baseKey=sample

Ниже приведены журналы для узла реального времени

У меня проблема. Я пропустил расширение s3 в common.runtime.properties. Как только это было добавлено, данные начали отправляться в s3.


amazon-web-services druid
person user2611300    schedule 03.03.2015    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Можете ли вы опубликовать отрывок, иллюстрирующий, как это выглядит?

person user2611300    schedule 03.03.2015
comment
На самом деле я не реализовал никакого кода. Следовал примеру, упомянутому выше. - person user766353; 19.03.2015
comment
@ user766353 вот строка для добавления расширения s3: _1_ Я использую druid версии 0.6.173, убедитесь, что вы изменили ее на свою версию. - person user2611300; 19.03.2015
comment
2015-03-02T15: 03: 44,809 INFO [main] io.druid.guice.JsonConfigurator - Загруженный класс [class io.druid.query.QueryConfig] из свойств [druid.query.] Как [io.druid.query.QueryConfig @ 2edcd9d] 2015-03-02T15: 03: 44,843 INFO [main] io.druid.guice.JsonConfigurator - Загруженный класс [class io.druid.query.search.search.SearchQueryConfig] из props [druid.query.search.] как [io.druid.query.search.search.SearchQueryConfig@7939de8b] 2015-03-02T15: 03: 44,861 INFO [main] io.druid.guice.JsonConfigurator - Загруженный класс [class io.druid.query.groupby.GroupByQueryConfig ] из props [druid.query.groupBy.] как [io.druid.query.groupby.GroupByQueryConfig@bea8209] 2015-03-02T15: 03: 44,874 INFO [main] org.skife.config.ConfigurationObjectFactory - Назначение значения [100000000 ] для [druid.processing.buffer.sizeBytes] на [io.druid.query.DruidProcessingConfig # intermediateComputeSizeBytes ()] 2015-03-02T15: 03: 44,878 INFO [main] org.skife.config.ConfigurationObjectFactory - присвоение значения [2 ] для [друи d.processing.numThreads] в [io.druid.query.DruidProcessingConfig # getNumThreads ()] 2015-03-02T15: 03: 44,878 INFO [main] org.skife.config.ConfigurationObjectFactory - Использование самого метода для [$ {base_path} .columnCache.sizeBytes] в [io.druid.query.DruidProcessingConfig # columnCacheSizeBytes ()] 2015-03-02T15: 03: 44,880 INFO [main] org.skife.config.ConfigurationObjectFactory - Назначение значения по умолчанию [processing-% s] для [$ {base_path} .formatString] в [com.metamx.common.concurrent.ExecutorServiceConfig # getFormatString ()] 2015-03-02T15: 03: 44,956 INFO [main] io.druid.guice.JsonConfigurator - Загруженный класс [class io .druid.query.topn.TopNQueryConfig] из реквизита [druid.query.topN.] как [io.druid.query.topn.TopNQueryConfig@276503c4] 2015-03-02T15: 03: 44,960 INFO [main] io .druid.guice.JsonConfigurator - загруженный класс [класс io.druid.segment.loading.LocalDataSegmentPusherConfig] из свойств [druid.storage.] как [io.druid.segment.loading.LocalDataSegmentPusherConfig@360548eb] 2015-03-02T15: 03: 44,967 INFO [main] io.druid.guice.JsonConfigurator - загруженный класс [class io.druid.client.DruidServerConfig] из реквизита [druid.server.] Как [io.druid .client.DruidServerConfig @ 75ba7964] 2015-03-02T15: 03: 44,971 INFO [main] io.druid.guice.JsonConfigurator - Загруженный класс [class io.druid.server.initialization.BatchDataSegmentAnnouncerConfig] из props [druid.announcer.] как [io.druid.server.initialization.BatchDataSegmentAnnouncerConfig@1ff2a544] 2015-03-02T15: 03: 44,984 INFO [main] io.druid.guice. JsonConfigurator - загруженный класс [class io.druid.server.initialization.ZkPathsConfig] из свойств [druid.zk.paths.] Как [io.druid.server.initialization.ZkPathsConfig@58d3f4be] 2015-03-02T15: 03: 44,990 INFO [main] io.druid.guice.JsonConfigurator - загруженный класс [класс io.druid.curator.CuratorConfig] из свойств [druid.zk.service.] как [io.druid.curator.CuratorConfig@5fd11499] - person Anthony Elliott; 25.06.2015