как кластеризовать wso2am-analytics-2.0.0

Мы собираем wso2am в режиме кластера. Есть ли документ о создании кластера wso2am-analytics? Я пытался использовать wso2das, ссылка ниже. https://docs.wso2.com/display/DAS310/Working+with+Product+Specific+Analytics+Profiles

Но получите ошибку, как показано ниже

TID: [-1234] [] [2016-12-09 15:00:00,101] ERROR {org.wso2.carbon.analytics.spark.core.AnalyticsTask} -  Error while executing the scheduled task for the script: APIM_LATENCY_BREAKDOWN_STATS {org.wso2.carbon.analytics.spark.core.AnalyticsTask}
org.wso2.carbon.analytics.spark.core.exception.AnalyticsExecutionException: Exception in executing query CREATE TEMPORARY TABLE APIMGT_PERHOUR_EXECUTION_TIME USING CarbonAnalytics OPTIONS(tableName "ORG_WSO2_APIMGT_STATISTICS_PERHOUREXECUTIONTIMES", schema "    year INT -i, month INT -i, day INT -i, hour INT -i, context STRING, api_version STRING, api STRING, tenantDomain STRING,    apiPublisher STRING, apiResponseTime DOUBLE, securityLatency DOUBLE, throttlingLatency DOUBLE, requestMediationLatency DOUBLE, responseMediationLatency DOUBLE,    backendLatency DOUBLE, otherLatency DOUBLE, firstEventTime LONG, _timestamp LONG -i",    primaryKeys "year, month, day, hour, context, api_version, tenantDomain, apiPublisher",    incrementalProcessing "APIMGT_PERHOUR_EXECUTION_TIME, DAY",    mergeSchema "false")
        at org.wso2.carbon.analytics.spark.core.internal.SparkAnalyticsExecutor.executeQueryLocal(SparkAnalyticsExecutor.java:764)
        at org.wso2.carbon.analytics.spark.core.internal.SparkAnalyticsExecutor.executeQuery(SparkAnalyticsExecutor.java:721)
        at org.wso2.carbon.analytics.spark.core.CarbonAnalyticsProcessorService.executeQuery(CarbonAnalyticsProcessorService.java:201)
        at org.wso2.carbon.analytics.spark.core.CarbonAnalyticsProcessorService.executeScript(CarbonAnalyticsProcessorService.java:151)
        at org.wso2.carbon.analytics.spark.core.AnalyticsTask.execute(AnalyticsTask.java:60)
        at org.wso2.carbon.ntask.core.impl.TaskQuartzJobAdapter.execute(TaskQuartzJobAdapter.java:67)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:213)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.RuntimeException: Unknown options : incrementalprocessing
        at org.wso2.carbon.analytics.spark.core.sources.AnalyticsRelationProvider.checkParameters(AnalyticsRelationProvider.java:123)
        at org.wso2.carbon.analytics.spark.core.sources.AnalyticsRelationProvider.setParameters(AnalyticsRelationProvider.java:113)
        at org.wso2.carbon.analytics.spark.core.sources.AnalyticsRelationProvider.createRelation(AnalyticsRelationProvider.java:75)
        at org.wso2.carbon.analytics.spark.core.sources.AnalyticsRelationProvider.createRelation(AnalyticsRelationProvider.java:45)
        at org.apache.spark.sql.execution.datasources.ResolvedDataSource$.apply(ResolvedDataSource.scala:158)
        at org.apache.spark.sql.execution.datasources.CreateTempTableUsing.run(ddl.scala:92)
        at org.apache.spark.sql.execution.ExecutedCommand.sideEffectResult$lzycompute(commands.scala:58)
        at org.apache.spark.sql.execution.ExecutedCommand.sideEffectResult(commands.scala:56)
        at org.apache.spark.sql.execution.ExecutedCommand.doExecute(commands.scala:70)
        at org.apache.spark.sql.execution.SparkPlan$$anonfun$execute$5.apply(SparkPlan.scala:132)
        at org.apache.spark.sql.execution.SparkPlan$$anonfun$execute$5.apply(SparkPlan.scala:130)
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150)
        at org.apache.spark.sql.execution.SparkPlan.execute(SparkPlan.scala:130)
        at org.apache.spark.sql.execution.QueryExecution.toRdd$lzycompute(QueryExecution.scala:55)
        at org.apache.spark.sql.execution.QueryExecution.toRdd(QueryExecution.scala:55)
        at org.apache.spark.sql.DataFrame.<init>(DataFrame.scala:145)
        at org.apache.spark.sql.DataFrame.<init>(DataFrame.scala:130)
        at org.apache.spark.sql.DataFrame$.apply(DataFrame.scala:52)
        at org.apache.spark.sql.SQLContext.sql(SQLContext.scala:817)
        at org.wso2.carbon.analytics.spark.core.internal.SparkAnalyticsExecutor.executeQueryLocal(SparkAnalyticsExecutor.java:760)
        ... 11 more

======================================================

Любое предложение будет оценено!


wso2-am wso2-das
person Angus    schedule 09.12.2016    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Просто чтобы понять, о чем вы спрашиваете. Используете ли вы DAS или wso2am-analytics, поставляемые вместе с wso2am-2.0.0?

Если вы используете wso2am-2.0.0 вместе с wso2das-3.1.0, возникает проблема со сценариями искровой аналитики, которые поставляются с DAS.

Это связано с использованием дополнительной обработки. IncrementalProcessing следует изменить на IncrementalParams.

Вы можете видеть, что это было исправлено wso2 здесь, но не выпущен еще.

Вы можете обновить сценарии из углеродной консоли DAS в разделе main/Batch Analytics/scripts.

person Björn Johanson    schedule 12.12.2016
comment
Большое спасибо, я использую wso2am-analytics. Другой вопрос, есть ли документ о чистке данных аналитики? Нам нужны данные аналитики puge, но мы храним сводные данные в statdb. Согласно этим документам docs.wso2.com/display/AM191/ - person Angus; 14.12.2016
comment
Каков ваш шаблон распределения и/или кластеризации? Вы запускаете wso2am-analytics как единый узел вместе с wso2am-2.0.0 или он кластеризован? Не совсем уверен насчет очистки, извините. Но если я правильно помню, данные по умолчанию хранятся в течение 2 недель, а затем автоматически очищаются. - person Björn Johanson; 14.12.2016
comment
Я запускаю wso2am-analytics в режиме высокой доступности в соответствии с этим документом docs.wso2.com/display/CLUSTER44x/ После запуска нагрузочного теста база данных "WSO2_ANALYTICS_EVENT_STORE_DB" увеличилась примерно на 500 МБ. Итак, есть ли какая-либо конфигурация, которая может очищать данные, чтобы предотвратить исчерпание дискового пространства. Большое спасибо!! - person Angus; 15.12.2016
comment
Попробуйте это руководство, если вы этого не сделали. ПРЕДОСТЕРЕЖЕНИЕ: Будьте осторожны, удаляйте только те таблицы, которые вам нужны. У меня не было времени попробовать это самому, но я должен сделать трюк docs.wso2.com/display/DAS310/ - person Björn Johanson; 15.12.2016

arrow_upward
0
arrow_downward

Спасибо за ваш ответ!! Нам нужно хранить сводные данные в statdb, поэтому какую таблицу следует очистить? Я нашел ссылку, как показано ниже http://www.rukspot.com/Publishing_APIM_1100_Runtime_Statistics_to_DAS.html Он упомянул, что просто очистите таблицу ниже

ORG_WSO2_APIMGT_STATISTICS_DESTINATION

ORG_WSO2_APIMGT_STATISTICS_FAULT

ORG_WSO2_APIMGT_STATISTICS_REQUEST

ORG_WSO2_APIMGT_STATISTICS_RESPONSE

ORG_WSO2_APIMGT_STATISTICS_WORKFLOW

ORG_WSO2_APIMGT_STATISTICS_THROTTLE

person Angus    schedule 16.12.2016