Пакетная вставка Apache Camel SQL занимает много времени

Я использую процесс пакетной вставки Apache Camel SQL.

  1. Мое приложение считывает билеты из Active MQ, который содержит около 2000 билетов.

  2. Я обновил партию как 100.

  3. Запрос, который я запускаю, выглядит следующим образом:

    sql.subs.insertCdr= insert into subscription_logs(master_id,request_type,req_desc,msisdn,amount,status,resp_code,resp_desc,channel,transaction_id,se_mode,be_mode,sub_type,sub_timeleft,srv_name,srv_id,start_date,end_date,operator,circle,country,time_offset,retry_count,user_status,previous_state,se_reqrecvtime,se_respsenttime,be_reqsenttime,be_resprecvtime,cp_id,cp_name,sub_srvname,sub_srvid,msg_senderid,msg_text,call_back_url,call_back_resp,client_ip,se_sysIp,language,cp_callbackurlhittime,action,alert,notification_url,notification_resp) values(:#masterId, :#requestType,:#reqDesc,:#msisdnCdr,:#price,:#status,:#responseCode,:#reason,:#channel,:#transactionId,:#seMode,:#beMode,:#subType,:#subTimeLeft,:#serviceName,:#serviceId,:#subStartDate,:#cdrEndDate,:#operator,:#circle,:#country,:#timeOffset,:#retryCount,:#userStatus,:#previousState,:#seReqRecvTime,:#seRespSentTime,:#beReqSentTime,:#beRespRecvTime,:#cpId,:#cpName,:#subServiceName,:#subServiceId,:#shortCode,:#message,:#callBackUrl,:#callBackResp,:#clientIp,:#seSysIp,:#language,:#cpCallbackUrlHitTime,:#action,:#alert,:#notificationUrl,:#notificationResponse)

  4. Пакетный маршрут SQL определяется следующим образом:

    <pipeline>
       <log message="Going to insert in database"></log>
       <transform>
          <method ref="insertionBean" method="subsBatchInsertion"></method>
       </transform>
       <choice>
           <when>
               <simple>${in.header.subsCount} == ${properties:batch.size}</simple>
               <to uri="sql:{{sql.subs.insertCdr}}?batch=true"></to>
               <log message="Inserted rows ${body}"></log>
           </when>
       </choice>
    </pipeline>
    
  5. Ниже мой код Java:

    public List<Map<String, Object>> subsBatchInsertion(Exchange exchange) {
    if (subsBatchCounter > batchSize) {
        subsPayLoad.clear();
        subsBatchCounter = 1;
    }
    subsPayLoad.add(generateInsert(exchange.getIn().getBody(SubscriptionCdr.class)));
    exchange.getIn().setHeader("subsCount", subsBatchCounter);
    subsBatchCounter++;
    return subsPayLoad;
    }
    
    public Map<String, Object> generateInsert(Cdr cdr) {
    Map<String, Object> insert = new HashMap<String, Object>();
    try {
        insert = BeanUtils.describe(cdr);
    } catch (Exception e) {
        Logger.sysLog(LogValues.error, this.getClass().getName()+" | "+Thread.currentThread().getStackTrace()[1].getMethodName(), coreException.GetStack(e));
    } 
    for (String name : insert.keySet()) {
        Logger.sysLog(LogValues.APP_DEBUG, this.getClass().getName(), name + ":"+ insert.get(name) + "\t");
    }
    return insert;
    }
    

Теперь проблема заключается в том, что когда в ActiveMQ около 120 билетов, пакет SQL должен был начать вставлять значения в базу данных. Но это занимает намного больше времени. Он начинает процесс вставки, когда в ActiveMQ имеется около 500 билетов. Кто-нибудь может помочь в оптимизации процесса прошивки? Или любой другой подход?


person KayV    schedule 26.10.2016    source источник


Ответы (1)


Проблема была с номерами потребителей ActiceMQ.

Когда я изменил количество потребителей обратно на 1, пакет обновился вовремя.

На самом деле, когда число потребителей равнялось 10, билеты потреблялись параллельно. Это означает, что на 100 тикетов, потребленных от activemq с 10 потребителями, приходится примерно 10 тикетов на каждого потребителя, что добавляет больше времени. Когда любой из потребителей получал 100 тикетов, партия обновлялась.

Таким образом, изменение числа потребителей на 1 привело к тому, что все билеты обрабатывались одним потребителем, и, таким образом, пакетное обновление выполнялось нормально.

person KayV    schedule 07.11.2016