Построение потока данных с помощью SSIS

Я работаю с SSIS уже несколько месяцев, я пытаюсь реализовать поток данных, чтобы заменить последовательность задач SQL, используемых для некоторого преобразования данных.

Описание потока данных:

Источник :

Каждая строка дает информацию об потребленной энергии (X) в течение нескольких дней (Y).

Пункт назначения :

Энергия, потребляемая в День 1 (X/Y), День 2 (X/Y), День 3 (X/Y), .....

Любые идеи о том, как реализовать такую ​​логику в одном потоке данных.

Большое спасибо.

Ясин.


person Yacine    schedule 23.07.2013    source источник
comment
Не могли бы вы опубликовать свои входные и выходные данные?   -  person Anoop Verma    schedule 23.07.2013
comment
Данные слишком большие, на самом деле их трудно разместить в Интернете.   -  person Yacine    schedule 23.07.2013


Ответы (1)


Если я правильно понимаю, что вы делаете, вам нужна одна задача потока данных, которая будет обрабатывать необходимые алгоритмы, которые используются перед сохранением данных, а это означает, что, только в качестве примера, у нас может быть количество энергии данные и данные о дате, и мы хотели бы хранить данные о количестве энергии, разделенные на номер дня в году.

Одним из подходов к этому может быть Derived Column между источником и получателем, где мы могли бы применять математические функции к нашим существующим данным. Я делал это с данными о погоде раньше, где был добавлен дополнительный столбец, в котором вычислялось значение, которое будет сохранено вместе с конкретным днем, температурой и прогнозом на основе последних двух.

Другой возможный подход — OLE DB Command, но обратите внимание (согласно SSIS):

Выполняет оператор [a] SQL для каждой строки в потоке данных. Например, вызовите хранимую процедуру «настройка нового сотрудника» для каждой строки в таблице «новые сотрудники». Примечание. Выполнение оператора [a] SQL для каждой строки большого потока данных может занять много времени.

person Question3CPO    schedule 23.07.2013
comment
Действительно, у меня есть проблема с производительностью существующих операторов SQL. Использование производного столбца не может сделать это для меня, поскольку количество столбцов, добавляемых в поток данных, является динамическим (если у меня есть 20 дней потребления, мне нужно получить 20 дополнительных строк, если у меня есть 30 дней, мне нужно 30 дополнительных). , ....) Есть ли возможность создавать новые строки с помощью компонента сценариев потока данных? Если да, я думаю, что это был бы единственный способ для меня делать то, что я хочу. - person Yacine; 24.07.2013