здесь я создал хранилище данных с помощью инструментов ETL. Не тратя слишком много времени на введение, давайте перейдем к процессам, чтобы запачкать руки.
Чтобы сделать это на вашем локальном компьютере, вам необходимо установить следующие требования на свой компьютер.
Выбранный здесь набор данных является транзакционными данными оператора IDA. Этот набор данных содержит столбец проекта Заемщик, номер его кредитной карты, страну, регион, а также сведения о проекте, который был куплен Заемщиком. Также он включает в себя некоторые сторонние детали. кроме того, он имеет первую дату погашения, последнюю дату погашения, дату соглашения, дату утверждения советом директоров и т. д.
Этот набор данных CSV-типа содержит несколько секторов столбца. Я прикрепил файлы csv к этому документу.
Это то, что мы называем хранилищем данных. Для создания хранилища данных у нас есть следующая архитектура.
Здесь я использовал файл source as my csv для загрузки в базу данных.
Промежуточная область или зона приземления — это промежуточная область хранения, используемая для обработки данных в процессе извлечения, преобразования и загрузки (ETL). Область промежуточного хранения данных находится между источником (источниками) данных и целевыми объектами данных, которыми часто являются хранилища данных, витрины данных или другие хранилища данных. Инструмент ETL означает извлечение нагрузки передачи. Это позволит извлечь данные из источников данных, передать и загрузить их в хранилище данных.
Теперь мы рассмотрим, как загрузить данные из источника данных в хранилище данных.
Проектирование и разработка хранилища данных
Здесь я использовал CSV-файл в качестве источника данных для загрузки в хранилище данных.
Звездная схема
Данные могут храниться в одной таблице, в которой атрибуты повторяются в каждой строке (например, источник для сводной таблицы Excel). Однако это заняло бы гораздо больше места и усложнило бы управление измерениями. Таким образом, звездообразная схема очень хорошо отображает структуру таблицы и уменьшает избыточность данных.
Вот моя звездная схема для моего набора данных. Он содержит таблицы фактов и многомерные таблицы. Таблица фактов содержит внешние ключи других таблиц измерений. Также он включает в себя значения зависимых столбцов, которые взаимодействуют с другими размерными таблицами. Таблицы измерений содержат описательные атрибуты.
Откройте диспетчер конфигурации сервера отчетов и нажмите «Пуск». Этот инструмент помогает нам настраивать параметры и конфигурации службы отчетов SQL Server.
Затем перейдите к опции базы данных, затем нажмите на опцию изменения базы данных.
Затем нажмите «Создать новую базу данных сервера отчетов». После этого нажмите «Следующая опция».
Затем оставьте параметры по умолчанию и нажмите на следующий вариант.
Снова оставьте параметры по умолчанию и нажмите на следующий вариант.
Затем нажмите «Применить».
Затем откройте студию управления сервером Microsoft SQL, чтобы создать базу данных. Затем нажмите «Подключить».
Чтобы создать новый проект, перейдите в файловую систему, щелкните новый файл и щелкните, чтобы открыть новый проект.
Затем выберите каталог и сохраните проект, используя свое желаемое имя.
Нажмите на опцию «База данных» после этого создайте базу данных.
Дайте имя для вашей базы данных и нажмите ОК
Затем разверните таблицу, чтобы создать новую таблицу.
Затем создайте другой столбец для моих ранее упорядоченных таблиц измерений.
Здесь я установил свой Region_IDS в качестве первичного ключа размерной таблицы моего региона.
Следующие изображения созданы для других размерных таблиц.
Затем создайте таблицу фактов, поместив первичный ключ многомерных таблиц в таблицу фактов в качестве внешнего ключа.
Затем посмотрите, как мы собираемся связать этот первичный ключ с таблицей фактов.
Щелкните правой кнопкой мыши значение, которое вы хотите сделать внешним ключом, и нажмите «Отношения».
Нажмите на добавить
Затем нажмите на символ показывает «…»
Здесь вы должны установить значение первичного ключа размерной таблицы, а с другой стороны вы должны определить, какое значение вы собираетесь проверять в таблице внешнего ключа.
Так же, как и для других значений
создавать инструменты ETL для использования Visual Studio
Сначала вам нужно установить службу интеграции с сервером Sql, используя расширение управления.
Затем создайте новый проект, используя проект службы интеграции.
Затем нажмите на слой управления потоком и выберите задачу потока данных на боковой панели и перетащите ее на рабочее место. Если хотите, переименуйте. И снова дважды щелкните по нему. Это позволит извлечь файл данных из источника в место назначения.
Затем на боковой панели выберите плоский файл и перетащите его в рабочий процесс. И переименовать. затем дважды щелкните, чтобы открыть его.
Затем нажмите на новый
Затем выберите файл csv, который вы хотите загрузить.
На боковой панели выберите диалог «Данные» и перетащите его в рабочий процесс. Затем переименуйте его и дважды щелкните, чтобы открыть его.
Здесь вы можете выбрать столбец данных, а также изменить тип данных.
Теперь здесь я использовал инструменты поиска для сравнения исходных данных и данных назначения. Он отфильтровывает совпадающие и несовпадающие данные в определенных местах назначения. В моей складской таблице у меня есть 5-мерная таблица и одна таблица фактов. Чтобы убедиться, что инициализированы и вставлены значения в таблицу фактов и таблицу измерений. Я использовал инструмент «Поиск», чтобы вставить значение из исходного файла в таблицу измерений. Первичный ключ многомерных таблиц был присвоен внешней таблице фактов.
ключ. Чтобы сослаться на первичный ключ таблиц измерений во внешний ключ таблицы фактов, я должен сопоставить столбец источника, который соответствует таблице измерений. Итак, шаги следующие.
Здесь я использовал файловый менеджер flate для передачи типа столбца источника данных в тот, который соответствует типу данных столбца назначения. Здесь на этом рисунке я сделал для одного столбца то же самое, что и для других оставшихся столбцов.
Теперь дважды щелкните «Поиск здесь». Затем выберите свой сервер, размерную таблицу, затем щелкните столбец для сопоставления. Сопоставьте соответствующий столбец из источника с столбцом назначения. Затем проверьте первичный ключ, на который нужно ссылаться в таблице фактов. То же самое вы должны сделать для других размерных таблиц.
Использовать поиск соединений для совпадения выходных данных
Затем выберите пункт назначения OLE DB на боковой панели и перетащите его в рабочий процесс. Затем измените его имя. затем дважды щелкните, чтобы открыть его.
Затем нажмите на новый
Затем выберите имя сервера и имя базы данных.
Затем нажмите «Сопоставления» и соедините соответствующие столбцы из источников с целевым столбцом.
Заполнить данными размерную таблицу
Затем снова создайте новый файл. Затем нажмите на слой управления потоком и выберите задачу потока данных на боковой панели и перетащите ее на рабочее место. затем дважды щелкните по нему. Поместите плоский файл на слой потока данных. Затем используйте инструмент Multicast из инструментов SSIS. Он может заполнять данные в одном или нескольких пунктах назначения. Здесь я использовал пять де
Затем сопоставьте каждый столбец из источника с таблицами измерений следующим образом.
Затем дважды щелкните слой потока данных и нажмите кнопку «Выполнить».
Теперь я выполнил команду SQL, чтобы получить обновленные данные в таблице измерений региона.
Затем выполните предыдущий поток плоского файла
Затем я использовал команду SQL для получения заполненных данных плоского файла.
Теперь вы можете видеть на изображении выше, что набор данных из CSV-файла был успешно загружен в плоский файл и другие таблицы измерений.
Надеюсь, вы поняли, как загрузить данные из структуры базы данных OLTP в структуру базы данных OLAP.
Первоначально опубликовано на https://www.blackkeyhole.com.
