Вопросы по теме 'amazon-data-pipeline'
Нужно запустить bash-скрипт в aws datapipeline
мне нужно вызвать файл ruby с помощью сценария bash в конвейере данных aws
я пытался использовать командную активность оболочки с аргументами команды
JSON-файл
> {
> "objects": [
> {
>...
3459 просмотров
schedule
02.08.2023
Автоматизация активности Hive с помощью aws
Я хотел бы автоматизировать свой скрипт куста каждый день, для этого у меня есть опция, которая представляет собой конвейер данных. Но проблема в том, что я экспортирую данные из dynamo-db в s3 и с помощью сценария куста я манипулирую этими данными....
1636 просмотров
schedule
11.07.2023
S3 в формат входных данных Redshift
Я пытаюсь запустить простую цепочку s3-pipeline-redshift, но я полностью застрял с форматом входных данных. Вот мой файл:
1,Toyota Park,Bridgeview,IL 2,Columbus Crew Stadium,Columbus,OH 3,RFK Stadium,Washington,DC 4,CommunityAmerica...
11338 просмотров
schedule
24.10.2022
Планирование кластера EMR
Я создал и сохранил запросы с использованием HIVE и PIG, которые я хотел бы запланировать для выполнения на еженедельной основе. Сценарии создают файлы S3 и обновляют DynamoTables. Что можно использовать для создания кластера AmazonEMR для...
692 просмотров
schedule
13.01.2023
Поддержка AWS Data Pipeline для SQL Server RDS
Я пытаюсь найти документацию о поддерживаемом источнике данных для AWS Data Pipeline. Что мне нужно сделать, так это экспортировать данные SQL Server RDS в S3. Я нашел много документации, в которой говорится, что Data Pipeline может использовать RDS...
1983 просмотров
schedule
03.12.2022
Использование конвейера данных Amazon для резервного копирования данных DynamoDB на S3
Мне нужно сделать резервную копию данных таблицы DynamoDB на S3 с помощью конвейера данных Amazon.
Мой вопрос: могу ли я использовать один конвейер данных для резервного копирования нескольких таблиц DynamoDB на S3, или мне нужно создать отдельный...
5776 просмотров
schedule
05.01.2023
AWS: Другая функция, кроме КОПИРОВАНИЯ, путем передачи данных из S3 в Redshift с помощью amazon-data-pipeline
Я пытаюсь перенести данные из Amazon S3-Cloud в Amazon-Redshift с помощью инструмента Amazon-Data-Pipeline.
Возможно ли при передаче данных изменить данные с помощью e.G. оператор SQL, чтобы в Redshift вводились только результаты оператора SQL?...
2566 просмотров
schedule
15.05.2022
Все мои конвейеры данных AWS перестали работать с ошибкой проверки
Я использую конвейеры данных AWS для еженедельного автоматического резервного копирования таблиц Dynamodb в S3. Все мои конвейеры данных перестали работать две недели назад.
После некоторого расследования я вижу, что EMR терпит неудачу с «ошибкой...
374 просмотров
schedule
27.02.2023
распределенный запрос hive для объединения данных из локального кластера Hadoop и кластера Hadoop amazon s3
У меня есть определенный объем данных в локальном кластере Hadoop (в моей локальной сети), и у меня есть определенный объем данных в кластере Hadoop S3 в облаке Amazon. в обоих местах мои данные находятся в таблицах кустов.
Я хочу запустить запрос...
242 просмотров
schedule
18.04.2023
Ошибка конвейера данных в шаблоне из копии RDS в S3
Я использую шаблон, чтобы сделать копию. В узле данных «S3» я настроил пользовательский формат, поскольку данные моего столбца содержат «запятую».
Пользовательский формат данных, который я использую, имеет следующие свойства
Разделителем...
1646 просмотров
schedule
10.04.2024
удалить файлы s3 из конвейера AWS
Я хотел бы спросить о задаче обработки, которую я пытаюсь выполнить с помощью конвейера данных в AWS, но мне не удалось заставить ее работать.
По сути, у меня есть 2 узла данных, представляющих 2 базы данных MySQL, из которых предполагается...
3237 просмотров
schedule
19.06.2023
Передача файлов между S3 и EC2 с помощью AWS Data Pipeline
Я хочу передать ТБ данных с S3 на сервер Windows EC2, а затем обратно, что займет пару часов при использовании базового команда AWS CLI Copy . Чтобы ускорить работу, я хочу использовать конвейер данных AWS и графику в конвейер данных AWS...
2014 просмотров
schedule
01.04.2023
Ограничение ресурсов EC2, используемых конвейером данных AWS во время резервного копирования таблиц DynamoDB.
Мне нужно делать резервные копии 6 таблиц DynamoDB каждые пару часов. Я создал 6 конвейеров из шаблонов, и все работало отлично, за исключением того, что было создано 6 или более виртуальных машин, которые в основном не работали. Это не та экономия,...
1324 просмотров
schedule
06.10.2022
Сохраняйте существующие файлы при загрузке таблицы красного смещения с помощью конвейера aws
Я настраиваю конвейер AWS для загрузки таблицы красного смещения с данными из файла JSON S3.
Я использую RedshiftActivity, и все было хорошо, пока я не попытался настроить метод загрузки KEEP_EXISTING. Я действительно не хочу усекать свою таблицу...
284 просмотров
schedule
17.01.2023
Чтение файла внутри S3 из экземпляра EC2
Я хотел бы использовать AWS Data Pipeline для запуска экземпляра EC2, а затем запустить скрипт Python, который хранится в S3.
Является ли это возможным? Я хотел бы сделать один шаг ETL, используя скрипт Python.
Это лучший способ?
333 просмотров
schedule
24.01.2023
Журналы Data Pipeline S3 не записываются (записываются только при использовании Amazon Linux)
С одинаковой точной конфигурацией конвейера данных, отличающейся только используемым AMI (Amazon Linux и Ubuntu), выполнение моего конвейера данных будет успешным в обоих случаях, но он будет записывать журналы в S3 только при использовании Амазон...
710 просмотров
schedule
31.12.2023
Использование AWS Pipeline для ночной загрузки данных
У меня есть следующий процесс, который запускается каждую ночь:
Получить XML с FTP-сервера
Преобразуйте XML с помощью ряда XSLT в XML, отформатированный для MySql.
Загрузите новый XML с помощью команды mysql «LOAD XML».
Я читал о...
692 просмотров
schedule
10.03.2023
Дублирование таблицы DynamoDB через конвейер данных с неполным дублированием
У меня есть таблица DynamoDB размером 14,05 ГБ с 140000000 элементов. Я пытаюсь клонировать его (в тот же регион) с помощью конвейера данных, но таблица назначения содержит только около 160 000 элементов, когда конвейер завершен, и я жду 6 часов,...
1078 просмотров
schedule
28.09.2023
Сервис AWS Data Pipeline создает новый экземпляр ec2
Я создал новый DataPipeline для остановки некоторых экземпляров, например, помеченных как auto-stop/auto-start .
Моя команда выглядит так:
aws ec2 describe-instances --region us-west-2 --filter "Name=tag:auto-stop,Values=yes"...
1009 просмотров
schedule
23.06.2023
Конвейер данных AWS
Мне не удалось найти примеры передачи аргументов скрипта в действие sql в конвейере. Пробовал некоторые варианты, такие как передача аргументов напрямую и использование их через $1, но, похоже, ничего не работает. Если у кого-то это работает, было...
399 просмотров
schedule
13.09.2022
