Публикации по теме 'aws-data-pipeline'


Конвейер данных ИИ
Компании создают обширные репозитории необработанных данных, обычно называемые озерами данных. Они являются как историческими, так и актуальными. Для доступа к этим данным и их обработки требуются эффективные механизмы и инструменты. Чтобы проиллюстрировать это, профессор Массачусетского технологического института Эрик Бриньолфссон провел исследование, в ходе которого выяснилось, что фирмы, использующие решения, основанные на данных, на 5 % более продуктивны и прибыльны, чем..

Вопросы по теме 'aws-data-pipeline'

Загрузить CSV-файл из S3 в RDS Mysql с помощью конвейера данных AWS
Я новичок в AWS, пытаюсь загрузить данные из файла csv в RDS MySQL, используя шаблон конвейера данных «загрузить данные S3 в таблицу RDS mysql». Но появляется ошибка «DriverClass не найден для базы данных: aurora». Пытался установить свойство JDBC...
928 просмотров

Неразрешенные зависимости ресурсов [DefaultSchedule] в блоке "Ресурсы" шаблона
Я работаю с облачным скриптом для создания AWS Data Pipeline. Я создал сценарий в соответствии с документацией, но столкнулся с 1 ошибкой, т.е. Ошибка проверки шаблона: ошибка формата шаблона: неразрешенные зависимости ресурсов...
2272 просмотров

Разрешения для создания тома EBS и присоединения его к EC2Resource i AWS Data Pipeline
Мне нужно больше локального диска, чем доступно для EC2Resources в AWS Data Pipline. Кажется, самым простым решением является создание и присоединение тома EBS. Я добавил политики EC2: CreateVolume и EC2: AttachVolume как в...
1042 просмотров

Состояние вставки AWS DataPipeline с помощью SQLActivity
Я ищу способ записать состояние конвейера в таблицу БД. Предполагая, что это очень распространенный вариант использования. Есть ли способ, где я могу записать статус и время завершения всего трубопровода. статус и время завершения выбранных...
86 просмотров

AWS Data Pipeline и пошаговые функции
Я работаю над проблемой, когда мы собираемся выполнить несколько преобразований данных с помощью EMR (SparkSQL). Изучив документацию по AWS Data Pipelines и AWS Step Functions, я немного смущен тем, какой вариант использования каждый пытается...
5431 просмотров

Как интегрировать Github с каталогом данных в AWS Glue
Этот вопрос касается каталога данных AWS Glue. Я хочу построить такой процесс: Подключите Github к каталогу данных AWS Glue -> Запрос на извлечение кода каталога данных (источник) -> Слияние -> Отражение измененного кода в каталоге данных AWS...
631 просмотров

AWS Data Pipeline: загрузка CSV-файла из S3 в DynamoDB
Я пытаюсь перенести данные CSV из S3 в DynamoDB с помощью Data Pipeline. Данные находятся не в формате экспорта DynamoDB, а в обычном CSV. Я понимаю, что Data Pipeline чаще используется для импорта или экспорта формата DynamoDB, а не для...
425 просмотров

Параметр тега имени конвейера данных AWS для ресурса EC2
Я запускаю действие оболочки в образце ресурса EC2 json для создания ресурса EC2. { "id" : "MyEC2Resource", "type" : "Ec2Resource", "actionOnTaskFailure" : "terminate", "actionOnResourceFailure" : "retryAll", "maximumRetries" : "1",...
136 просмотров

Миграция данных с S3 на RDS
Я работаю над требованием, в котором я выполняю многократную загрузку файла csv с локального сервера в S3 Bucket. Чтобы добиться этого с помощью AWS Lambda, я создаю заранее заданный URL-адрес и использую этот URL-адрес. Я загружаю файл csv....
435 просмотров

Код ошибки создания конвейера данных AWS: превышена скорость регулирования
Изображение ошибки 1 -> https://i.stack.imgur.com/16YSg.png Изображение ошибки 2 — https://i.stack.imgur.com/4bZkU.png
68 просмотров

Как экспортировать таблицу AWS DynamoDB в S3 Bucket?
У меня есть таблица DynamoDB с 1,5 миллионами записей / 2 ГБ. Как экспортировать это на S3? Метод конвейера данных AWS для этого работал с небольшой таблицей. Но у меня возникли проблемы с экспортом таблицы 1,5 миллиона записей на мой S3. В моем...
353 просмотров

Как создать правило Amazon Event Bus для обработки события AWS Data Pipeline?
У нас есть конвейер данных AWS, который копирует данные из S3 в Redshift ( RedshiftCopyActivity ). Мы хотим вызвать лямбда-функцию после завершения копирования. На данный момент я понимаю: Amazon Event Bus - это рекомендуемый способ...
112 просмотров