Публикации по теме 'aws-data-pipeline'
Конвейер данных ИИ
Компании создают обширные репозитории необработанных данных, обычно называемые озерами данных. Они являются как историческими, так и актуальными. Для доступа к этим данным и их обработки требуются эффективные механизмы и инструменты. Чтобы проиллюстрировать это, профессор Массачусетского технологического института Эрик Бриньолфссон провел исследование, в ходе которого выяснилось, что фирмы, использующие решения, основанные на данных, на 5 % более продуктивны и прибыльны, чем..
Вопросы по теме 'aws-data-pipeline'
Загрузить CSV-файл из S3 в RDS Mysql с помощью конвейера данных AWS
Я новичок в AWS, пытаюсь загрузить данные из файла csv в RDS MySQL, используя шаблон конвейера данных «загрузить данные S3 в таблицу RDS mysql». Но появляется ошибка «DriverClass не найден для базы данных: aurora». Пытался установить свойство JDBC...
928 просмотров
schedule
24.12.2023
Неразрешенные зависимости ресурсов [DefaultSchedule] в блоке "Ресурсы" шаблона
Я работаю с облачным скриптом для создания AWS Data Pipeline. Я создал сценарий в соответствии с документацией, но столкнулся с 1 ошибкой, т.е.
Ошибка проверки шаблона: ошибка формата шаблона: неразрешенные зависимости ресурсов...
2272 просмотров
schedule
18.08.2022
Разрешения для создания тома EBS и присоединения его к EC2Resource i AWS Data Pipeline
Мне нужно больше локального диска, чем доступно для EC2Resources в AWS Data Pipline. Кажется, самым простым решением является создание и присоединение тома EBS.
Я добавил политики EC2: CreateVolume и EC2: AttachVolume как в...
1042 просмотров
schedule
11.06.2022
Состояние вставки AWS DataPipeline с помощью SQLActivity
Я ищу способ записать состояние конвейера в таблицу БД. Предполагая, что это очень распространенный вариант использования. Есть ли способ, где я могу записать
статус и время завершения всего трубопровода.
статус и время завершения выбранных...
86 просмотров
schedule
21.11.2022
AWS Data Pipeline и пошаговые функции
Я работаю над проблемой, когда мы собираемся выполнить несколько преобразований данных с помощью EMR (SparkSQL).
Изучив документацию по AWS Data Pipelines и AWS Step Functions, я немного смущен тем, какой вариант использования каждый пытается...
5431 просмотров
schedule
16.12.2022
Как интегрировать Github с каталогом данных в AWS Glue
Этот вопрос касается каталога данных AWS Glue.
Я хочу построить такой процесс:
Подключите Github к каталогу данных AWS Glue -> Запрос на извлечение кода каталога данных (источник) -> Слияние -> Отражение измененного кода в каталоге данных AWS...
631 просмотров
schedule
16.10.2022
AWS Data Pipeline: загрузка CSV-файла из S3 в DynamoDB
Я пытаюсь перенести данные CSV из S3 в DynamoDB с помощью Data Pipeline. Данные находятся не в формате экспорта DynamoDB, а в обычном CSV.
Я понимаю, что Data Pipeline чаще используется для импорта или экспорта формата DynamoDB, а не для...
425 просмотров
schedule
22.03.2023
Параметр тега имени конвейера данных AWS для ресурса EC2
Я запускаю действие оболочки в образце ресурса EC2 json для создания ресурса EC2.
{
"id" : "MyEC2Resource",
"type" : "Ec2Resource",
"actionOnTaskFailure" : "terminate",
"actionOnResourceFailure" : "retryAll",
"maximumRetries" : "1",...
136 просмотров
schedule
31.10.2022
Миграция данных с S3 на RDS
Я работаю над требованием, в котором я выполняю многократную загрузку файла csv с локального сервера в S3 Bucket.
Чтобы добиться этого с помощью AWS Lambda, я создаю заранее заданный URL-адрес и использую этот URL-адрес. Я загружаю файл csv....
435 просмотров
schedule
16.04.2022
Код ошибки создания конвейера данных AWS: превышена скорость регулирования
Изображение ошибки 1 -> https://i.stack.imgur.com/16YSg.png
Изображение ошибки 2 — https://i.stack.imgur.com/4bZkU.png
68 просмотров
schedule
05.04.2023
Как экспортировать таблицу AWS DynamoDB в S3 Bucket?
У меня есть таблица DynamoDB с 1,5 миллионами записей / 2 ГБ. Как экспортировать это на S3?
Метод конвейера данных AWS для этого работал с небольшой таблицей. Но у меня возникли проблемы с экспортом таблицы 1,5 миллиона записей на мой S3.
В моем...
353 просмотров
schedule
01.03.2022
Как создать правило Amazon Event Bus для обработки события AWS Data Pipeline?
У нас есть конвейер данных AWS, который копирует данные из S3 в Redshift ( RedshiftCopyActivity ).
Мы хотим вызвать лямбда-функцию после завершения копирования.
На данный момент я понимаю:
Amazon Event Bus - это рекомендуемый способ...
112 просмотров
schedule
27.06.2022