копирование файлов с удаленного сервера на s3 не показывает статус в корзине s3

Я загружаю почти 7 ТБ файлов и папок с моего удаленного сервера в корзину s3, но я не вижу никаких файлов в корзине s3. только несколько файлов, которые я вижу на s3, были успешно скопированы.

У меня есть один сервер ec2, на котором я установил ведро s3 с помощью этого ссылка

на удаленном сервере я использую следующий сценарий. Я также протестировал этот скрипт, и он отлично работал для файлов небольшого размера.

rsync -uvPz --recursive -e "ssh -i /tmp/key.pem" /eb_bkup/OMCS_USB/* [email protected]:/tmp/tmp/s3fs-demo/source/backups/eb/ >> /tmp/log.txt &

Файл журнала, который я генерирую, показывает мне, что файлы копируются, и вся соответствующая информация, такая как скорость передачи, имя файла и т. Д. Но в ведре s3 я не вижу ни одного файла после копирования первого.

Размер каждого файла составляет от 500 МБ до 25 ГБ.

Почему я не вижу эти файлы на S3?


person Sohaib Mustafa    schedule 06.11.2020    source источник


Ответы (2)


Amazon S3 - это служба хранения объектов, а не файловая система. Я рекомендую вам использовать интерфейс командной строки (CLI) AWS для копирования файлов, а не монтировать S3 как диск.

Интерфейс командной строки AWS включает идеально подходящую команду aws s3 sync для вашей цели - он синхронизирует файлы между двумя местоположениями. Итак, если что-то не удается, вы можете запустить его повторно, и он не будет копировать файлы, которые уже были скопированы.

person John Rotenstein    schedule 06.11.2020
comment
У меня есть ограничения. Я не могу установить aws cli на исходный экземпляр, поэтому я смонтировал исходный каталог на ec2 с помощью sshfs, но из-за сбоя сети монтирования исчезают, и иногда он показывает мне ошибку из-за невозможности найти конечную точку. - person Sohaib Mustafa; 07.11.2020

Итак, проблема, с которой я столкнулся, заключалась в том, что rsync копировал файлы на целевой ec2 и сначала создавал временный файл, а затем записывал его через корзину S3. Итак, выполнялось несколько заданий rsync, и локальное хранилище томов ebs на сервере EC2 было заполнено. Вот почему rsync не мог создавать временные файлы и продолжал копировать / записывать в сокет.

person Sohaib Mustafa    schedule 16.11.2020