как добавить управление кешем в AWS S3?

Попробуйте текущую главную ветку восходящего потока (https://github.com/s3tools/s3cmd), так как она теперь есть команда modify, используемая следующим образом:

./s3cmd --recursive modify --add-header="Cache-Control:max-age=86400" s3://yourbucket/

Также с собственным клиентом AWS:

aws s3 sync /path s3://yourbucket/ --cache-control max-age=604800

В моем ведре есть файлы в форматах mp4, jpg и другие. Файлы, которые я хотел обновить, хранятся во «вспомогательной корзине» (например, https://s3.amazonaws.com/my.bucket/sub-directory/my-video.mp4). В моем случае я хотел обновить только управление кешем для файлов mp4:

aws s3 cp \
   s3://my.bucket/sub-directory/ s3://my.bucket/sub-directory/ \
   --exclude '*.jpg' --exclude '*.png' \
   --cache-control 'max-age=31104000' \
   --recursive

Чтобы проверить, что это будет делать, вы можете использовать флаг --dryrun:

aws s3 cp --dryrun \
   s3://my.bucket/sub-directory/ s3://my.bucket/sub-directory/ \
   --exclude '*.jpg' --exclude '*.png' \
   --cache-control 'max-age=31104000' \
   --recursive

Чтобы настроить метаданные, такие как управление кешем для объекта в S3, без необходимости его повторной загрузки и без использования каких-либо сторонних инструментов, вы можете сделать следующее с помощью интерфейса командной строки AWS. Он копирует объект в себя, заменяя метаданные выбранными вами настройками:

aws s3api copy-object --copy-source <bucket-name>/<file> --bucket <bucket-name> --key <file> --metadata-directive REPLACE --cache-control "max-age=3600"

Обработайте эту команду в find, чтобы сделать это с существующим набором файлов, который уже существует в корзине, как вы упомянули:

find . -type f -exec aws s3api copy-object --copy-source <bucket-name>/{} --bucket <bucket-name> --key {} --metadata-directive REPLACE --cache-control "max-age=3600"

замените <bucket-name> названием вашего ведра

ПРЕДУПРЕЖДЕНИЕ: это перезапишет все ваши существующие метаданные в файлах, таких как acl, просто добавьте в команду дополнительные флаги, чтобы установить то, что вам нужно, например, --acl public-read, чтобы предоставить полный общедоступный доступ. (спасибо @jackson)

Если вы хотите избежать использования сторонних инструментов, а это разовая задача, вы можете использовать консоль AWS.

1. Перейдите к своему ведру s3
2. Выберите все объекты, которые хотите изменить
3. Нажмите Действия -> Изменить метаданные.
4. Выберите Cache-Control для ключа, введите любой элемент управления, который хотите, в качестве значения
5. Сохранять

PUT / ObjectName HTTP/1.1 
Host: BucketName .s3.amazonaws.com 
Date: date 
x-amz-meta-Cache-Control : max-age= <value in seconds> 
Authorization: signatureValue 

Каждый параметр метаданных содержит пару "ключ-значение". Ключ метаданных управления кешем - «Cache-Control», а значение - “max-age=<time for which you want your object to be accessed from cache in seconds>”.

Вы можете установить настраиваемый заголовок управления кешем для объектов Amazon S3, отправив HTTP-запрос PUT на сервер Amazon S3 с соответствующими заголовками двумя способами:

Задайте метаданные управления кешем с помощью Amazon S3 REST API PUT Object Request. Если вы программист, вы можете написать свою собственную программу для использования Amazon S3 REST или SOAP API для установки пользовательских заголовков с помощью PUT Object Request. Этот веб-сайт относится только к API-интерфейсам REST Amazon S3. Подробные сведения об использовании API-интерфейсов SOAP см. На веб-сайте документации AWS. Установите метаданные управления кешем с помощью пользовательского интерфейса Bucket Explorer. Если вам нравится настраивать пользовательские HTTP-заголовки, такие как Cache Control, с помощью щелчков мыши вместо написания программы, вы можете использовать для этого пользовательский интерфейс Bucket Explorer. С помощью этого настраиваемого заголовка HTTP вы можете указать поведение кэширования, которому должна следовать цепочка запросов / ответов, и предотвратить вмешательство кешей в запрос или ответ.

для получения дополнительной информации проверьте Как установить заголовок управления кешем для объекта Amazon S3?`

(Поскольку OP попросил другой способ)

Вы также можете сделать это через aws-cli, например. (v: aws-cli/1.8.8 Python/2.7.2 Darwin/12.5.0):

aws s3api put-object \
--bucket mybucket \
--key my/key \
--cache-control max-age=1 \
--body myfile.txt

Хотя учтите, что вы перепишете любой существующий объект.

Это, честно говоря, лучший способ избежать ошибок, упомянутых в других ответах:

aws s3 cp s3://my-bucket/ s3://my-bucket/ --recursive --metadata-directive REPLACE \
--expires 2034-01-01T00:00:00Z --acl public-read --cache-control max-age=2592000,public

Просто обновите s3cmd до версии 1.5.1, и проблема исчезнет.

Еще один очень простой способ сделать это - использовать браузер S3: http://s3browser.com/ Вы можете просто щелкните с зажатой клавишей Shift или ctrl + a, чтобы выбрать все нужные изображения; затем просто перейдите на вкладку «Заголовки HTTP» и нажмите «Добавить новый заголовок», а затем «Применить изменения». Он автоматически сохранил все мои другие разрешения и заголовки.

Если вы много используете S3; В любом случае это прекрасное приложение, особенно если у вас огромные загрузки (нет ничего лучше в мире ftp, dropbox или других!)