Цель состоит в том, чтобы gsutil анонимно копировал с s3:// на gs://.
Boto поддерживает анонимные подключения s3, но я не уверен, как заставить gsutil использовать метод анонимного подключения.
Я добавил это в ~/.boto безуспешно. Он по-прежнему ожидает определения [Credentials] для AWS:
[s3]
anon = True
Есть опыт/совет?
Это ошибка gsutil — анонимная аутентификация используется только в том случае, если нет доступных учетных данных (для gs или s3).
Если вы анонимно читаете из s3:// и анонимно пишете (в общедоступную для записи корзину) в gs://, вы можете просто запустить без файла ~/.boto, и он будет работать.
Если вам нужно объединить анонимные и учетные запросы, например, анонимное чтение в s3 при записи в закрытую корзину GCS, вам нужно дождаться исправления для эта проблема Github.
Кроме того, если вы хотите скопировать большое количество данных из S3 в GS, вы можете попробовать Служба передачи GCS (хотя я не думаю, что она поддерживает анонимный доступ к S3). Это позволит вам копировать, не отправляя биты через вашу машину.
