Я использовал способ преобразования коллекции в список и запроса длины:
s3 = boto3.resource('s3')
bucket = s3.Bucket('my_bucket')
size = len(list(bucket.objects.all()))
Однако это приводит к разрешению всей коллекции и в первую очередь сводит на нет преимущества использования коллекции. Есть лучший способ сделать это?
Невозможно получить количество ключей в корзине без перечисления всех объектов, это ограничение AWS S3 (см. https://forums.aws.amazon.com/thread.jspa?messageID=164220).
Получение сводок объектов (HEAD) не дает фактических данных, поэтому это должна быть относительно недорогая операция, и если вы просто отбрасываете список, вы можете сделать:
size = sum(1 for _ in bucket.objects.all())
Что даст вам количество объектов без построения списка.
size = sum(1 for _ in bucket.objects.filter(Prefix='my_key_prefix/'))
- person cheevahagadog; 19.05.2020
Заимствование из похожий вопрос, один из вариантов получения полного списка ключей объектов из корзины + префикс — использовать рекурсию с list_objects_v2.
Этот метод будет рекурсивно извлекать список ключей объекта, по 1000 ключей за раз.
Каждый запрос к list_objects_v2 использует аргумент StartAfter для продолжения списка ключей после последнего ключа из предыдущего запроса.
import boto3
if __name__ == '__main__':
client = boto3.client('s3',
aws_access_key_id = 'access_key',
aws_secret_access_key = 'secret_key'
)
def get_all_object_keys(bucket, prefix, start_after = '', keys = []):
response = client.list_objects_v2(
Bucket = bucket,
Prefix = prefix,
StartAfter = start_after
)
if 'Contents' not in response:
return keys
key_list = response['Contents']
last_key = key_list[-1]['Key']
keys.extend(key_list)
return get_all_object_keys(bucket, prefix, last_key, keys)
object_keys = get_all_object_keys('your_bucket', 'prefix/to/files')
print(len(object_keys))
В моем случае мне просто нужно было знать, пуста ли папка или нет.
s3 = boto3.client('s3')
response = s3.list_objects(
Bucket='your-bucket',
Prefix='path/to/your/folder/',
)
print(len(response['Contents']))
Этого было достаточно, чтобы узнать, пуста ли папка. Обратите внимание, что папка, созданная вручную в консоли S3, сама по себе может считаться ресурсом. В этом случае, если указанная выше длина больше 1, то «папка» S3 пуста.
