Как интегрировать CEPH с Amazon-S3?

Я пытаюсь адаптировать проект с открытым исходным кодом mmfashion на Amazon SageMaker, для которого требуется CEPH для серверной части. К сожалению, pip install ceph не работает. Единственным выходом было собрать исходный код ceph вручную, запустив в моем контейнере:

!git clone git://github.com/ceph/ceph 
!git submodule update --init --recursive

Это позволяет мне успешно импортировать ceph. Но он выдает следующую ошибку, когда дело доходит до обработки данных из Amazon S3:

AttributeError: module 'ceph' has no attribute 'S3Client'

Кто-нибудь интегрировал CEPH с Amazon S3 Bucket или у него есть предложения по решению этой проблемы?


ceph amazon-s3 amazon-sagemaker cephfs cephadm
person Sayon Kumar Saha    schedule 14.02.2021    source источник

Ответы (1)


arrow_upward
0
arrow_downward

вы можете использовать ceph S3 API для подключения к корзинам AWS, вот простой пример скрипта Python для подключения к любому S3 API:

import boto
import boto.s3.connection
access_key = 'put your access key here!'
secret_key = 'put your secret key here!'

conn = boto.connect_s3(
        aws_access_key_id = access_key,
        aws_secret_access_key = secret_key,
        host = 'objects.dreamhost.com',
        #is_secure=False,               # uncomment if you are not using ssl
        calling_format = boto.s3.connection.OrdinaryCallingFormat(),
        )

тогда вы сможете перечислить ведра:

for bucket in conn.get_all_buckets():
        print "{name}\t{created}".format(
                name = bucket.name,
                created = bucket.creation_date,
        )
person Norbert_Cs    schedule 16.02.2021