Публикации по теме 'minio'


Асинхронная распределенная платформа машинного обучения
В этой статье будет проиллюстрирована конвейерная служба машинного обучения для обучения модели машинного обучения. Эта платформа состоит из следующих сервисов: Успокоительный веб-сервис с использованием FASTAPI CELERY для решения задач машинного обучения Цветок для мониторинга ML Jobs Mysql как база данных для хранения событий и результатов моделирования RabbitMQ как брокер для CELERY Minio для хранения наборов данных и обученных моделей Joblib Давайте построим это:..

Вопросы по теме 'minio'

Минио: Как политика корзины связана с анонимным/авторизованным доступом?
В Minio есть политики для каждое ведро . Который содержит: Только для чтения WriteOnly Чтение + запись Никто Как это связано с анонимным/авторизованным доступом к папкам? Например, я хочу сделать кучу файлов доступными только для...
26466 просмотров
schedule 10.03.2023

Как сохранить затертые символы в имени файла
Я создавал веб-сайт, на котором пользователь может загружать файлы на aws-s3 , minio и azure-storage , все работает нормально, Но когда мой клиент загружает файлы с именем, содержащим такие символы,...
98 просмотров

Не удается загрузить файл через перевозчиков тумана в minio (docker-compose)
Возникает ошибка Excon::Error::Socket (getaddrinfo: Имя или служба неизвестна (SocketError)) при попытке загрузить файл через перевозчиков тумана в minio. Докер сочиняет version: '3' services: minio: image: minio/minio deploy:...
777 просмотров
schedule 12.05.2022

Поддерживает ли Minio проверку типа MIME?
Поддерживает ли Minio проверку типа MIME? Например, при загрузке файла пользователь может указать, какой MIME-тип должен быть для этого файла. Затем Minio анализирует этот файл и, если он правильный (например, действительное изображение), сохраняет,...
1990 просмотров
schedule 07.02.2023

Создайте папку внутри корзины в minio с помощью JAVA SDK
В документации Minio JAVA SDK четко не указано, как создать папку внутри корзины. Может ли кто-нибудь помочь мне с этим запросом? Заранее спасибо!
7004 просмотров
schedule 19.05.2022

Доступ к объекту на сервере minio с помощью javascript
У меня работает сервер minio S3, который я пытаюсь использовать в качестве внутреннего хранилища для небольшого igv.js веб-служба, работающая в образе докера. Я ищу способ создать общий URL-адрес объекта в корзине S3 из javascript/php, чтобы...
1136 просмотров
schedule 02.04.2024

Чтение нескольких файлов в ведре minio с помощью Spark
Я пытаюсь прочитать несколько файлов с помощью Spark. Файлы являются файлами avro и хранятся в корзине Minio с именем datalake. Я использую: Spark 2.2.1, скомпилированный без hasoop Minio (последний докер minio / minio) 2 пакета:...
1638 просмотров
schedule 12.04.2023

Невозможно загрузить файл по ссылке для загрузки, созданной minio
У меня есть серверная часть, которая возвращает ссылку для загрузки через сервер minio, когда вызов API выполняется в конечной точке, /attachments в моем случае. Это обработчик POST в бэкенде. @POST @Consumes({MediaType.APPLICATION_JSON})...
609 просмотров
schedule 03.03.2023

Как получить актуальное изображение или видео с сервера minio
Я загрузил несколько изображений и видео на сервер minio ( https://play.minio.io:9000 ) из моего клиента Android. Теперь я смог загрузить загруженный контент из этой папки. Я вижу, что содержимое не является реальным изображением/видео, вместо...
824 просмотров
schedule 30.10.2022

Как получить список объектов из корзины s3, отсортированных по отметке времени последнего изменения, с помощью API minio-go?
Я просмотрел документацию minio-go-api. Но не получил никакого решения для этого, так как объекты сортируются в алфавитном порядке. Хак-способ будет заключаться в том, чтобы сначала прочитать все объекты, а затем взять дату последнего изменения...
2638 просмотров
schedule 20.06.2023

Клиент Minio Python: загрузка байтов напрямую
Я прочитал документы minio и увидел два способа загрузки данных: put_object() для этого нужен поток ввода-вывода fput_object() читает файл на диске Я хочу протестировать minio и загрузить некоторые данные, которые я только что создал с...
5406 просмотров
schedule 29.09.2023

Джанго: get_or_create() и FileField
Мне очень нравятся методы get_or_create() и update_or_create() . Похоже, они не работают с FielField . Если я попробую это: blob, created = Blob.objects.get_or_create(name='foo2',...
560 просмотров
schedule 01.07.2023

Как я могу истечь сгенерированной ссылкой для скачивания на S3
Я знаю, что мы можем сгенерировать ключ загрузки для объекта с определенным сроком действия. Но как я могу аннулировать уже сгенерированный ключ вручную? Представьте, что я получаю подтверждение от клиента, который успешно загрузил файл, поэтому я...
504 просмотров
schedule 01.01.2023

Проблема с подключением Hive к локальному Minio S3
Я настроил свой локальный сервер S3 с помощью Minio. Я могу получить доступ к файлам, хранящимся в нем, из Spark, следуя эти шаги . Но если я попытаюсь настроить Hive для доступа к внешнему паркетному файлу, хранящемуся на этом сервере, я получаю...
754 просмотров
schedule 09.12.2023

Отслеживание использования файлов в Minio
Есть ли способ отслеживать использование файлов в хранилище Minio? Если бы я мог запустить скрипт (который будет хранить и периодически записывать информацию об использовании файлов в базу данных), то я мог бы найти файлы, которые не использовались...
43 просмотров
schedule 28.03.2024

MinIO AWS CLI через контроллер nginx-ingress
Запуск MinIO ( https://docs.min.io/ ) в kubernetes 1.12. Я не могу запускать команды aws cli через nginx-ingress. Команды отлично работают при переадресации портов непосредственно в службу kubernetes. Пытался proxy_set_header Host...
295 просмотров
schedule 18.11.2022

target=_blank не работает с атрибутом загрузки
Я использую, как показано ниже: <a [href]="pdfSrc" target="_blank" download="pdfName">Download</a> тогда как pdfSrc исходит из ответа API, и это мини-ссылка. Если я использую образец файла .pdf, target="_blank" открывается, но...
3557 просмотров
schedule 26.01.2023

Модуль Spin-front50 аварийно завершает работу при развертывании Spinnaker на Kubernetes с Minio в качестве хранилища
Я пытаюсь развернуть Spinnaker в Kubernetes с Minio в качестве хранилища, которое также работает в Kubernetes. Теперь модуль spin-front50 не запускается и вылетает. Глядя на журналы pod, он терпит неудачу с Вызвано:...
403 просмотров
schedule 04.06.2023

Артефакты Argo выдают ошибку http: сервер дал HTTP-ответ клиенту HTTPS
Я настраивал Argo в своем кластере k8s в пространстве имен Argo. Я также установил MinIO в качестве репозитория артефактов ( https://github.com/argoproj/argo/blob/master/ARTIFACT_REPO.md ). Я настраиваю рабочий процесс, который пытается получить...
828 просмотров
schedule 02.06.2023

Обработка потоковых данных с использованием производителей-потребителей с 1 синхронным производителем
У меня есть приложение со следующим рабочим процессом. Пользователи загружают файл json на основе строк (каждая строка является записью) с помощью minio . Затем они отправляют запрос приложения для его обработки. Затем приложение начинает...
45 просмотров
schedule 19.03.2023