Публикации по теме 'minio'
Асинхронная распределенная платформа машинного обучения
В этой статье будет проиллюстрирована конвейерная служба машинного обучения для обучения модели машинного обучения.
Эта платформа состоит из следующих сервисов:
Успокоительный веб-сервис с использованием FASTAPI CELERY для решения задач машинного обучения Цветок для мониторинга ML Jobs Mysql как база данных для хранения событий и результатов моделирования RabbitMQ как брокер для CELERY Minio для хранения наборов данных и обученных моделей Joblib
Давайте построим это:..
Вопросы по теме 'minio'
Минио: Как политика корзины связана с анонимным/авторизованным доступом?
В Minio есть политики для каждое ведро . Который содержит:
Только для чтения
WriteOnly
Чтение + запись
Никто
Как это связано с анонимным/авторизованным доступом к папкам? Например, я хочу сделать кучу файлов доступными только для...
26466 просмотров
schedule
10.03.2023
Как сохранить затертые символы в имени файла
Я создавал веб-сайт, на котором пользователь может загружать файлы на aws-s3 , minio и azure-storage , все работает нормально,
Но когда мой клиент загружает файлы с именем, содержащим такие символы,...
98 просмотров
schedule
10.06.2023
Не удается загрузить файл через перевозчиков тумана в minio (docker-compose)
Возникает ошибка Excon::Error::Socket (getaddrinfo: Имя или служба неизвестна (SocketError)) при попытке загрузить файл через перевозчиков тумана в minio.
Докер сочиняет
version: '3'
services:
minio:
image: minio/minio
deploy:...
777 просмотров
schedule
12.05.2022
Поддерживает ли Minio проверку типа MIME?
Поддерживает ли Minio проверку типа MIME? Например, при загрузке файла пользователь может указать, какой MIME-тип должен быть для этого файла. Затем Minio анализирует этот файл и, если он правильный (например, действительное изображение), сохраняет,...
1990 просмотров
schedule
07.02.2023
Создайте папку внутри корзины в minio с помощью JAVA SDK
В документации Minio JAVA SDK четко не указано, как создать папку внутри корзины.
Может ли кто-нибудь помочь мне с этим запросом?
Заранее спасибо!
7004 просмотров
schedule
19.05.2022
Доступ к объекту на сервере minio с помощью javascript
У меня работает сервер minio S3, который я пытаюсь использовать в качестве внутреннего хранилища для небольшого igv.js веб-служба, работающая в образе докера.
Я ищу способ создать общий URL-адрес объекта в корзине S3 из javascript/php, чтобы...
1136 просмотров
schedule
02.04.2024
Чтение нескольких файлов в ведре minio с помощью Spark
Я пытаюсь прочитать несколько файлов с помощью Spark. Файлы являются файлами avro и хранятся в корзине Minio с именем datalake.
Я использую: Spark 2.2.1, скомпилированный без hasoop
Minio (последний докер minio / minio)
2 пакета:...
1638 просмотров
schedule
12.04.2023
Невозможно загрузить файл по ссылке для загрузки, созданной minio
У меня есть серверная часть, которая возвращает ссылку для загрузки через сервер minio, когда вызов API выполняется в конечной точке, /attachments в моем случае. Это обработчик POST в бэкенде.
@POST
@Consumes({MediaType.APPLICATION_JSON})...
609 просмотров
schedule
03.03.2023
Как получить актуальное изображение или видео с сервера minio
Я загрузил несколько изображений и видео на сервер minio ( https://play.minio.io:9000 ) из моего клиента Android. Теперь я смог загрузить загруженный контент из этой папки. Я вижу, что содержимое не является реальным изображением/видео, вместо...
824 просмотров
schedule
30.10.2022
Как получить список объектов из корзины s3, отсортированных по отметке времени последнего изменения, с помощью API minio-go?
Я просмотрел документацию minio-go-api. Но не получил никакого решения для этого, так как объекты сортируются в алфавитном порядке.
Хак-способ будет заключаться в том, чтобы сначала прочитать все объекты, а затем взять дату последнего изменения...
2638 просмотров
schedule
20.06.2023
Клиент Minio Python: загрузка байтов напрямую
Я прочитал документы minio и увидел два способа загрузки данных:
put_object() для этого нужен поток ввода-вывода
fput_object() читает файл на диске
Я хочу протестировать minio и загрузить некоторые данные, которые я только что создал с...
5406 просмотров
schedule
29.09.2023
Джанго: get_or_create() и FileField
Мне очень нравятся методы get_or_create() и update_or_create() .
Похоже, они не работают с FielField .
Если я попробую это:
blob, created = Blob.objects.get_or_create(name='foo2',...
560 просмотров
schedule
01.07.2023
Как я могу истечь сгенерированной ссылкой для скачивания на S3
Я знаю, что мы можем сгенерировать ключ загрузки для объекта с определенным сроком действия. Но как я могу аннулировать уже сгенерированный ключ вручную?
Представьте, что я получаю подтверждение от клиента, который успешно загрузил файл, поэтому я...
504 просмотров
schedule
01.01.2023
Проблема с подключением Hive к локальному Minio S3
Я настроил свой локальный сервер S3 с помощью Minio. Я могу получить доступ к файлам, хранящимся в нем, из Spark, следуя эти шаги . Но если я попытаюсь настроить Hive для доступа к внешнему паркетному файлу, хранящемуся на этом сервере, я получаю...
754 просмотров
schedule
09.12.2023
Отслеживание использования файлов в Minio
Есть ли способ отслеживать использование файлов в хранилище Minio?
Если бы я мог запустить скрипт (который будет хранить и периодически записывать информацию об использовании файлов в базу данных), то я мог бы найти файлы, которые не использовались...
43 просмотров
schedule
28.03.2024
MinIO AWS CLI через контроллер nginx-ingress
Запуск MinIO ( https://docs.min.io/ ) в kubernetes 1.12. Я не могу запускать команды aws cli через nginx-ingress. Команды отлично работают при переадресации портов непосредственно в службу kubernetes.
Пытался
proxy_set_header Host...
295 просмотров
schedule
18.11.2022
target=_blank не работает с атрибутом загрузки
Я использую, как показано ниже:
<a [href]="pdfSrc" target="_blank" download="pdfName">Download</a>
тогда как pdfSrc исходит из ответа API, и это мини-ссылка. Если я использую образец файла .pdf, target="_blank" открывается, но...
3557 просмотров
schedule
26.01.2023
Модуль Spin-front50 аварийно завершает работу при развертывании Spinnaker на Kubernetes с Minio в качестве хранилища
Я пытаюсь развернуть Spinnaker в Kubernetes с Minio в качестве хранилища, которое также работает в Kubernetes. Теперь модуль spin-front50 не запускается и вылетает. Глядя на журналы pod, он терпит неудачу с
Вызвано:...
403 просмотров
schedule
04.06.2023
Артефакты Argo выдают ошибку http: сервер дал HTTP-ответ клиенту HTTPS
Я настраивал Argo в своем кластере k8s в пространстве имен Argo.
Я также установил MinIO в качестве репозитория артефактов ( https://github.com/argoproj/argo/blob/master/ARTIFACT_REPO.md ).
Я настраиваю рабочий процесс, который пытается получить...
828 просмотров
schedule
02.06.2023
Обработка потоковых данных с использованием производителей-потребителей с 1 синхронным производителем
У меня есть приложение со следующим рабочим процессом.
Пользователи загружают файл json на основе строк (каждая строка является записью) с помощью minio .
Затем они отправляют запрос приложения для его обработки.
Затем приложение начинает...
45 просмотров
schedule
19.03.2023