Хранилище BLOB-объектов Azure и хранилище файлов HDF

Я занимаюсь разработкой облачного сервера, и мне нужно хранить файлы HDF (http://www.hdfgroup.org/HDF5/) с использованием хранилища BLOB-объектов.

Функции, связанные с созданием, чтением, записью и изменением элементов данных в файле, поступают из API-интерфейсов HDF.

Мне нужно получить путь к файлу, чтобы создать файл, прочитать или записать его.

Кто-нибудь может сказать мне, как создать собственный файл в Azure Blob?

Мне нужно иметь возможность использовать API, как показано ниже, но передавая путь к хранилищу Azure файлу. http://davis.lbl.gov/Manuals/HDF5-1.4.3/Tutor/examples/C/h5_crtfile.c

Эти файлы, которые я пытаюсь создать, могут быть действительно огромными ~ 10-20 ГБ, поэтому загрузка их локально и изменение для меня не вариант.

Спасибо

Шаши


azure blob hdf5
person coolshashi    schedule 21.12.2012    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Один из возможных подходов, который, по общему признанию, сопряжен с проблемами, - это создать файл во временном расположении с использованием кода, который вы включили, а затем использовать Azure API для загрузки файла в Azure в качестве входного потока файла. Я занимаюсь исследованием того, как ограничения размера обрабатываются в хранилище Azure, поэтому я не могу сказать, можно ли переместить весь файл размером 10-20 ГБ за одну операцию загрузки, но поскольку API Azure считывает из входного потока, вы должен иметь возможность создавать комбинацию операций, в результате которых необходимая информация будет храниться в хранилище Azure.

person user2072506    schedule 14.02.2013

arrow_upward
0
arrow_downward

Кто-нибудь может сказать мне, как создать собственный файл в Azure Blob?

Мне нужно иметь возможность использовать API, как показано ниже, но передавая путь к хранилищу Azure файлу. http://davis.lbl.gov/Manuals/HDF5-1.4.3/Tutor/examples/C/h5_crtfile.c

Хранилище BLOB-объектов Windows Azure - это служба для хранения больших объемов неструктурированных данных, к которым можно получить доступ через HTTP или HTTPS. Таким образом, с точки зрения приложения, Azure Blob не работает как обычный диск.

Microsoft предоставляет неплохой API ( c #, Java) для работы с хранилищем BLOB-объектов. Они также предоставляют REST API службы BLOB-объектов для доступа к BLOB-объектам с любого другого языка (где конкретный API-интерфейс хранилища BLOB-объектов не предоставляется, как C ++).

Одноблочный BLOB-объект может иметь размер до 200 ГБ, поэтому он должен легко хранить файлы размером ~ 10-20 ГБ.

Боюсь, что приведенный пример не будет работать с Windows Azure Blob. Однако я не знаю файлового хранилища HDF; возможно, они предоставляют некоторую поддержку хранилища BLOB-объектов Azure.

person Tom    schedule 21.12.2012