WebHDFS и SequenceFiles

Правда ли, что WebHDFS не поддерживает SequenceFiles?

Я не могу найти ничего, что говорит, что это так. У меня обычная проблема с небольшим файлом, и я считаю, что SequenceFiles будет работать достаточно хорошо, но мне нужно использовать WebHDFS. Мне нужно создать, а затем добавить к SequenceFile через WebHDFS.


person gcr    schedule 24.02.2014    source источник


Ответы (1)


Я думаю, это правда. Нет веб-API для добавления к файлу последовательности.

Однако вы можете добавлять двоичные данные, и если ваш файл последовательности не сжат по блокам, вы сможете форматировать свои данные на клиенте с относительно небольшими усилиями. Вы можете сделать это, запустив ввод через средство записи файла последовательности на клиенте, а затем используя вывод для загрузки (либо весь файл, либо фрагмент, представляющий дельту с момента последнего добавления).

Подробнее о формате файла последовательности можно прочитать здесь.

person Daniel S.    schedule 25.02.2014