Я пишу приложение для Hadoop, используя MrJob. Мне нужно использовать распределенный кеш для доступа к некоторым файлам. Я знаю, что в потоковой передаче Hadoop есть опция -files, но не знаю, как получить к ней доступ в программе.
Спасибо за вашу помощь.
Я думаю, вы должны использовать
mrjob.compat.supports_new_distributed_cache_options(версия)
А затем используйте -files и -archives вместо -cacheFile и -cacheArchive
Возможно, вы получите больше здесь
Вы должны читать файлы в своей программе так, как если бы файлы были доступны там сами по себе, то есть файл был локальным в том же каталоге, что и исполняемый код.
Я плохо разбираюсь в питоне, поэтому вот пример на рубине, mapper.rb:
begin
file = File.open("my-distributed-cache-file.txt")
while (line = file.gets)
# do something with your file
end
file.close
end
# Rest of mapper code
