Я тестирую свою установку Giraph кластера с одним узлом, используя пример PageRankBenchmark, следующим образом:
$HADOOP_HOME/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/giraph-examples-1.1.0-for-hadoop-2.4.0-jar-with-dependencies.jar org.apache.giraph.benchmark.PageRankBenchmark -v -V 1000 -e 1 -s 5 -w 1
Но после того, как мапперы завершат свою работу, редукторы не запустятся (карта 100% редукция 0%, судя по консоли). Это подходящее поведение для этого алгоритма?
Если маппер запускается, редюсер должен начать принимать выходные данные карты в качестве входных данных и закончить работу (по крайней мере, во многих других реализациях алгоритма PageRank в Интернете всегда есть «Редуктор»). Но я гуглил, и всегда пример жирафа PageRankBenchmark заканчивается на Уменьшить на 0% в нескольких результатах этого алгоритма, запущенных другими людьми.
Итак, я не сейчас, если это нормально, в PageRankBenchmark, и я надеюсь, что кто-то может мне помочь здесь;)
Я использую Hadoop 2.4 с профилем Phadoop_yarn и Giraph 1.1.0.
Согласно нескольким другим вопросам, которые я читал, основная проблема с проблемой «Уменьшить зависание на 0%», вероятно, находится в журнале картографов, но я ничего там не нахожу (я их тоже прилагаю).
Вот мои журналы:
Ваше здоровье!
