Примеры кратчайшего пути Giraph

У меня проблема с запуском данного примера SimpleShortestPathsComputation с файлом tiny_graph.txt. Я всегда застреваю в процессе уменьшения части после части карты. У меня всегда показывает 100% карты и 0% редуцированные и постоянно там висит. Тяжело искать решения в сети. Кто-нибудь сталкивался с этой проблемой? Кстати, у меня версия хаупа 1.2.1, а жирафа 1.1.0. Благодарю вас!


hadoop giraph
person Alfred    schedule 10.11.2014    source источник
comment
вы смотрели лог-файлы? поможет найти проблему   -  person peter    schedule 11.11.2014
comment
спасибо @peter за ваш ответ. так как я очень новичок во всем этом хаупе и жирафе, как я могу посмотреть файлы журнала? он просто продолжает висеть там. я понимаю, что giraph - это задание карты в хаупе, и оно продолжает висеть там после INFO mapred.JobClient: карта 100% уменьшить 0%. я пробовал использовать hadoop v0.20.203.0 с giraph 1.1.0, но результат тот же. Боюсь, я неправильно настроил.   -  person Alfred    schedule 14.11.2014
comment
Подожди секунду. что-то меняется. наконец я увидел что-то другое. прямо сейчас он показывает мне это: 14/11/14 22:27:20 INFO mapred.JobClient: карта 100% уменьшить 0% 14/11/14 22:36:37 INFO mapred.JobClient: карта 50% уменьшить 0% Может кто-нибудь объяснит мне, что происходит? жираф еще работает? почему так долго бежит? Спасибо.   -  person Alfred    schedule 14.11.2014

Ответы (1)


arrow_upward
0
arrow_downward

Проблема в том, что у Giraph нет редуктора, поэтому редюсер никогда не выполняется. Более того, процесс завершается, когда только все вершины делают VOTE TO HALT, чего никогда не происходит.

Вот быстрый патч для него. https://issues.apache.org/jira/browse/GIRAPH-756

Используя это, вы можете использовать узел (zk), который является узлом Apache Zookeeper, чтобы остановить процесс.

person Rishabh Wadhawan    schedule 17.11.2014