Учебник Giraph Пример задания ShortestPath не работает

Я изучаю краткое руководство по Apache Giraph: http://giraph.apache.org/quick_start.html и успешно настроили псевдораспределенный кластер hadoop и успешно выполнили примеры заданий mapreduce.

Однако при переходе к разделу Giraph я установил Giraph с помощью maven и по какой-то причине не могу запустить простейшие задания Giraph.

Я добавил tiny_graph в свои hdfs, но запустил их примерную команду:

hduser@fonz-VirtualBox:~/Giraph$ $HADOOP_HOME/bin/hadoop jar /usr/local/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-1.2.1-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hduser/input/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/output/shortestpaths -w 1

Дает мне:

14/12/18 11:19:27 INFO utils.ConfigurationUtils: No edge input format specified. Ensure your InputFormat does not require one.
14/12/18 11:19:27 INFO utils.ConfigurationUtils: No edge output format specified. Ensure your OutputFormat does not require one.
14/12/18 11:19:28 INFO job.GiraphJob: run: Since checkpointing is disabled (default), do not allow any task retries (setting mapred.map.max.attempts = 1, old value = 4)
14/12/18 11:19:31 INFO job.GiraphJob: Tracking URL: http://hdnode01:50030/jobdetails.jsp?jobid=job_201412171202_0010
14/12/18 11:19:31 INFO job.GiraphJob: Waiting for resources... Job will start only when it gets all 2 mappers
14/12/18 11:20:59 INFO job.HaltApplicationUtils$DefaultHaltInstructionsWriter: writeHaltInstructions: To halt after next superstep execute: 'bin/halt-application --zkServer fonz-virtualbox:22181 --zkNode /_hadoopBsp/job_201412171202_0010/_haltComputation'
14/12/18 11:20:59 INFO mapred.JobClient: Running job: job_201412171202_0010
14/12/18 11:21:00 INFO mapred.JobClient:  map 100% reduce 0%
14/12/18 11:30:16 INFO mapred.JobClient:  map 50% reduce 0%
14/12/18 11:30:24 INFO mapred.JobClient: Job complete: job_201412171202_0010
14/12/18 11:30:24 INFO mapred.JobClient: Counters: 6
14/12/18 11:30:24 INFO mapred.JobClient:   Job Counters 
14/12/18 11:30:24 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=1244789
14/12/18 11:30:24 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
14/12/18 11:30:24 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
14/12/18 11:30:24 INFO mapred.JobClient:     Launched map tasks=2
14/12/18 11:30:24 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0
14/12/18 11:30:24 INFO mapred.JobClient:     Failed map tasks=1

Буду очень признателен за любые идеи относительно того, почему это не удалось!

Спасибо большое.

Будут


shortest-path giraph
person WillJones    schedule 18.12.2014    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Пример кратчайшего пути не имеет основного метода и использует жестко запрограммированный идентификатор источника, равный 1, для запуска алгоритма. Поэтому голосов за остановку после 100% карты нет. Перейдите на страницу https://www.youtube.com/watch?v=yEHeJhMXJy0 и обновите файл sssp.java и экспортируйте его в новую банку. Затем запустите его. Я столкнулся с той же проблемой, и она исправлена.

person Rishabh Wadhawan    schedule 23.12.2014
comment
Привет Ришаб, спасибо за ответ и ссылку. Выполнил то, что изложено в видео, то есть добавил код в следующем комментарии к файлу SimpleShortestPathsVertex.java, а затем все перестроил, но все равно получаю ту же ошибку! - person WillJones; 24.12.2014
comment
открытый класс SimpleShortestPathsComputation расширяет BasicComputation‹ LongWritable, DoubleWritable, FloatWritable, DoubleWritable› { private static long startVertexId; public static void main(String[] args) { startVertexId = Long.valueOf(args[0]); /** Идентификатор кратчайшего пути / public static final LongConfOption SOURCE_ID = new LongConfOption(SimpleShortestPathsVertex.sourceId, startVertexId, Идентификатор кратчайшего пути); /* Регистратор классов */ private static final Logger LOG = Logger.getLogger(SimpleShortestPathsComputation.class); - person WillJones; 24.12.2014
comment
Я думаю, вам нужно использовать средство запуска для запуска кода Giraph. Но это тоже должно работать. Ваша система все еще зависает даже после реализации основного метода. - person Rishabh Wadhawan; 30.01.2015
comment
@Rishabh Wadhawan, не могли бы вы помочь мне решить эту проблему: .com/questions/29106353/ - person Trung Bún; 17.03.2015
comment
Не могли бы вы показать мне весь скриншот того, что вы получили на терминале, потому что я вижу, что нет никаких ошибок, но есть информация, которая в основном похожа на предупреждения. Пожалуйста, скажите мне, что именно вы получаете на терминале. Покажи все подряд. - person Rishabh Wadhawan; 18.03.2015
comment
Можете ли вы также предоставить мне команду, которую вы набрали для запуска своего примера задания жирафа. - person Rishabh Wadhawan; 18.03.2015

arrow_upward
0
arrow_downward

При загрузке Hadoop загрузите hadoop-0.20.205.0.tar.gz вместо hadoop-0.20.203.0rc1.tar.gz, чтобы избежать ошибки Failed map tasks=1.

person Man    schedule 09.02.2020