Могу ли я использовать Giraph, если у меня есть кластеры Spark и Cassandra, но нет кластеров Hadoop?
В настоящее время я использую GraphX и вместо этого хотел бы использовать Giraph. Возможно ли это, учитывая, что у меня есть кластеры Spark и я использую Cassandra?
Много лет назад у меня был лишь ограниченный опыт работы с Giraph, и я никогда не пытался использовать его за пределами кластера Hadoop. Но похоже, что то, что вы хотите, по крайней мере технически возможно, если не обязательно легко.
Этот code является дополнением к Practical Graph Analytics with Apache Giraph. Как видите, он требует Hadoop в пути к классам, например, для DoubleWritable и Text, но ничего не делает с кластером Hadoop. Вместо этого он работает с массивами в памяти. Похоже, все, что вам нужно сделать, это реализовать compute в BasicComputation class, чтобы делать с Cassandra все, что вам нужно, пока вы поддерживаете Hadoop в качестве зависимости, чтобы удовлетворить ограничения типов для BasicComputation.
Я никогда не находил Giraph ужасно интуитивным, но, надеюсь, вы сможете заставить эту нетрадиционную настройку работать.
