Можно ли использовать реализацию apache-ignite rdd в pyspark?

Я использую apache spark для запуска некоторого кода данных python через pyspark. Я работаю в автономном режиме Spark с 7 узлами.

Можно ли использовать реализацию RDD apache-ignite в этой настройке? Дает ли это какое-то преимущество?

Большое спасибо


apache-spark pyspark ignite
person ThatDataGuy    schedule 25.04.2016    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Да, вы можете использовать Ignite в любом развертывании Spark. Пожалуйста, обратитесь к документации, чтобы лучше понять возможные преимущества: https://apacheignite-fs.readme.io/docs/ignite-for-spark

person Vladimir Ozerov    schedule 27.04.2016
comment
Могу ли я получить доступ к одному и тому же IgniteRDD из разных сеансов, созданных в разных приложениях, написанных на разных языках (в частности, java, scala и python)? (Задал новый вопрос здесь) - person anir; 02.04.2018