Все ли библиотеки кластерных вычислений совместимы со звездным кластером?

У меня есть многопоточное приложение, работающее на Amazon EC2. Я бы преобразовал это приложение в кластер на EC2. Я хотел бы использовать для этого звездный кластер, так как им легко управлять.

Однако я новичок в кластерных/распределенных вычислениях. Погуглив я нашел следующий список библиотек python для кластерных вычислений:

http://wiki.python.org/moin/ParallelProcessing (см. раздел кластерных вычислений)

Я хотел бы знать, будут ли все библиотеки работать со звездным скоплением. Есть ли что-то, о чем мне нужно помнить, например, о зависимости при выборе библиотеки, поскольку я хочу, чтобы приложение работало со звездным кластером?


python cluster-computing parallel-processing starcluster
person Nithin    schedule 12.02.2013    source источник

Ответы (1)


arrow_upward
1
arrow_downward

По сути, StarCluster — это инструмент, помогающий вам управлять кластером. Он может добавлять/удалять узлы, устанавливать их в группу размещения и безопасности, регистрировать их в Open Grid Scheduler и т. д. Вы также можете легко создавать команды и плагины, которые помогут вам в работе.

Как вы собирались использовать StarCluster?

  1. Если это наблюдатель для балансировки нагрузки вашего кластера, то проблем быть не должно.
  2. If it's as an actor (making it directly do the computation by launching it with a command you would craft yourself and parallelizing its execution among the cluster) then I don't know. It might be possible, but StarCluster was not designed for it. We can read from the website:

    StarCluster был разработан для упрощения процесса создания, настройки и управления кластерами виртуальных машин в облаке Amazon EC2.

person Finch_Powers    schedule 26.02.2013
comment
Я пытался использовать python-celery для распределения вычислений по узлам. Я еще не нашел никаких документов, касающихся звездного скопления и сельдерея. - person Nithin; 02.03.2013