R: создание кластера в doParallel / снегопад зависает

Вы можете начать с установки для параметра «outfile» пустой строки при создании объекта кластера:

makePSOCKcluster("192.168.1.1",user="username",outfile="")

Это позволяет вам видеть сообщения об ошибках от рабочих в вашем терминале, которые, как мы надеемся, дадут ключ к разгадке проблемы. Если это не поможет, рекомендую использовать ручной режим:

makePSOCKcluster("192.168.1.1",user="username",outfile="",manual=TRUE)

Это обходит ssh и отображает команды, которые вы должны выполнить, чтобы вручную запустить каждого из рабочих в отдельных терминалах. Это может выявить такие проблемы, как неустановленные пакеты R. Это также позволяет вам отлаживать воркеры, используя любые инструменты отладки, которые вы выберете, хотя это требует немного работы.

Если makePSOCKcluster не отвечает после выполнения указанной команды, это означает, что рабочий процесс не смог подключиться к главному процессу. Если рабочий процесс не отображает никаких сообщений об ошибках, это может указывать на сетевую проблему, возможно, из-за того, что брандмауэр блокирует соединение. Поскольку makePSOCKcluster по умолчанию использует случайный порт в R 3.X, вы должны указать явное значение для порта и настроить брандмауэр, чтобы разрешить подключения к этому порту.

Чтобы проверить наличие проблем с сетью или брандмауэром, вы можете попробовать подключиться к главному процессу с помощью «netcat». Выполните makePSOCKcluster в ручном режиме, указав имя хоста нужного рабочего хоста и порт на локальной машине, который должен разрешать входящие соединения:

> library(parallel)
> makePSOCKcluster("node03", port=11234, manual=TRUE)
Manually start worker on node03 with
   '/usr/lib/R/bin/Rscript' -e 'parallel:::.slaveRSOCK()' MASTER=node01
PORT=11234 OUT=/dev/null TIMEOUT=2592000 METHODS=TRUE XDR=TRUE 

Теперь запустите сеанс терминала на «node03» и выполните «nc», используя указанные значения «MASTER» и «PORT» в качестве аргументов:

node03$ nc node01 11234

Главный процесс должен немедленно вернуться с сообщением:

socket cluster with 1 nodes on host ‘node03’

в то время как netcat не должен отображать сообщения, так как он спокойно читает из сокетного соединения.

Однако, если netcat выводит сообщение:

nc: getaddrinfo: Name or service not known

тогда у вас проблема с разрешением имени хоста. Если вы можете найти имя хоста, которое работает с netcat, вы можете заставить makePSOCKcluster работать, указав это имя с помощью опции «master»: makePSOCKcluster("node03", master="node01", port=11234).

Если netcat немедленно возвращается, это может означать, что ему не удалось подключиться к указанному порту. Если он возвращается через минуту или две, это может означать, что ему вообще не удалось связаться с указанным хостом. В любом случае проверьте возвращаемое значение netcat, чтобы убедиться, что это ошибка:

node03$ echo $?
1

Надеюсь, это даст вам достаточно информации о проблеме, чтобы вы могли обратиться за помощью к сетевому администратору.