Вопросы по теме 'snow'

Не удается открыть соединение - HPC в R со снегом
Я пытаюсь запустить параллельную работу в R, используя снег. Мне удавалось без проблем выполнять очень похожие задачи на старых версиях R и Snow. Зависимости пакета R не позволяют мне вернуться. Что происходит: мои задания завершаются на шаге...
7865 просмотров
schedule 25.02.2023

R параллельные преобразования больших фреймов данных
По сути, у меня есть большой фрейм данных: 10 000 000x900 (строки, столбцы), и я пытаюсь параллельно преобразовать класс каждого столбца. Конечным результатом должен быть data.frame Вот что у меня есть: Представьте, что df - это уже...
1901 просмотров
schedule 09.03.2023

R: создание кластера в doParallel / снегопад зависает
У меня есть два сервера в локальной сети со свежими установками минимальной версии Centos 6.4 и R 3.0.1. На обоих компьютерах установлены пакеты doParallel, snow и snowfall. Серверы могут нормально подключаться друг к другу по ssh. Когда я...
3811 просмотров

Функция makeCluster в R snow зависает на неопределенный срок
Я использую makeCluster функцию из пакета R snow с компьютера Linux для запуска кластера SOCK на удаленном компьютере Linux. Кажется, все улажено для успешного взаимодействия двух машин (я могу установить ssh-соединения между ними). Но:...
7487 просмотров
schedule 14.06.2023

Поддерживает ли clusterMap в Snow динамическую обработку?
Похоже, что clusterMap в Snow не поддерживает динамическую обработку. Я хотел бы выполнять параллельные вычисления с двумя парами параметров, хранящихся во фрейме данных. Но прошедшее время каждой работы сильно различается. Если задания выполняются...
161 просмотров
schedule 30.04.2023

Включите все ЦП для всех узлов в кластере: пакет снег / снегопад
Я работаю над кластером и использую пакет snowfall для создания кластера сокетов на 5 узлах по 40 процессоров в каждом с помощью следующей команды: > sfInit(parallel=TRUE, cpus = 200, type="SOCK", socketHosts=c("host1", "host2", "host3",...
1451 просмотров
schedule 04.08.2022

Неверное количество измерений - параллельное вычисление R
У меня проблема с использованием пакета tm и параллельных вычислений в R, и я не уверен, делаю ли я что-то глупое или это ошибка. Я создал небольшой воспроизводимый пример: # Load the libraries library(tm) library(snow) # Create a Document...
570 просмотров
schedule 18.03.2023

R не может сделать кластер (многоузловой) из-за невозможности открыть ошибку подключения
Я пытаюсь запустить R параллельно, что отлично работает на локальном хосте. Теперь я хочу переключиться на многоузловую настройку и создать несколько виртуальных машин в одной сети. Однако, когда я пытаюсь настроить кластер, происходит сбой со...
3787 просмотров

Как пакет foreach распространяется на R Environments при использовании as.formula, SE dplyr и lapply?
У меня есть функция, в которой я динамически создаю несколько формул в виде строк и привожу их к формулам с as.formula . Затем я вызываю эту функцию в параллельном процессе, используя doSNOW и foreach , и использую эти формулы через...
379 просмотров
schedule 13.02.2024

R: doSNOW/foreach создать список из списка
Привет, я хотел бы создать именованный список с помощью пакета doSNOW/foreach. Например, конечным продуктом будет объект списка. dfe, названный из вектора, скажем, n=c("n1","n2","n3","n4","n5") так что я могу получить доступ к списку...
660 просмотров
schedule 13.05.2022

Используя numpy, как вы рассчитываете количество снегопадов в месяц?
У меня есть набор данных с записями о снегопадах за день в течение одного года. Переменная даты находится в форме ГГГГММДД. Date Snow 20010101 0 20010102 10 20010103 5 20010104 3 20010105 0 ... 20011231 0 Актуальные данные здесь...
60 просмотров
schedule 18.10.2022