Вопросы по теме 'ray'
Должен ли я установить для `inter_op_parallelism_threads` и `intra_op_parallelism_threads` значение 1, когда я использую луч для создания актера?
Когда я использую ray для создания актеров и учеников в A2C, должен ли я установить inter_op_parallelism_threads и intra_op_parallelism_threads на 1 или оставить его по умолчанию?
1047 просмотров
schedule
09.11.2022
Использование лучей с функциями scipy
Ray позволяет выполнять параллельную обработку, и я пытаюсь использовать ее с модулем scipy . Я просто настраиваю ray и не уверен, ожидается ли такое поведение. Но в любом случае вот сценарий и результат.
import math
import cmath...
852 просмотров
schedule
04.06.2022
Используется ли луч `num_cpus` для фактического распределения процессоров?
При использовании фреймворка ray можно выбрать количество ЦП, необходимое для этой задачи, как описано здесь .
Ex:
@ray.remote(num_cpus=4)
def f():
return 1
Однако неясно, будет ли фактическое распределение ЦП:
Функция будет...
1229 просмотров
schedule
08.07.2023
Как RLlib Рэя использует LazyFrames?
Я пытаюсь выяснить, как RLLib эффективно использует кадры, то есть как он избегает сохранения повторяющихся кадров в памяти, что в базовых линиях OpenAI выполняется с помощью LazyFrames.
В RLLib Рэя atari_wrapper.py кажется, что все наблюдения...
199 просмотров
schedule
05.01.2023
Как я могу изменить скорость обучения обучающего агента RLlib в динамическом
Я использую библиотеку Ray RLlib для обучения многоагентного тренера игре «5 в ряд». Это среда с нулевой суммой, поэтому у меня проблема дегенерации поведения агентов (всегда выигрывает для 1-го агента, 5 ходов до победы). У меня есть идея изменить...
821 просмотров
schedule
25.11.2022
многопроцессорность лучей внутри класса (TypeError: параметр не имеет значения по умолчанию)
Я пытаюсь использовать многопроцессорный пакет python ray , чтобы распараллелить процесс свертки изнутри класс.
Это означает, что я устанавливаю функцию с помощью декоратора @ray.remote на функцию класса.
Однако когда я это делаю, я получаю...
410 просмотров
schedule
08.07.2022
Куда идет ray stdout?
Для удаленных заданий луча я вижу, что stderr выводится в сеанс драйвера.
Однако есть ли способ получить стандартный вывод для удаленных заданий? Проверка журналов отдельных заданий может быть очень полезной для отладки.
288 просмотров
schedule
16.10.2022
Монитор ручной кластер с лучом
Похоже, я не нашел в документации . Допустим, я создаю свой кластер с ray start --head , как указано в документации. Как я могу контролировать кластер? Когда я пишу стандартную команду ray monitor , она всегда выдает ошибку, потому что я не...
73 просмотров
schedule
18.02.2022
Общий словарь python с использованием луча?
Читая документы Рэя, я вижу, что он поддерживает сериализацию dicts изначально («Сериализовать напрямую» ), Но я не могу понять, что это значит, или что мне делать, чтобы использовать эти сериализованные объекты. Учитывая, что у меня есть...
772 просмотров
schedule
16.04.2022
Делитесь массивами scipy.sparse с нулевым копированием в Python Ray
Я передаю большие массивы scipy.sparse в параллельные процессы в общей памяти одного вычислительного узла. В каждом раунде параллельных заданий переданный массив не будет изменен. Я хочу передать массив с нулевой копией.
Хотя это возможно с...
124 просмотров
schedule
17.10.2022
Ray RLllib: Политика экспорта для внешнего использования
У меня есть модель на основе политик PPO, которую я тренирую с RLLib с использованием Ray Tune API в некоторых стандартных средах тренажерного зала (без сложной предварительной обработки). У меня есть сохраненные контрольные точки модели, из которых...
333 просмотров
schedule
18.07.2023
Ускорение PyArrow Parquet до Pandas для фрейма данных с большим количеством строк
У меня есть DataFrame pandas, который я хочу часто запрашивать (в Ray через API). Я пытаюсь ускорить его загрузку, но требуется значительное время (3+ с), чтобы передать его в панд. Для большинства моих наборов данных это быстро, а вот этот - нет....
758 просмотров
schedule
16.04.2024
Отключение Hyperthreading на узлах в кластере AWS EC2 с помощью конфигурации лучей
У меня есть задача, выполняющаяся в кластере EC2, которая начинает постепенно замедляться по мере использования виртуальных ЦП (независимо от размера тома EBS). Чтобы избежать этого, я хочу отключить гиперпоточность на всех узлах и пытался...
114 просмотров
schedule
25.03.2022
Использование ray для ускорения проверки файлов json
У меня более миллиона файлов json, и я пытаюсь найти самый быстрый способ сначала проверить, загружаются ли они, а затем, существуют ли key_A , key_B или ни то, ни другое. Я думал, что смогу использовать луч, чтобы ускорить этот процесс, но...
55 просмотров
schedule
27.05.2023
Как мне сделать ray.tune.run воспроизводимым?
Я использую обучаемый API на основе классов Tune . См. Пример кода:
from ray import tune
import numpy as np
np.random.seed(42)
# first run
tune.run(tune.Trainable, ...)
# second run, expecting same result
np.random.seed(42)...
527 просмотров
schedule
28.04.2023
Как ray работает с переменными объемлющей области видимости?
Рассмотрим следующий пример:
import numpy as np
import ray
import time
A = np.array([42] * 4200)
@ray.remote
def foo1(x):
x[5]**2
@ray.remote
def foo2(j):
A[j]**2
ray.init()
#
# some warmup for ray
#
start = time.perf_counter()
for...
74 просмотров
schedule
11.06.2024
Как использовать общую переменную между параллельными экземплярами функции с помощью Ray
У меня есть общая переменная с именем temp , которая должна постоянно считываться и обрабатываться различными экземплярами функции do() . В частности, используя модуль ray , я украшаю do() , как показано ниже.
@ray.remote
def do(temp):...
177 просмотров
schedule
20.04.2022
Запуск простого скрипта Python в кластере лучей AWS с помощью docker
Мне невероятно сложно следовать рекомендациям по лучам для запуска образа докера в лучевом кластере, чтобы выполнить скрипт python. Я нахожу нехватку простых рабочих примеров.
Итак, у меня есть самый простой файл докеров:
FROM rayproject/ray...
176 просмотров
schedule
11.11.2022
Запустите многоузловой кластер Ray AWS и отправьте простой скрипт python для запуска в conda env.
Что я обнаружил с Ray, так это то, что для автомасштабирования отсутствует документация, и что конфигурация легко ломается без четкой причины.
Сначала я хотел вытащить образ докера в кластер и запустить его, но способ, которым Ray обрабатывает...
431 просмотров
schedule
18.11.2023
Как запросить контейнер докеров с хоста?
Я запускаю сервер в док-контейнере на своей машине. Я хочу отправлять HTTP-запросы с моей машины (хоста) на сервер, который находится внутри контейнера. Когда я отправляю запрос GET с HTTP внутри контейнера, он обнаруживает сервер. Но если я...
65 просмотров
schedule
04.01.2023
