Публикации по теме 'autograd'
Краткий справочник по PyTorch — Автоградация
Привет! Добро пожаловать в сериал «Факел четверга».
Этот блог предполагает знакомство с фреймворком PyTorch и основами нейронных сетей. В сегодняшнем блоге я поделюсь некоторыми лакомыми кусочками для быстрого поиска функциональности автоградации PyTorch.
Нейронные сети (НС) – это набор вложенных функций , которые выполняются на некоторых входных данных. Эти функции определяются параметрами (состоящими из весов и смещений), которые в PyTorch хранятся в тензорах.
Обучение..
Понимание автоматических градиентов
Можете ли вы перечислить важные алгебраические операции, обычно необходимые для различных алгоритмов машинного обучения, особенно для нейронных сетей?
Наиболее распространенными из них являются простое сложение матрицы/тензора, вычитание, умножение, деление. Кроме того, вам также нужны экспоненциальные, тангенциальные и т. Д.
Одной из наиболее важных из этих операций являются производные. Возможно, вы слышали термин «градиент», если читали об обучении нейронной сети. Для обучения..
Вопросы по теме 'autograd'
Как найти и понять исходный код автограда в PyTorch
Я хорошо разбираюсь в алгоритме автограда и думаю, что мне следует узнать об исходном коде PyTorch. Однако, когда я вижу проект на GitHub, меня смущает структура, потому что так много файлов включают autograd. Итак, какая часть является самым важным...
768 просмотров
schedule
04.07.2022
Мини-пакетное обучение для входных данных переменного размера
У меня есть список LongTensors и еще один список ярлыков. Я новичок в PyTorch и RNN, поэтому я совершенно не понимаю, как реализовать мини-пакетное обучение для данных, которые у меня есть. В этих данных есть гораздо больше, но я хочу, чтобы они...
2817 просмотров
schedule
01.09.2022
как применять градиенты вручную в pytorch
Начал изучать pytorch и пытался сделать что-то очень простое, пытаясь переместить случайно инициализированный вектор размера 5 в целевой вектор значения [1,2,3,4,5].
Но моя дистанция не уменьшается !! А мой вектор x просто сходит с ума. Понятия...
3915 просмотров
schedule
23.06.2023
Градиенты высшего порядка в pytorch
Я реализовал следующую функцию Якоби в pytorch. Если я не ошибся, он вычисляет якобиан любого тензора относительно любые размерные входы:
import torch
import torch.autograd as ag
def nd_range(stop, dims = None):
if dims == None:...
6614 просмотров
schedule
22.03.2023
Pytorch. Можно ли использовать autograd, если в финальном тензоре содержится более одного значения?
Можно ли использовать autograd, если в финальном тензоре содержится более одного значения?
Я пробовал следующее.
x = torch.tensor([4.0, 5.0], requires_grad=True)
y = x ** 2
print(y)
y.backward()
Выдает ошибку
RuntimeError: grad can...
793 просмотров
schedule
12.05.2023
Как использовать автоград, чтобы найти точку MIN/MAX
Скажем, у нас есть простая функция y=sin(x**2), как мне использовать autograd для поиска всех X:s со значением производной первого порядка, равным 0?
438 просмотров
schedule
16.06.2022
Оценка моделей pytorch: `with torch.no_grad` vs` model.eval () `
Когда я хочу оценить производительность моей модели на проверочном наборе, что лучше использовать with torch.no_grad: или model.eval() ?
11623 просмотров
schedule
25.03.2023
Странное поведение Inception_v3
Я пытаюсь создать генеративную сеть на основе предварительно обученного Inception_v3.
1) Фиксирую все веса в модели
2) создать переменную размером (2, 3, 299, 299)
3) создайте цели размера (2, 1000), к которым я хочу, чтобы мои последние...
42 просмотров
schedule
28.06.2023
Разница между detach () и torch.nograd () в PyTorch?
Я знаю два способа исключить элементы вычисления из вычисления градиента backward
Метод 1: с использованием with torch.no_grad()
with torch.no_grad():
y = reward + gamma * torch.max(net.forward(x))
loss =...
34977 просмотров
schedule
02.10.2022
Использовать PyTorch для настройки значений тензорной матрицы на основе чисел, которые я вычисляю по тензорным значениям?
У меня есть два тензора (матрицы), которые я инициализировал:
sm=Var(torch.randn(20,1),requires_grad=True)
sm = torch.mm(sm,sm.t())
freq_m=Var(torch.randn(12,20),requires_grad=True)
Я создаю два списка из данных внутри этих двух матриц, и я...
231 просмотров
schedule
11.08.2022
Возникла ошибка RuntimeError: одна из переменных, необходимых для вычисления градиента, была изменена операцией на месте
При вызове .backward () появляется следующая ошибка:
Возникла ошибка RuntimeError: одна из переменных, необходимых для вычисления градиента, была изменена операцией на месте
Вот код:
for i, j, k in zip(X, Y, Z):
A[:, i, j] = A[:, i, j] +...
257 просмотров
schedule
23.08.2022
Pytorch Autograd: что означает, что градиент ошибок времени выполнения может быть неявно создан только для скалярных выходов
Я пытаюсь глубоко понять автоград Pytorch; Я хотел бы наблюдать градиент простого тензора после прохождения сигмоидной функции, как показано ниже:
import torch
from torch import autograd
D = torch.arange(-8, 8, 0.1, requires_grad=True)
with...
3199 просмотров
schedule
24.05.2022
Как поэлементно назначать уравнения в автограде
Я пытаюсь реализовать решатель на основе автограда для нелинейного УЧП. Как и в случае с большинством PDE, мне нужно иметь возможность работать с отдельными элементами моего входного вектора, но, по-видимому, это нарушает автоград. Я создал этот...
146 просмотров
schedule
24.04.2023
Функция Autograd в документации Pytorch
В документации Pytorch https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#sphx-glr-beginner-blitz-autograd-tutorial-py На изображении я не могу понять, что означает y.backward(v) и почему нам нужно определить другой тензор v...
119 просмотров
schedule
27.03.2023
Pytorch autograd: сделать градиент параметра функцией другого параметра
Как в Pytorch сделать градиент параметра самой функцией?
Вот простой фрагмент кода:
import torch
def fun(q):
def result(w):
l = w * q
l.backward()
return w.grad
return result
w = torch.tensor((2.),...
683 просмотров
schedule
17.07.2022
Получение степени вывода по отношению к вводу
В настоящее время я пытаюсь реализовать ODE Solver с Pytorch, мое решение требует вычисления градиента каждого выходного wtr на его вход.
y = model(x)
for i in range(len(y)): #compute output grad wrt input
y[i].backward(retain_graph=True)...
625 просмотров
schedule
23.09.2022
Рекурсивные символьные вычисления - улучшите производительность
В своем исследовании я пытаюсь решить обратное уравнение Колмогорова, т.е. интересуюсь $$Af = b(x)f'(x)+\sigma(x)f''(x)$$
С конкретными b(x) и \sigma(x) я пытаюсь увидеть, как быстро растут коэффициенты выражения при вычислении более высоких...
409 просмотров
schedule
02.04.2023
Не включайте операцию вычисления градиента в PyTorch.
У меня есть пользовательский слой. Пусть слой называется «Гауссовский».
class Gaussian(nn.Module):
def __init__():
super(Gaussian, self).__init__()
#@torch.no_grad
def forward(self, x):
_r = np.random.randint(0, x.shape[0],...
47 просмотров
schedule
26.02.2023
