Публикации по теме 'dataloader'


Глубокое понимание проблемы GraphQL N + 1 и DataLoader
GraphQL - это современный язык запросов, который решает проблему избыточной выборки данных, связанных с REST API. По сравнению с REST, где конечная точка определяет тип и возвращаемые данные, GraphQL допускает определенные запросы, которые возвращают только запрошенные данные. Однако проблема возникает с наивным вложенным запросом GraphQL, который выполняет несколько циклов обращения к базе данных при извлечении данных. В этой статье подробно рассматривается проблема N + 1 GraphQL и..

Решите проблему запроса N + 1 в GraphQL с помощью Dataloaders
Это продолжение моего предыдущего блога , в котором объяснялся лучший способ разрешения полей запроса GraphQL. В конце этого блога появилась заметка о проблеме с запросом N + 1, возникшей при разрешении полей. В этом сообщении блога мы увидим, как решить эту проблему запроса N + 1 с помощью Dataloader . Что такое Dataloader? Dataloader - это библиотека, которая обрабатывает последовательные запросы и делает один запрос данных внутри себя. Этот запрос может быть сделан к любому..

Вопросы по теме 'dataloader'

DataLoader портит преобразованные данные
Я тестирую набор данных MNIST в Pytorch, и после того, как я применил преобразование к данным X, кажется, что DataLoader выводит все значения из исходного порядка, что потенциально может испортить шаг обучения. Мое преобразование состоит в том,...
265 просмотров
schedule 15.07.2023

Как использовать DataLoader для PyTorch на консоли iPython Spyder
Я просматриваю это руководство и не могу найти способ действительно использовать мой DataLoader для обучить ИНС. При итерации над моим DataLoader появляется приглашение cmd, которое сразу закрывается, после чего ничего не происходит. Мои исходные...
138 просмотров
schedule 26.05.2022

Как определить метод __len__ для PyTorch Dataloader, когда у меня есть отдельные наборы данных длины?
В настоящее время я загружаю свои данные с помощью одного класса набора данных. В наборе данных я раздельно разделяю данные поезда, тестирования и проверки. Например: class Data(): def __init__(self): self.load() def...
482 просмотров
schedule 25.11.2022

RuntimeError в Pytorch при увеличении размера пакета до более чем 1
Этот код для моего пользовательского загрузчика данных работает плавно с batch_size = 1, но когда я увеличиваю размер пакета, я получаю следующую ошибку: RuntimeError: Expected object of scalar type Double but got scalar type Long for...
1662 просмотров
schedule 11.06.2022

Как использовать Batchsampler в Dataloader
Мне нужно использовать BatchSampler в pytorch DataLoader вместо того, чтобы вызывать __getitem__ набора данных несколько раз (удаленный набор данных, каждый запрос стоит дорого). Я не могу понять, как использовать batchsampler с любым...
6055 просмотров
schedule 27.04.2022

Pytorch: загрузка образца изображений с помощью DataLoader
Я использую стандартный DataLoader из torch.utils.data. Я создаю класс набора данных, а затем создаю DataLoader следующим образом: train_dataset = LandmarksDataset(os.path.join(args.data, 'train'), train_transforms, split="train")...
113 просмотров
schedule 03.06.2022

pythorch-lightning train_dataloader исчерпывает данные
Я начал использовать pytorch-lightning и столкнулся с проблемой моих пользовательских загрузчиков данных: Я использую собственный набор данных и общий torch.utils.data.DataLoader. Обычно набор данных выбирает путь и загружает данные,...
480 просмотров

Загрузчик данных Pytorch Преобразует ошибку тензора
[ Невозможно получить доступ к значениям загрузчика данных pytorch для использования TypeError: default_collate: пакет должен содержать тензоры, массивы numpy, числа, словари или списки; найденный объект Ошибку можно воспроизвести, запустив...
2563 просмотров

Оптимизируйте загрузчик данных pytorch для чтения небольших фрагментов изображений в формате Full HD.
Я тренирую свою нейронную сеть, используя структуру PyTorch. Данные представляют собой изображения в формате Full HD (1920x1080). Но в каждой итерации мне просто нужно вырезать из этих изображений случайный патч 256x256. Моя сеть относительно мала...
183 просмотров

Pytorch 1.7.0 | Ошибка DataLoader - TypeError: объект 'модуль' не может быть вызван
Это мой код, я использую pycharm! Импорт import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F import torch.utils.data as DataLoader import torchvision.datasets as Datasets import torchvision.transforms as...
1417 просмотров
schedule 09.09.2022

PyTorch: случайный загрузчик данных
Есть несколько сценариев, которые сбивают меня с толку по поводу перетасовки загрузчика данных, а именно: Я установил для параметра shuffle значение False как в train_loader, так и в valid_loader. то результаты, которые я получаю, следующие...
202 просмотров
schedule 24.03.2022

не могу сделать из набора данных DataLoader
У меня есть массив numpy > data[0] array([array([[255, 255, 255, ..., 255, 255, 255], [255, 255, 255, ..., 255, 255, 255], [255, 255, 255, ..., 255, 255, 255], ..., [255, 255, 255, ..., 255, 255, 255], [255,...
29 просмотров
schedule 29.04.2022

Загрузка одного графа в объект геометрических данных pytorch для классификации узлов
У меня есть один граф, определяемый 4 матрицами: x (характеристики узлов), y (метки узлов), edge_index (список ребер) и edge_attr (особенности ребер). Я хочу создать набор данных в Pytorch Geometric с этим единственным графом и выполнить...
898 просмотров
schedule 02.01.2023

PyTorch - преобразование набора данных CIFAR в `TensorDataset`
Я обучаю ResNet34 на наборе данных CIFAR. По определенной причине мне нужно преобразовать набор данных в TensorDataset . Мое решение основано на следующем: https://stackoverflow.com/a/44475689/15072863 с некоторыми отличиями (возможно, они...
118 просмотров

Эффективно загружайте большие файлы .npy (›20 ГБ) с помощью загрузчика данных Keras / Tensorflow
В настоящее время я реализую модель машинного обучения, которая использует довольно тяжелое представление данных. Мой набор данных состоит из изображений. Каждое из этих изображений закодировано в матрицу (224, 224, 103) , что делает весь набор...
119 просмотров
schedule 20.08.2022

graphql dataloader не может прочитать свойство 'load' неопределенной ошибки
Я хотел бы привести данные о местоположении, которые существуют под таблицей location_group . Вы пытаетесь использовать DataLoader , потому что существует проблема n + 1. Я думал, что это сделано, но когда я действительно запускаю код, я получаю...
43 просмотров
schedule 13.03.2022