В настоящее время я реализую модель машинного обучения, которая использует довольно тяжелое представление данных. Мой набор данных состоит из изображений. Каждое из этих изображений закодировано в матрицу (224, 224, 103), что делает весь набор данных очень тяжелым. Эти матрицы я храню на диске и загружаю во время обучения.
Сейчас я использую мини-пакеты по 8 изображений и загружаю .npy файлы для этих 8 изображений с диска в течение всего процесса обучения. Это медленно, но работает.
Есть ли более эффективный способ сделать это с помощью Keras / Tensorflow (это то, что я использую для кодирования моей модели)? К сожалению, я не смог найти много информации о загрузчике данных, который позволил бы мне это сделать.
Заранее спасибо.
