Публикации по теме 'tfrecord'
Хранение изображений в файлах записей TensorFlow
Как использовать файлы TFRecord, формат данных, специфичный для TensorFlow, для эффективного хранения и чтения данных при работе с изображениями.
Знаете ли вы, что TensorFlow имеет собственный формат для хранения данных? Он называется TensorFlowRecords — или сокращенно TFRecords — и основан на простом принципе:
Сохраняйте данные последовательно (внутри файла) для быстрого доступа к непрерывным фрагментам.
Этот подход основан на протокольных буферах , кроссплатформенном подходе к..
Единый метод загрузки, извлечения, обработки и использования наборов данных
Первые довольно много шагов в любом упражнении по машинному обучению связаны с наборами данных. Где и как их скачать? Напишите сценарии для организации и / или преобразования загруженных архивов, каталогов, баз данных и десятков других форматов, в которых они приходят к чему-то, что имеет значение для текущего проекта. И, наконец, как только данные будут подготовлены, разработайте конвейер для передачи данных (или, точнее, функций) в обучаемую нейронную сеть и / или алгоритм машинного..
Подготовка данных для обучения на Google Cloud Platform — — Использование TFRecords
Обучение глубокой нейронной сети всегда является головной болью для тех пользователей/исследователей, у которых нет достаточно мощной машины с графическим процессором. С точки зрения использования Tensorflow, TFRecord — более правильный и элегантный способ подачи наших данных. Кроме того, TFRecord изначально поддерживается Tensorflow, что означает, что на платформе Google нам не нужно устанавливать дополнительные зависимости.
Данные TFRecord — это только представление ваших данных, как..
Увеличение данных на ТПУ
КОМПЬЮТЕРНОЕ ЗРЕНИЕ
Увеличение данных на ТПУ
Обучение модели — это повторяющийся процесс, но он не должен быть медленным. С конвейером tf.data , TFRecords → TPU, работа, которая длилась часами на ЦП, выполняется в кратчайшие сроки. Вот почему Google создала TFRecords и TPU.
Тем не менее проблемы остаются. Tensorflow и Keras имеют ограниченные возможности для увеличения данных. Большинство из нас обращаются к специализированным библиотекам, таким как Sci-kit Image, OpenCV или..
Вопросы по теме 'tfrecord'
Numpy to TFrecords: есть ли более простой способ обработки пакетного ввода из tfrecords?
Мой вопрос о том, как получить пакетные данные из нескольких (или сегментированных) tfrecords. Я прочитал пример https://github.com/tensorflow/models/blob/master/inception/inception/image_processing.py#L410 . Базовый конвейер: возьмите обучающий...
8650 просмотров
schedule
23.03.2022
Разбор tfrecords с помощью tf.feature_column.make_parse_spec и tf.contrib.data.Dataset
Я создал простой файл tfrecords, используя следующий код.
data_rows = [
("Male", "White", 12332.0),
("Female", "Black", 232324.0),
("Female", "Other", 12313.0)
]
def float_feature(x):
return...
908 просмотров
schedule
30.07.2023
Ошибка Tensorflow OutOfRange
Мой код предназначен для чтения изображения из файла tfrecord
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
data_path='christmas.tfrecords'
with tf.Session() as sess:...
511 просмотров
schedule
08.06.2022
Как записать закодированный jpeg в виде байтов в tfrecord Tensorflow, а затем прочитать его?
Я пытаюсь использовать формат tfrecords tensorflows для хранения своих наборов данных.
Мне удалось прочитать изображения в формате jpeg, декодировать их в необработанный формат и записать в файл tfrecord. Затем я могу прочитать их позже, используя...
3892 просмотров
schedule
29.06.2022
Разбор TFRecord при активном выполнении
Учитывая, что можно запустить tf.Data.Datasets в режиме активного выполнения, как мне открыть файл TFRecord в режиме активного выполнения? Меня больше беспокоит написание синтаксического анализатора, потому что в настоящее время я использую...
1277 просмотров
schedule
25.11.2022
Как визуализировать TFRecord?
Меня спросили об этом на другом форуме, но я решил опубликовать это здесь для всех, у кого проблемы с TFRecords.
API обнаружения объектов TensorFlow может вести себя странно, если метки в файле TFRecord не совпадают с метками в вашем файле...
3167 просмотров
schedule
21.04.2023
TFrecords занимают больше места, чем исходные изображения JPEG
Я пытаюсь преобразовать свой набор изображений Jpeg в TFrecords. Но файл TFrecord занимает почти в 5 раз больше места, чем набор изображений. После долгих поисков я узнал, что когда JPEG записывается в TFrecords, это уже не JPEG. Однако я не нашел...
1423 просмотров
schedule
13.08.2023
Чтение изображений из TFrecord с использованием API набора данных и отображение их в блокноте Jupyter
Я создал tfrecord из папки изображений, теперь я хочу перебрать записи в файле TFrecord с помощью API набора данных и показать их в блокноте Jupyter. Однако у меня возникают проблемы с чтением файла tfrecord.
Код, который я использовал для...
4387 просмотров
schedule
16.07.2023
Преобразование TFRecords обратно в изображения JPEG
У меня есть файл, содержащий сотни TFRecords. Каждый файл TFRecord содержит 1024 записи. Каждая запись содержит такую информацию:
The Example proto contains the following fields:
image/height: integer, image height in pixels
image/width:...
4769 просмотров
schedule
20.07.2022
запись tfrecord с многопоточностью выполняется не так быстро, как ожидалось
Пытался написать tfrecord с многопоточностью и без нее и обнаружил, что разница в скорости невелика (с 4 потоками: 434 секунды; без многопоточности 590 секунд). Не уверен, что я использовал его правильно. Есть ли лучший способ написать tfrecord...
1835 просмотров
schedule
14.02.2024
iterator.get_next () возвращает массив байтов / iterator.get_next () не может быть назначен нескольким значениям без активного выполнения
У меня проблема, когда я пытаюсь создать tf.Dataset из tfrecord файл через tf.data.TFRecordDataset .
def parse_function(example_proto):
# Defaults are not specified since both keys are required.
keys_to_features={
'image':...
530 просмотров
schedule
09.01.2023
Разделить файл .tfrecords на множество файлов .tfrecords
Есть ли способ разбить файл .tfrecords на множество файлов .tfrecords напрямую, без записи каждого примера набора данных?
4254 просмотров
schedule
03.03.2023
TFRecords для видео
Я пытаюсь создать TFRecords из пользовательского набора видеоданных, и у меня возникают проблемы с полным пониманием того, как их настроить.
Чтобы подготовить данные для хранения, я написал скрипт, который для данного видеопотока выводит 3D-куб...
506 просмотров
schedule
02.06.2023
Как проверить структуру файла TFRecord в TensorFlow 1.13?
Меня довольно смущает формат файла TFRecord и то, как его использовать. У меня есть TFRecord, но я плохо представляю, что именно он содержит и какова его структура. Как я могу распечатать и проверить TFRecord и/или его TFExamples? По сути, я задаю...
2426 просмотров
schedule
14.12.2022
Получение путей из файла .tfrecords в тензорном потоке
Можно ли получить пути к записям (элементам данных) из файла .tfrecord? Например, чтобы получить общее количество записей, мы можем использовать tf.python_io.tf_record_iterator .
Например , если у меня есть 100 необработанных изображений, и я...
220 просмотров
schedule
08.03.2023
Как эффективно объединить данные из TFRecords в Tensorflow
Мне нужно эффективно объединить небольшой объем данных при обучении модели TensorFlow на TFRecord s. Как я могу выполнить этот поиск, используя информацию из проанализированного TFRecord ?
Подробнее:
Я тренирую сверточную сеть на большом...
531 просмотров
schedule
29.12.2022
Пример записи и чтения списков в TFRecord
Я хочу написать список целых чисел (или любую многомерную матрицу numpy) в один пример TFRecords. Как для одного значения, так и для списка из нескольких значений я могу создать файл TFRecord без ошибок. Я также знаю, как прочитать одно значение из...
2880 просмотров
schedule
08.06.2023
декодировать TFRecord не удалось. Ожидаемое изображение (JPEG, PNG или GIF) получило неизвестный формат, начинающееся с '\ 257 \
Я закодировал некоторые изображения в TFRecords в качестве примера, а затем попытался их декодировать. Однако в процессе декодирования есть ошибка, и я действительно не могу ее исправить.
InvalidArgumentError: ожидаемое изображение (JPEG, PNG или...
384 просмотров
schedule
27.10.2022
Создание сегментированного сегментирования при создании сегментированных tfrecords
Я новичок в тензорном потоке, и я работаю над проблемой сегментации изображений в тензорном потоке 1.14. У меня огромный набор данных, и создание tfrecords происходит очень медленно, когда я пытаюсь создать один большой файл tfrecord. Итак, я хотел...
267 просмотров
schedule
25.07.2022
Как мне разобрать tfrecords?
После этого руководство по синтаксическому анализу tfrecords Я обнаружил ошибку при запуске model.fit : AbortedError: Session 581cc3040540fb5e is not found. После this Stack question Я думаю, что возникла проблема с моим tfrecords...
328 просмотров
schedule
05.03.2023
