Программирование детектора выбоин на Python и развертывание модели TFLite на Raspberry Pi 4

!python process.py

train.txt и test.txt после создания содержат пути к обучающему и тестовому изображениям соответственно. train.txt должен выглядеть следующим образом:

test.txt похож на train.txt, но с путем data/Images/test вместо data/Images/train.

5. Обучение модели

Затем, чтобы использовать трансферное обучение, мы используем предварительно обученные веса YOLOv4-tiny, которые были обучены до 29 сверточных слоев. Чтобы загрузить предварительно обученные веса, выполните следующую команду.

!wget https://github.com/AlexeyAB/darknet/releases/download/darknet_yolo_v4_pre/yolov4-tiny.conv.29

Затем приступайте к обучению модели с помощью даркнета с нашим обучающим набором. Следующая команда обучает даркнет и создает набор файлов .weights.

!./darknet detector train data/obj.data cfg/yolov4-tiny-custom.cfg yolov4-tiny.conv.29 -dont_show -map

Обучение даркнету займет около 3 часов. Потянитесь, сядьте поудобнее и поиграйте в CoD.

После завершения обучения наша работа с даркнетом завершена. Чтобы убедиться, что все шаги выполнены правильно, запустите детектор даркнета на одном новом тестовом изображении. Загрузить тестовый образ из моего репозитория в папку yolov4-tiny.

%cd /mydrive/yolov4-tiny
!wget --no-check-certificate 'https://raw.githubusercontent.com/SanaulMalik/SherlockHoles/master/images/ph.jpg' -O 'ph.jpg'
%cd /content/darknet

Примечание. Имя файла «ph» означает выбоина. На всякий случай, если вам интересно ;)

Определите вспомогательную функцию imShow в блоке кода:

Затем запустите детектор даркнета на изображении:

!./darknet detector test data/obj.data cfg/yolov4-tiny-custom.cfg /mydrive/yolov4-tiny/training/yolov4-tiny-custom_best.weights /mydrive/yolov4-tiny/ph.jpg -thresh 0.3
imShow('predictions.jpg')

Ваш вывод должен выглядеть так:

6. Преобразование модели в формат .pb

После обучения в даркнете наша модель была сохранена в виде файла .weights. В папке /training сохранены файлы .weights с разных контрольных точек, из которых мы используем только yolov4-tiny-custom_best.weights модель. Однако для запуска этой модели на плате Raspberry Pi нам нужна модель TFLite. В качестве промежуточного шага нам нужно преобразовать файл .weights в формат .pb, используемый для сохраненных моделей в TensorFlow. Файлы .pb содержат как определение графика, так и веса сохраненной модели.

На этом этапе лучше изменить среду выполнения обратно на среду выполнения без ускорения, а не на время выполнения с ускорением на графическом процессоре. Это связано с тем, что часть кода с этого момента вызывает ошибки в среде на основе CUDA. После изменения среды выполнения вам нужно будет запустить блоки кода для связывания вашего диска и создания символической ссылки на mydrive. Остальные блоки не нужно запускать снова. Чтобы изменить время выполнения —

• Среда выполнения -> Изменить тип среды выполнения
• Измените аппаратный ускоритель с GPU на None
• Нажмите Сохранить и снова подключиться.
• Запустите первый и третий блоки кода

Теперь клонируйте следующий репозиторий с https://github.com/hunglc007/tensorflow-yolov4-tflite.

%cd /content
!git clone https://github.com/hunglc007/tensorflow-yolov4-tflite.git
%cd tensorflow-yolov4-tflite

Затем измените файл /core/config.py и замените файл coco.names нашим файлом obj.names.

Замените
__C.YOLO.CLASSES = «./data/classes/coco.names»
на
_C.YOLO.CLASSES = «mydrive/yolov-4 -tiny/obj.names”

Игнорируйте остальные данные в файле. Хотя других указанных файлов не существует, они не вызовут у нас никаких проблем, так как мы не используем трейнер в этом репозитории.

Затем, чтобы преобразовать модель в формат .pb, выполните следующую команду.

!python save_model.py --weights  /mydrive/yolov4-tiny/training/yolov4-tiny-custom_best.weights --output /mydrive/yolov4-tiny/yolov4-tiny-pb --input_size 416 --model yolov4 --framework tflite --tiny

Чтобы проверить, правильно ли преобразована модель, выполните следующую команду. Здесь мы импортируем модель с помощью TensorFlow и печатаем сводку модели. Сводка будет правильно выведена только в том случае, если преобразование в .pb прошло успешно.

import tensorflow as tf
model = tf.keras.models.load_model("/mydrive/yolov4-tiny/yolov4-tiny-pb")
model.summary()

Сводка должна содержать 5 882 634 общих параметра.

7. Преобразование модели в .tflite

Затем мы используем convert_tflite.py для преобразования файла .pb в формат .tflite. Это формат, который будет работать на Raspberry Pi.

Сначала мы должны включить экспериментальные переменные ресурсов. Для этого добавьте следующую строку в определение функции save_tflite() в программе convert_tflite.py.

converter.experimental_enable_resource_variables = True

Затем выполните следующую команду:

!python convert_tflite.py --weights /mydrive/yolov4-tiny/yolov4-tiny-pb --output /mydrive/yolov4-tiny/model.tflite --quantize_mode float16

Модель .tflite теперь сохраняется в папке yolov4-tiny как model.tflite. Чтобы протестировать файл .tflite, загрузите detect_tflite.py из моего репозитория github в yolov4-tiny. Или, альтернативно, выполните следующие команды.

%cd /content
!git clone https://github.com/SanaulMalik/SherlockHoles
%cd /mydrive/yolov4-tiny
%cp /content/SherlockHoles/executables/detect_tflite.py ./

Теперь запустите detect_tflite.py с новым изображением из моего репозитория, чтобы протестировать модель.

%cp /content/SherlockHoles/images/ph-2.jpg ./ph-2.jpg
!python detect_tflite.py --weights model.tflite --size 416 --model yolov4 --image "/content/darknet/ph.jpg" --framework tflite --tiny

Результат detect_tflite.py сохраняется как result.png в текущем рабочем каталоге. Если вы выполнили команды дословно, они должны быть сохранены в папке yolov4-tiny на вашем диске.

Вы успешно обучили модель TFLite обнаруживать выбоины. В следующей части этого руководства мы развернем нашу модель на плате RPi 4 для обнаружения выбоин из видеопотока в реальном времени. А пока удачного кодирования!