развернуть TFX с существующими замороженными_interface_graph.pb и label_map.pbtxt

Я обучил модель обнаружения объектов с помощью более быстрой сети R-CNN, и после обучения у меня есть frozen_interface_graph.pb и label_map.pbtxt. Я хотел развернуть его как сервер RESTAPI, чтобы его можно было вызывать из систем, в которых нет Tensorflow. Вот тогда я и наткнулся на TFX.

Как я могу использовать TFX tensorflow-model-server для загрузки этой модели и размещения RESTAPI, чтобы я мог отправлять изображения для прогнозов в виде запроса POST?

https://www.tensorflow.org/tfx/tutorials/serving/rest_simple Это то, что я нашел в качестве справки, но модели имеют другой формат, чем то, что у меня есть в настоящее время. Есть ли какой-либо механизм, в котором я могу повторно использовать имеющуюся у меня модель, или мне придется переобучиться с помощью Keras и развернуть, как показано в ссылка.


python tensorflow tfx
person Sreekiran    schedule 13.04.2020    source источник
comment
Можете ли вы предоставить структуру своего pb-файла или ссылку, по которой к нему можно получить доступ, чтобы мы могли проверить возможность его повторного использования.   -  person TF_Support    schedule 15.04.2020
comment
Ссылка на общий диск, который содержит файлы. drive.google.com/open?id=1xGvgYln0mZondOMXgSdiM3nddozwM   -  person Sreekiran    schedule 15.04.2020
comment
Привет, @Sreekiran! Можете ли вы предоставить образец вашего тренировочного набора?   -  person TF_Support    schedule 16.04.2020
comment
Привет, пожалуйста, найдите ссылку на образец изображения. drive.google.com/file/d/14ODsJqu5S7OB8WJNZPaw4NZp0Paw4NNZP03/14ODsJqu5S7OB8Fbjnz   -  person Sreekiran    schedule 17.04.2020
comment
Привет, @TF_Support, ты нашел способ помочь?   -  person Sreekiran    schedule 20.04.2020
comment
Привет @Sreekiran! Проблема в том, что у вашей модели нет подписи, необходимой в TFX. Пытался преобразовать вашу модель в подпись, но не вернул никаких прогнозов.   -  person TF_Support    schedule 20.04.2020

Ответы (1)


arrow_upward
3
arrow_downward

Чтобы повторно использовать вашу модель для TFX, на замороженном графике должна быть указана сигнатура обслуживания. Пытался преобразовать вашу модель в формат savedmodel с помощью приведенного ниже кода, который успешно создал savedmodel.pb файл с набором тегов "serve".

import tensorflow as tf
from tensorflow.python.saved_model import signature_constants
from tensorflow.python.saved_model import tag_constants

export_dir = './saved'
graph_pb = 'frozen_inference_graph.pb'

builder = tf.saved_model.builder.SavedModelBuilder(export_dir)

with tf.gfile.GFile(graph_pb, "rb") as f:
    graph_def = tf.GraphDef()
    graph_def.ParseFromString(f.read())

sigs = {}

with tf.Session(graph=tf.Graph()) as sess:
    # name="" is important to ensure we don't get spurious prefixing
    tf.import_graph_def(graph_def, name="")
    g = tf.get_default_graph()
    sess.graph.get_operations()
    inp = g.get_tensor_by_name("image_tensor:0")
    outputs = {}
    outputs["detection_boxes"] = g.get_tensor_by_name('detection_boxes:0')
    outputs["detection_scores"] = g.get_tensor_by_name('detection_scores:0')
    outputs["detection_classes"] = g.get_tensor_by_name('detection_classes:0')
    outputs["num_detections"] = g.get_tensor_by_name('num_detections:0')

    output_tensor = tf.concat([tf.expand_dims(t, 0) for t in outputs], 0)


    sigs[signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY] = \
        tf.saved_model.signature_def_utils.predict_signature_def(
            {"in": inp}, {"out": out})

    sigs["predict_images"] = \
    tf.saved_model.signature_def_utils.predict_signature_def(
        {"in": inp}, {"out": output_tensor} )

    builder.add_meta_graph_and_variables(sess,
                                         [tag_constants.SERVING],
                                         signature_def_map=sigs)

builder.save().

Мы протестировали преобразованную модель, предсказав предоставленный вами образец изображения. Результат не показывает никаких прогнозов, что, вероятно, означает, что метод преобразования не работает должным образом.

Что касается вашего вопроса:

«Есть ли какой-либо механизм, в котором я могу повторно использовать имеющуюся у меня модель, или мне придется переобучаться с помощью Keras и развертывать, как показано в справочнике?»

С таким результатом будет лучше просто переобучить вашу модель, используя Keras в качестве ответа на ваш вопрос, потому что преобразование или повторное использование модели замороженного графа не будет решением. Ваша модель не сохраняет переменные, необходимые для обслуживания модели, и формат модели не подходит для производственной среды. И да, это лучший способ следовать официальной документации по своему усмотрению. будьте уверены, что это сработает.

person TF_Support    schedule 21.04.2020
comment
Спасибо за попытку. Я ценю помощь. Переучу на Кераса. - person Sreekiran; 22.04.2020