тензорный поток/обслуживание с верхними n логитами для возврата

В настоящее время я решаю задачу масштабируемого обслуживания моих моделей тензорного потока. Насколько мне известно, рекомендуемым решением является использование стандартного TensorFlow ModelServer. Общие требования довольно хорошо обрабатываются этим, но я хочу большего. Я хочу уменьшить передаваемый объем данных, проанализировав такой параметр, как «предел», чтобы определить верхние n логитов + вероятности возврата.

В ходе своего исследования я нашел следующие решения:

1) Создайте более продвинутый SignatureDef во время построения модели.

2) Настройте базовый проект tensorflow/serving с указанной функциональностью.

3) Обслуживайте модель с помощью стандартного сервера моделей Tensorflow и создайте службу постобработки для реструктуризации соответственно. отфильтровать результат заранее заданным способом.

Может ли кто-нибудь более опытный, чем я, подробно рассказать о моем вопросе? - фрагменты кода или ссылки были бы потрясающими.

Заранее спасибо.


tensorflow tfx tensorflow-serving serving
person Tom    schedule 02.07.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Ваше решение №3,

«Обслуживайте модель с помощью стандартного сервера моделей Tensorflow и создайте службу постобработки для реструктуризации и фильтрации результатов заранее определенным способом».

должен быть лучшим.

Ссылки и фрагменты кода: если мы рассмотрим пример MNIST с использованием TF Serving, ссылка для сохраненной модели будет следующей: https://github.com/tensorflow/serving/blob/87e32bb386f156fe208df633c1a7f489b57464e1/tensorflow_serving/example/mnist_saved_model.py,

и ссылка на код клиента: https://github.com/tensorflow/serving/blob/87e32bb386f156fe208df633c1a7f489b57464e1/tensorflow_serving/example/mnist_client.py.

Если нам нужны значения первых n прогнозов, мы можем настроить код функции _create_rpc_callback в файле клиента, как показано ниже.

def _create_rpc_callback(label, result_counter):
  """Creates RPC callback function.

  Args:
    label: The correct label for the predicted example.
    result_counter: Counter for the prediction result.
  Returns:
    The callback function.
  """
  def _callback(result_future):
    """Callback function.

    Calculates the statistics for the prediction result.

    Args:
      result_future: Result future of the RPC.
    """
    exception = result_future.exception()
    if exception:
      result_counter.inc_error()
      print(exception)
    else:
      sys.stdout.write('.')
      sys.stdout.flush()
      response = numpy.array(result_future.result().outputs['scores'].float_val)
      print('Top 4 responses = ', response[0:4])

Оператор print в последней строке напечатает Топ-4 прогноза.

person Tensorflow Support    schedule 12.07.2019