Я пытаюсь использовать следующий код на своем рабочем сервере (который я хочу масштабировать до более чем 500 TPS). Я столкнулся со следующей проблемой, когда завалил сервер множеством запросов. По крайней мере, в 1 запросе из 1000 запросов вызов channel.close() занимает 10-10,5 секунд. Я запускаю код на сервере Flask. В настоящее время для каждого запроса я создаю канал и закрываю его. Пожалуйста, помогите мне с этим.
channel = grpc.insecure_channel(serving_address)
stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
request = predict_pb2.PredictRequest()
request.model_spec.name = model_name
request.model_spec.signature_name = 'serving_default'
request.inputs['model_2_input'].CopyFrom(
make_tensor_proto_engine(img_array, dtype=1, shape=[1, 224, 224, 3]))
result = stub.Predict(request, 6.0)
channel.close()
