Я разрабатываю модель последовательности Tensorflow, которая использует поиск луча через граф декодирования OpenFST (загруженный из двоичного файла) по выходным логитам из модели последовательности Tensorflow.
Я написал пользовательскую операцию, которая позволяет мне выполнять декодирование логитов, но каждый раз перед выполнением декодирования я вызываю операцию fst::Read(BINARY_FILE). Это может быть хорошо, пока он остается небольшим, но я хотел бы избежать накладных расходов на ввод-вывод.
Я прочитал пользовательскую операцию Tensorflow и попытался найти похожие примеры, но я все еще потерян. В принципе, что я хочу сделать на графике:
FstDecodingOp.Initialize('BINARY_FILE.bin') #loads the BINARY_FILE.bin into memory
...
for o in output:
FstDecodingOp.decode(o) # uses BINARY_FILE.bin to decode
Это, конечно, было бы просто в Python за пределами графа тензорного потока, но мне нужно в конечном итоге переместить это в ванильную среду TF-Serving, поэтому его нужно заморозить в графе экспорта. Кто-нибудь сталкивался с подобной проблемой раньше?
Решение:
Не понимал, что вы можете установить частные атрибуты, используя «OpKernel (контекст)». Просто инициализировал его с помощью этой функции.
Редактировать: подробнее о том, как я это сделал. Еще не пробовали обслуживать.
REGISTER_OP("FstDecoder")
.Input("log_likelihoods: float")
.Attr("fst_decoder_path: string")
....
...
template <typename Device, typename T>
class FstDecoderOp : public OpKernel {
private:
fst::Fst<fst::StdArc>* fst_;
float beam_;
public:
explicit FstDecoderOp(OpKernelConstruction* context) : OpKernel(context) {
OP_REQUIRES_OK(context, context->GetAttr("beam", &beam_));
std::string fst_path;
OP_REQUIRES_OK(context, context->GetAttr("fst_decoder_path", &fst_path));
fst_ = fst::Fst<fst::StdArc>::Read(fst_path);
}
void Compute(OpKernelContext* context) override {
// do some compute
const Tensor* log_likelihoods;
OP_REQUIRES_OK(context, context->input("log_likelihoods",
&log_likelihoods));
// simplified
compute_op(_fst, log_likelihoods);
}
};
В питоне:
sess = tf.Session()
mat = tf.placeholder(tf.float32, shape=test_npy.shape)
res_ = decoder_op.fst_decoder(beam=30, fst_decoder_path="decoder_path.fst", log_likelihoods=mat)
res = sess.run(res_, {mat : test_npy} )
