Потоковые прогнозы в Apache Flink

Можно ли делать прогнозы для потока данных в Apache Flink, используя модель, которая уже обучена в пакетном режиме?

Функция прогнозирования из svm требует в качестве входных данных набор данных и не принимает поток данных.

К сожалению, я не могу понять, как заставить его работать с функцией flatpMap / map.

Я обучил свою SVM-модель следующим образом:

val svm2 = SVM ()
svm2.setSeed (1)
svm2.fit (trainLV)
val testVD = testLV.map (lv => (lv.vector, lv.label))
val evalSet = svm2.evaluate (testVD)

и сохранил модель: val modelSvm = svm2.weightsOption.get

Затем у меня есть входящий поток данных в потоковой среде:
dataStream [(Int, Int, Int)], который должен быть двоично классифицирован с использованием модели svm.

Спасибо!


person Cederic Bosmans    schedule 19.07.2018    source источник


Ответы (1)


Библиотека ML Flink на данный момент поддерживает только пакетную обработку. Если вы хотите делать прогнозы с помощью DataStream API, вам необходимо реализовать свою собственную функцию _2 _ / _ 3_, которая берет модель и применяет ее к входящим событиям.

person Till Rohrmann    schedule 20.07.2018
comment
Спасибо за ваш быстрый ответ. Я обновил свой вопрос, надеюсь, вы сможете помочь! - person Cederic Bosmans; 20.07.2018