Сохранение регрессионной модели в pySpark

В pySpark MLlib, похоже, нет способа сохранять и загружать модели регрессии, такие как LogisticRegressionModel, SVMModel, NaiveBayesModel и DecisionTreeModel. Существует загрузка и сохранение рекомендательной модели MatrixFactorizationModel с помощью миксинов JavaSaveable и JavaLoader, но регрессионные модели не выполняются таким образом.

Есть ли способ обойти это, предоставив свои собственные процедуры загрузки и сохранения? Если да, то как мне это сделать?

Ожидается ли эта функциональность в будущем выпуске, или pySpark MLlib прекращает свое существование?


python pyspark apache-spark-mllib
person Charles Hayden    schedule 22.03.2015    source источник

Ответы (1)


arrow_upward
0
arrow_downward

В Spark 1.3.1 класс LinearModel, который является базовым классом для большинства линейных классификаторов (то есть LogisticRegressionModel), является чистым классом Python, поэтому вы можете просто попытаться обработать его или сохранить атрибуты _coeff - weights() и _intercept - intercept() с помощью сами и создайте класс LogisticRegressionModel, передав оба веса и член перехвата, как в примере ниже:

model = LogisticRegressionModel(weights, intercept)
person Tarantula    schedule 20.04.2015