Установка Spark MLLib в Mac OS X

Я пытаюсь установить MLLib в Mac OS X. В Linux мне просто нужно было установить gfortran, следуя этому сообщению (Apache Spark -- MlLib -- Совместная фильтрация). У меня установлен gfortran на моем Mac. Однако, когда я запускаю:

from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.classification import SVMWithSGD
data = [
    LabeledPoint(0.0, [0.0]),
    LabeledPoint(1.0, [1.0]),
    LabeledPoint(1.0, [2.0]),
    LabeledPoint(1.0, [3.0])
]

svm = SVMWithSGD.train(sc.parallelize(data))

Я получаю:

14/10/17 10:24:56 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
14/10/17 10:24:56 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

Я не уверен, какие шаги нужно выполнить для успешной установки MLLib на моем Mac. Я использую Mac OS 10.9 со Spark 1.1.0 (предустановленной).


apache-spark apache-spark-mllib
person poiuytrez    schedule 17.10.2014    source источник
comment
Это просто предупреждение о том, что задание действительно не выполняется. Библиотека BLAS не является обязательной.   -  person aaronman    schedule 17.10.2014
comment
@aaronman Итак, это больше, чем предупреждение?   -  person poiuytrez    schedule 20.10.2014
comment
Я считаю, что это просто предупреждение о том, что более быстрая нативная библиотека не может быть загружена на ветер и что она возвращается к реализации JVM.   -  person aaronman    schedule 20.10.2014

Ответы (3)


arrow_upward
0
arrow_downward

Установка Apache Spark должна неявно установить MLlib. Попробуйте установить Homebrew, xcode-select, java, scala и spark. Обратитесь к упомянутой ссылке для пошагового процесса.

person Mallikarjun M    schedule 01.08.2017

arrow_upward
0
arrow_downward

MLLib является частью Apache Spark, вам не нужно устанавливать его отдельно.

Сообщение об ошибке предупреждает, что не может найти локальную реализацию BLAS и использует F2J. Причиной этого, скорее всего, является установка spark через brew или tar.gz с сайта spark.apache.org.

В обоих дистрибутивах отсутствует флаг компиляции для использования veclib.

Чтобы исправить это, вы можете либо указать зависимость (com.github.fommil.netlib:all:1.1.2), либо скомпилировать искру из исходников с помощью -Pnetlib-lgpl (см. 49811375#49811375">Не удалось загрузить реализацию NativeSystemBLAS HiBench для базового руководства или прочтите https://spark.apache.org/docs/latest/building-spark.html для более подробной информации)

person fluxens    schedule 19.07.2018

arrow_upward
0
arrow_downward

Я следил за этой статьей https://medium.freecodecamp.org/installing-scala-and-apache-spark-on-mac-os-837ae57d283f

  1. установить пиво
  2. xcode-select --install
  3. brew cask install java
  4. brew install scala
  5. brew install apache-spark

теперь у тебя есть искра ????. Чтобы запустить оболочку Scala

spark-shell

Для запуска оболочки Python

pyspark

Чтобы запустить файл Scala, он должен иметь метод main. Делать

spark-submit file.scala
person Harry Moreno    schedule 04.02.2019