MQTTUtils.createPairedStream() не является членом org.apache.bahir

Когда я запустил искровую оболочку с помощью следующей команды

bin/spark-shell --packages org.apache.bahir:spark-streaming-mqtt_2.11:2.3.0 --repositories http://central.maven.org/maven2/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.0/

Произошло две ошибки.

Ошибка доступа к серверу по адресу https://central.maven.org/org/apache/bahir/bahir-parent_2.11/2.3.2/bahir-parent_2.11-2.3.2.jar (javax.net .ssl.SSLHandshakeException: java.security.cert.CertificateException: альтернативное DNS-имя субъекта, соответствующее Central.maven.org, не найдено.)

а также

Ошибка доступа к серверу по адресу https://central.maven.org/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.2/spark-streaming-mqtt_2.11-2.3.2-javadoc.jar (javax.net.ssl.SSLHandshakeException: java.security.cert.CertificateException: не найдено альтернативное DNS-имя субъекта, соответствующее Central.maven.org.)

Здесь я указал репозиторий как http://central.maven.org/maven2/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.0/ Но он автоматически подключается к https://central.maven.org/org/apache/bahir/bahir-parent_2.11/2.3.2/bahir-parent_2.11-2.3.2.jar которого нет в интернете.

Как добавить эти два модуля в мою искровую оболочку? Моя цель — создать приложение mqtt с потоковой передачей искры, которое обрабатывает несколько тем.


person Ashok v    schedule 13.03.2019    source источник


Ответы (1)


Это будет проблема с вашей системой. Что касается ошибки, то существует множество причин, вызывающих javax.net.ssl.SSLHandshakeException: java.security.cert.CertificateException. Одной из причин может быть несоответствие между URL-адресом хоста запроса (который включает IP-адрес) и сертификатом (который обычно включает имя хоста DNS), запрос завершается ошибкой. Это вызвано тем, что в сертификате отсутствуют псевдонимы ( альтернативные имена субъекта) для хоста, когда доступ к серверу осуществляется с использованием имени, отличного от имени по умолчанию.

Проблема может быть решена несколькими способами. Пожалуйста, найдите несколько альтернатив по ссылкам ниже:

https://support.mulesoft.com/s/article/CertificateException-No-Subject-Alternative-Names-Present

https://support.cloudbees.com/hc/en-us/articles/360017693231-Why-am-I-getting-No-subject-alternative-DNS-name-matching-XXX-when-connecting-через-ldaps-

https://confluence.atlassian.com/confkb/java-security-cert-certificateexception-no-subject-alternative-dns-name-matching-hostname-found-452100730.html

https://confluence.atlassian.com/jirakb/java-security-cert-certificateexception-no-subject-alternative-dns-name-matching-hostname-found-297669411.html

Я могу добавлять модули в Spark-Shell. Найдите фрагмент, как показано ниже.

    C:\Users\XYzUser>spark-shell --repositories http://central.maven.org/maven2/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.0/ --packages org.apache.bahir:spark-streaming-mqtt_2.11:2.3.0
http://central.maven.org/maven2/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.0/ added as a remote repository with the name: repo-1
Ivy Default Cache set to: C:\Users\..\.ivy2\cache
The jars for the packages stored in: C:\Users\..\.ivy2\jars
:: loading settings :: url = jar:file:/C:/Tools/spark/jars/ivy-2.4.0.jar!/org/apache/ivy/core/settings/ivysettings.xml
org.apache.bahir#spark-streaming-mqtt_2.11 added as a dependency
:: resolving dependencies :: org.apache.spark#spark-submit-parent-73c724b4-c15c-45a8-89df-f492b2eb6feb;1.0
        confs: [default]
        found org.apache.bahir#spark-streaming-mqtt_2.11;2.3.0 in central
        found org.eclipse.paho#org.eclipse.paho.client.mqttv3;1.1.0 in central
        found org.spark-project.spark#unused;1.0.0 in user-list
:: resolution report :: resolve 7200ms :: artifacts dl 16ms
        :: modules in use:
        org.apache.bahir#spark-streaming-mqtt_2.11;2.3.0 from central in [default]
        org.eclipse.paho#org.eclipse.paho.client.mqttv3;1.1.0 from central in [default]
        org.spark-project.spark#unused;1.0.0 from user-list in [default]
        ---------------------------------------------------------------------
        |                  |            modules            ||   artifacts   |
        |       conf       | number| search|dwnlded|evicted|| number|dwnlded|
        ---------------------------------------------------------------------
        |      default     |   3   |   1   |   1   |   0   ||   3   |   0   |
        ---------------------------------------------------------------------

:: problems summary ::
:::: ERRORS
        unknown resolver null


:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS
:: retrieving :: org.apache.spark#spark-submit-parent-73c724b4-c15c-45a8-89df-f492b2eb6feb
        confs: [default]
        0 artifacts copied, 3 already retrieved (0kB/31ms)
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://...:4040
Spark context available as 'sc' (master = local[*], app id = local-1552454258705).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.0
      /_/
person KZapagol    schedule 13.03.2019
comment
После этого я набрал val lines = MQTTPairReceiver(ssc,tcp://broker.mqttdashboard.com:1883,topics) и получил сообщение об ошибке: not found: value MQTTPairReceiver Я импортировал MQTTPairReciever раньше - person Ashok v; 13.03.2019