Не удается подключиться к Cassandra из Spark (точки контакта содержат несколько центров обработки данных)

--> По словам автора, работа над исправлением продолжается. Смотрите комментарии под этим ответом.

Я нашел это в документации, я надеюсь, что это поможет вам:

override def init(cluster: Cluster, hosts: JCollection[Host]) {
    nodes = hosts.toSet
    // use explicitly set DC if available, otherwise see if all contact points have same DC
    // if so, use that DC; if not, throw an error
    dcToUse = localDC match { 
      case Some(local) => local
      case None => 
        val dcList = dcs(nodesInTheSameDC(contactPoints, hosts.toSet))
        if (dcList.size == 1) 
            dcList.head
        else 
            throw new IllegalArgumentException(s"Contact points contain multiple data centers: ${dcList.mkString(", ")}")
    }
    clusterMetadata = cluster.getMetadata
}

Я столкнулся с той же проблемой при попытке подключить два центра обработки данных Cassandra с помощью Apache Spark 2.x.x.

public class  SparkCassandraTest {  
  private static final String CASSANDRA_ENDPOINTS = "DC1_node1,DC1_node2,DC1_node3,DC2_node1,DC2_node2,DC2_node3";

  public static void main(String[] args) {
        sparkConf = new SparkConf().setAppName(APP_NAME);
        sparkConf.set("spark.cassandra.connection.host", CASSANDRA_ENDPOINTS);
        sparkConf.set("spark.cassandra.auth.username", CASSANDRA_USERNAME);
        sparkConf.set("spark.cassandra.auth.password", CASSANDRA_PASSWORD);
        sparkSession = SparkSession.builder().config(sparkConf).enableHiveSupport().getOrCreate();

        //.....................
        //.....................
        //.....................
       }
}

Причина: java.lang.IllegalArgumentException: требование не выполнено: контактные точки содержат несколько центров обработки данных: DC2-XXXXX2, DC1-XXXXX1

Я решаю эту проблему, подключая любой центр обработки данных Cassandra (DC1_node1,DC1_node2,DC1_node3) или (DC2_node1, DC2_node2,DC2_node3).