Scala (программный способ):

getExecutorStorageStatus и getExecutorMemoryStatus оба возвращают количество исполнителей, включая водителя. как показано ниже.

/** Method that just returns the current active/registered executors
        * excluding the driver.
        * @param sc The spark context to retrieve registered executors.
        * @return a list of executors each in the form of host:port.
        */
       def currentActiveExecutors(sc: SparkContext): Seq[String] = {
         val allExecutors = sc.getExecutorMemoryStatus.map(_._1)
         val driverHost: String = sc.getConf.get("spark.driver.host")
         allExecutors.filter(! _.split(":")(0).equals(driverHost)).toList
       }

sc.getConf.getInt("spark.executor.instances", 1)

аналогичным образом получите все свойства и распечатайте, как показано ниже, вы также можете получить информацию о ядрах.

sc.getConf.getAll.mkString("\n")

OR

sc.getConf.toDebugString

В основном spark.executor.cores для исполнителей spark.driver.cores драйвер должен иметь это значение.

Питон:

Вышеупомянутые методы getExecutorStorageStatus и getExecutorMemoryStatus, в Python API не были реализованы

РЕДАКТИРОВАТЬ Но доступ к ним можно получить с помощью привязок Py4J, открытых из SparkSession.

sc._jsc.sc().getExecutorMemoryStatus()

Это старый вопрос, но это мой код для выяснения этого в Spark 2.3.0:

+ 414     executor_count = len(spark.sparkContext._jsc.sc().statusTracker().getExecutorInfos()) - 1
+ 415     cores_per_executor = int(spark.sparkContext.getConf().get('spark.executor.cores','1'))

Это пример Python для получения количества ядер (включая мастер) def workername(): import socket return str(socket.gethostname()) anrdd=sc.parallelize(['','']) namesRDD = anrdd.flatMap(lambda e: (1,workername())) namesRDD.count()