web-dev-qa-db-fra.com

Comment vérifier la version Spark

comment puis-je savoir quelle version de spark a été installée dans le CentOS?).

Le système actuel a installé cdh5.1.0.

apache-sparkcloudera-cdh
41
HappyCoding

Si vous utilisez Spark-Shell, il apparaît dans la bannière au début.

Par programme, SparkContext.version peut être utilisé.

67
Shyamendra Solanki

Ouvrez Spark Shell Terminal, exécutez sc.version

enter image description here

31
Venu A Positive

Vous pouvez utiliser la commande spark-submit: spark-submit --version

26
Ozgur Ozturk

Dans Spark 2.x/Shell,

utilisez le

spark.version

Où spark variable est de SparkSession objet

Utilisation des journaux de la console au début de spark-Shell

[root@bdhost001 ~]$ spark-Shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

Sans entrer dans le code/Shell

spark-Shell --version

[root@bdhost001 ~]$ spark-Shell --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

Type --help for more information.

spark-submit --version

[root@bdhost001 ~]$ spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

Type --help for more information.
11
mrsrinivas

Si vous utilisez Databricks et parlez à un ordinateur portable, exécutez simplement:

spark.version
7
Pat

utiliser ci-dessous pour obtenir la version spark

spark-submit --version
4
Swift user

Si vous êtes sur bloc-notes Zeppelin, vous pouvez exécuter:

sc.version

pour connaître la version de scala vous pouvez également exécuter:

util.Properties.versionString
3
HISI

Quelle que soit la commande Shell que vous utilisiez, spark-shell ou pyspark, elle se retrouvera sur un logo Spark avec un nom de version à côté.

$ pyspark
$ Python 2.6.6 (r266: 84292, 22 mai 2015, 08:34:51)) [CCG 4.4.7 20120313 (Red Hat 4.4.7-15)] sur linux2 ............ ........... Bienvenue à
version 1.3.0

3
Murari Goswami

Si vous utilisez pyspark, la version spark utilisée] est visible à côté du logo en gras Spark, comme indiqué ci-dessous:

manoj@hadoop-Host:~$ pyspark
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Python version 2.7.6 (default, Jun 22 2015 17:58:13)
SparkContext available as sc, HiveContext available as sqlContext.
>>>

Si vous voulez obtenir explicitement la version spark, vous pouvez utiliser la méthode de version de SparkContext comme indiqué ci-dessous:

>>>
>>> sc.version
u'1.6.0'
>>>
1
Manoj Kumar G