web-dev-qa-db-fra.com

Comment utiliser deux versions de spark shell?

J'ai Spark 1.6.2 et Spark 2.0 installé sur mon cluster hortonworks.

Ces deux versions sont installées sur un nœud du cluster Hadoop de 5 nœuds.

Chaque fois que je lance le spark-Shell je reçois:

$ spark-Shell
Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set
Spark1 will be picked by default

Lorsque je vérifie la version, je reçois:

scala> sc.version
res0: String = 1.6.2

Comment puis-je démarrer l'autre version (spark-Shell de Spark2.0)?

hadoopapache-sparkversion
9
Ani Menon
export SPARK_MAJOR_VERSION=2

Vous devez juste donner la version majeure 2 ou 1.

$ export SPARK_MAJOR_VERSION=2
$ spark-submit --version
SPARK_MAJOR_VERSION is set to 2, using Spark2
Welcome to
   ____              __
  / __/__  ___ _____/ /__
 _\ \/ _ \/ _ `/ __/  '_/
/___/ .__/\_,_/_/ /_/\_\   version 2.0.0.2.5.0.0-1245
15
Anshul Sao

Travailler cette approche:

spark-Shell

charges Spark 1.6

en tapant 

spark2-Shell

charge Spark 2.0

2
Taylrl
$ SPARK_MAJOR_VERSION=2 spark-Shell
1
Gouri Mahapatra

utilisez spark2-submit, pyspark2 ou spark2-Shell

0
Yashu