web-dev-qa-db-fra.com

Erreur Apache Spark au démarrage

Je veux activer un seul cluster dans Apache Spark, j'ai installé Java et scala. J'ai téléchargé l'étincelle pour Apache Hadoop 2.6 et décompressé. J'essaie de transformer l'étincelle Shell mais me renvoie une erreur. De plus, je n'ai pas accès à sc dans Shell. J'ai compilé à partir de la source, mais la même erreur. Qu'est-ce que je fais mal?

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.3.1
      /_/

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_79)
Type in expressions to have them evaluated.
Type :help for more information.
Java.net.BindException: Failed to bind to: ADMINISTRATOR.home/192.168.1.5:0: Service 'sparkDriver' failed after 16 retries!
	at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.Java:272)
	at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:393)
	at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:389)
	at scala.util.Success$$anonfun$map$1.apply(Try.scala:206)
	at scala.util.Try$.apply(Try.scala:161)
	at scala.util.Success.map(Try.scala:206)
	at scala.concurrent.Future$$anonfun$map$1.apply(Future.scala:235)
	at scala.concurrent.Future$$anonfun$map$1.apply(Future.scala:235)
	at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:32)
	at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.processBatch$1(BatchingExecutor.scala:67)
	at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.apply$mcV$sp(BatchingExecutor.scala:82)
	at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.apply(BatchingExecutor.scala:59)
	at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.apply(BatchingExecutor.scala:59)
	at scala.concurrent.BlockContext$.withBlockContext(BlockContext.scala:72)
	at akka.dispatch.BatchingExecutor$Batch.run(BatchingExecutor.scala:58)
	at akka.dispatch.TaskInvocation.run(AbstractDispatcher.scala:41)
	at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:393)
	at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.Java:260)
	at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.Java:1339)
	at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.Java:1979)
	at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.Java:107)

Java.lang.NullPointerException
	at org.Apache.spark.sql.SQLContext.<init>(SQLContext.scala:145)
	at org.Apache.spark.sql.Hive.HiveContext.<init>(HiveContext.scala:49)
	at Sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at Sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)
	at Sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)
	at Java.lang.reflect.Constructor.newInstance(Unknown Source)
	at org.Apache.spark.repl.SparkILoop.createSQLContext(SparkILoop.scala:1027)
	at $iwC$$iwC.<init>(<console>:9)
	at $iwC.<init>(<console>:18)
	at <init>(<console>:20)
	at .<init>(<console>:24)
	at .<clinit>(<console>)
	at .<init>(<console>:7)
	at .<clinit>(<console>)
	at $print(<console>)
	at Sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at Sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
	at Sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
	at Java.lang.reflect.Method.invoke(Unknown Source)
	at org.Apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065)
	at org.Apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1338)
	at org.Apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840)
	at org.Apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:871)
	at org.Apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:819)
	at org.Apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:856)
	at org.Apache.spark.repl.SparkILoop.interpretStartingWith(SparkILoop.scala:901)
	at org.Apache.spark.repl.SparkILoop.command(SparkILoop.scala:813)
	at org.Apache.spark.repl.SparkILoopInit$$anonfun$initializeSpark$1.apply(SparkILoopInit.scala:130)
	at org.Apache.spark.repl.SparkILoopInit$$anonfun$initializeSpark$1.apply(SparkILoopInit.scala:122)
	at org.Apache.spark.repl.SparkIMain.beQuietDuring(SparkIMain.scala:324)
	at org.Apache.spark.repl.SparkILoopInit$class.initializeSpark(SparkILoopInit.scala:122)
	at org.Apache.spark.repl.SparkILoop.initializeSpark(SparkILoop.scala:64)
	at org.Apache.spark.repl.SparkILoop$$anonfun$org$Apache$spark$repl$SparkILoop$$process$1$$anonfun$apply$mcZ$sp$5.apply$mcV$sp(SparkILoop.scala:973)
	at org.Apache.spark.repl.SparkILoopInit$class.runThunks(SparkILoopInit.scala:157)
	at org.Apache.spark.repl.SparkILoop.runThunks(SparkILoop.scala:64)
	at org.Apache.spark.repl.SparkILoopInit$class.postInitialization(SparkILoopInit.scala:106)
	at org.Apache.spark.repl.SparkILoop.postInitialization(SparkILoop.scala:64)
	at org.Apache.spark.repl.SparkILoop$$anonfun$org$Apache$spark$repl$SparkILoop$$process$1.apply$mcZ$sp(SparkILoop.scala:990)
	at org.Apache.spark.repl.SparkILoop$$anonfun$org$Apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:944)
	at org.Apache.spark.repl.SparkILoop$$anonfun$org$Apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:944)
	at scala.tools.nsc.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:135)
	at org.Apache.spark.repl.SparkILoop.org$Apache$spark$repl$SparkILoop$$process(SparkILoop.scala:944)
	at org.Apache.spark.repl.SparkILoop.process(SparkILoop.scala:1058)
	at org.Apache.spark.repl.Main$.main(Main.scala:31)
	at org.Apache.spark.repl.Main.main(Main.scala)
	at Sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at Sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
	at Sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
	at Java.lang.reflect.Method.invoke(Unknown Source)
	at org.Apache.spark.deploy.SparkSubmit$.org$Apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:569)
	at org.Apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)
	at org.Apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189)
	at org.Apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110)
	at org.Apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

<console>:10: error: not found: value sqlContext
       import sqlContext.implicits._
              ^
<console>:10: error: not found: value sqlContext
       import sqlContext.sql
              ^

scala>

javascalahadoop
11
Mateusz

Je viens tout juste de commencer à apprendre Spark et j'espère que Spark sera exécuté en mode local. J'ai rencontré un problème comme le tien. Le problème:

Java.net.BindException: Echec de la liaison à: /124.232.132.94:0: Le service 'sparkDriver' a échoué après 16 tentatives!

Parce que je voulais juste exécuter Spark en mode local, j'ai trouvé une solution pour résoudre ce problème. La solution: éditez le fichier spark-env.sh (vous le trouverez dans votre $SPARK_HOME/conf/) et ajoutez-le dans le fichier:

export  SPARK_MASTER_IP=127.0.0.1
export  SPARK_LOCAL_IP=127.0.0.1

Après cela, mon Spark fonctionne bien en mode local. J'espère que cela pourra vous aider! :)

27
mike

La solution ci-dessus n'a pas fonctionné pour moi. J'ai suivi ces étapes: Comment démarrer les applications Spark sous Windows (pourquoi Pourquoi Spark échoue avec NullPointerException)?

et changé la variable d’environnement HADOOP_HOME dans la variable système. Cela a fonctionné pour moi.

4
kjosh

Il pourrait aussi s'agir d'un problème de propriété

hadoop fs -chown -R deepdive:root /user/deepdive/

0
deepdive