web-dev-qa-db-fra.com

problème d'exécution d'un travail Spark sur un cluster de fils

Je souhaite exécuter mon travail d'allumage en mode Hadoop YARN cluster, et j'utilise la commande suivante:

spark-submit --master yarn-cluster 
             --driver-memory 1g 
             --executor-memory 1g
             --executor-cores 1 
             --class com.dc.analysis.jobs.AggregationJob
               sparkanalitic.jar param1 param2 param3

Je reçois l'erreur ci-dessous, suggère gentiment ce qui ne va pas, est la commande correcte ou non. J'utilise CDH 5.3.1.

Diagnostics: Application application_1424284032717_0066 failed 2 times due 
to AM Container for appattempt_1424284032717_0066_000002 exited with  
exitCode: 15 due to: Exception from container-launch.

Container id: container_1424284032717_0066_02_000001
Exit code: 15
Stack trace: ExitCodeException exitCode=15: 
    at org.Apache.hadoop.util.Shell.runCommand(Shell.Java:538)
    at org.Apache.hadoop.util.Shell.run(Shell.Java:455)
    at org.Apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.Java:702)
    at org.Apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.Java:197)
    at org.Apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.Java:299)
    at org.Apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.Java:81)
    at Java.util.concurrent.FutureTask.run(FutureTask.Java:262)
    at Java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.Java:1145)
    at Java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.Java:615)
    at Java.lang.Thread.run(Thread.Java:745)  

Container exited with a non-zero exit code 15
.Failing this attempt.. Failing the application.
     ApplicationMaster Host: N/A
     ApplicationMaster RPC port: -1
     queue: root.hdfs
     start time: 1424699723648
     final status: FAILED
     tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066
     user: hdfs

2015-02-23 19:26:04 DEBUG Client - stopping client from cache: org.Apache.hadoop.ipc.Client@4085f1ac
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called

Toute aide serait grandement appréciée.

hadoopapache-sparkhdfsyarncloudera
16
Sachin Singh

Cela peut vouloir dire beaucoup de choses. Pour nous, nous obtenons le même message d'erreur en raison d'une version de classe Java non prise en charge, et nous avons résolu le problème en supprimant la classe Java référencée dans notre projet.

Utilisez cette commande pour voir le message d'erreur détaillé:

yarn logs -applicationId application_1424284032717_0066
20
Gongqin Shen

Vous devez supprimer ".setMaster (" local ")" dans le code.

2
Vinícius P. Freire

Pour moi, le problème du code de sortie a été résolu en plaçant Hive-site.xml dans le répertoire spark/conf.

1
Sachin Singh

La commande semble correcte. 

Ce que j’ai découvert, c’est que le "code de sortie 15" indique normalement une exception TableNotFound. Cela signifie généralement qu'il y a une erreur dans le code que vous soumettez.

Vous pouvez vérifier cela en visitant l'URL de suivi. 

1
amd

Supprimez la ligne "spark.master":"local[*] "dans le fichier de configuration d'étincelle si vous exécutez les travaux d'étincelle sous cluster.

Supposons que vous exécutiez le PC local, incluez-le.

Mani

0
manikandan muthuraj