web-dev-qa-db-fra.com

une erreur s'est produite lors de l'exécution du code Spark hello world?

J'ai eu l'erreur suivante lors de l'exécution d'un programme spark hello world.

 [info] Mise à jour {file:/C:/Utilisateurs/utilisateur1/IdeaProjects/sqlServer /} sqlserver ... 
 [info] Résolution de org.Apache.spark # spark-core_2.12; 2.1.1 ... 
 [Avertir] module non trouvé: org.Apache.spark # spark-core_2.12; 2.1.1 
 [Avertir] ==== local: essayé 
 [avertir] C:\Utilisateurs\utilisateur1\.ivy2\local\org.Apache.spark\spark-core_2.12\2.1.1\ivys\ivy.xml 
 [avertir] === = public: essayé 
 [avertir] https://repo1.maven.org/maven2/org/Apache/spark/spark-core_2.12/2.1.1/spark-core_2.12-2.1.1. pom 
 [avertir] ==== ivoire-préchargé: essayé 
 [avertir] C:\Utilisateurs\utilisateur1\.sbt\préchargé\org.Apache.spark\spark-core_2. 12\2.1.1\ivys\ivy.xml 
 [Avertir] ==== préchargé localement: essayé 
 [Avertir] fichier:/C: /Users/user1/.sbt/preloaded /org/Apache/spark/spark-core_2.12/2.1.1/spark-core_2.12-2.1.1.pom[.____.unset-info] Résolution de jline # jline; 2.14.3 ... 
[prévenir]  ::::::::::::::::::::::::::::::::::::::::::::: : 
 [avertir] :: DEPENDANCES NON RESOLUES :: 
 [avertir] :::::::::::::::: ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ; 2.1.1: non trouvé 
 [Avertir] ::::::::::::::::::::::::::::::::: :::::::::::: 
 [avertir] 
 [avertir] Remarque: chemin des dépendances non résolues: 
 [avertir] org.Apache.spark: spark-core_2 .12: 2.1.1 (C:\Utilisateurs\utilisateur1\IdeaProjects\sqlServer\build.sbt # L7-8) 
 [Avertir] + - mpa: mpa_2.12: 1.0 
 [Trace ] Trace de pile supprimée: dernière exécution *: mise à jour pour la sortie complète. 
 [Erreur] (*: mise à jour) sbt.ResolveException: dépendance non résolue: org.Apache.spark # spark-core_2.12; 2.1.1 : non trouvé 
 [erreur] Temps total: 1 s, terminé le 9 mai 2017 11:05:44

Voici le build.sbt ,

name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.Apache.spark" %% "spark-core" % "2.1.1"

Mon message Webcome Spark.

 Bienvenue à 
 ____ __ 
/__/__ ___ _____//__
 _\\/_ \/_ `/ __/'_ /. ____.]/___/.__/\ _, _/_// _/\ _\version 2.1.1 
 /_/[.____.unset.____.].Utilisant Scala version 2.11.8 (Ordinateur virtuel Java HotSpot (TM) 64 bits, Java 1.8.0_111) 
 Saisissez des expressions pour les évaluer. 
 Tapez: help pour plus d'informations.

Mettre à jour:

J'ai changé le built.sbt en

name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.Apache.spark" %% "spark-core_2.11" % "2.1.0"

Mais j'ai toujours

 [info] Mise à jour {fichier:/C:/Utilisateurs/utilisateur1/IdeaProjects/sqlServer /} sqlserver ... 
 [info] Résolution de org.Apache.spark # spark-core_2.11_2. 11; 2.1.0 ... 
 [Avertir] module non trouvé: org.Apache.spark # spark-core_2.11_2.11; 2.1.0 
 [Avertir] ==== local : essayé 
 [avertir] C:\Utilisateurs\utilisateur1\.ivy2\local\org.Apache.spark\spark-core_2.11_2.11\2.1.0\ivys\ivy.xml 
 [avertir] ==== public: essayé 
 [avertir] https://repo1.maven.org/maven2/org/Apache/spark/spark-core_2.11_2.11/2.1.0/spark- core_2.11_2.11-2.1.0.pom 
 [avertir] ==== ivoire-préchargée: essayé 
 [avertir] C:\Utilisateurs\utilisateur1\.sbt\préchargé\org.Apache.spark\spark-core_2.11_2.11\2.1.0\ivys\ivy.xml 
 [avertir] ==== préchargé localement: essayé 
 [avertir] fichier: /C:/Users/user1/.sbt/preloaded/org/Apache/spark/spark-core_2.11_2.11/2.1.0/spark-core_2.11_2.11-2.1.0.pom 
 [ info] Résoudre jline # jline; 2.12.1 ... 
 [avertir] :::::::::::::::::::::::::::::: ::::::::::::::::: 
 [avertir] :: DEPENDANCES NON RESOLUES ::
[prévenir]  :::::::::::::::::::::::::::::::::::::::: :::::: 
 [avertir] :: org.Apache.spark # spark-core_2.11_2.11; 2.1.0: non trouvé 
 [avertir] :::::: ::::::::::::::::::::::::::::::::::::::::
[prévenir]
 [avertir] Remarque: chemin des dépendances non résolues: 
 [avertir] org.Apache.spark: spark-core_2.11_2.11: 2.1.0 (C:\Utilisateurs\utilisateur1\IdeaProjects\sqlServer\build .sbt # L7-8) 
 [avertir] + - mpa: mpa_2.11: 1.0 
 [trace] Trace de pile supprimée: exécutée en dernier *: mise à jour pour la sortie complète. 
 [erreur] (*: mise à jour) sbt.ResolveException: dépendance non résolue: org.Apache.spark # spark-core_2.11_2.11; 2.1.0: introuvable 
 [erreur] Durée totale: 1 s, complété le 9 mai 2017 13:01:01
scalaapache-sparksbt
4
ca9163d9

Vous avez une erreur dans le fichier built.sbt, vous devez remplacer %% par %:

name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.Apache.spark" % "spark-core" % "2.1.1"

%% demande à Sbt d'ajouter la version actuelle de scala à l'artefact

Vous pouvez spark-core_2.11 avec % pour résoudre le problème.

// https://mvnrepository.com/artifact/org.Apache.spark/spark-core_2.11
libraryDependencies += "org.Apache.spark" % "spark-core_2.11" % "2.1.0"

J'espère que cela t'aides!

10
Shankar Koirala

J'ai eu la même erreur.

build.sbt

name := "Simple Project"  
version := "1.0"  
scalaVersion := "2.12.3"  
libraryDependencies += "org.Apache.spark" %% "spark-sql" % "2.2.0"

il suffit de changer scalaVersion à 2.11.8 ou moins. Et il fonctionne.

3
许传华

J'ai eu la même erreur et résolu par étapes ci-dessous. Fondamentalement, le nom de fichier ne correspond pas à la configuration sbt.
- Vérifiez le nom du fichier JAR du noyau d’étincelle dans $ SPARK_HOME/jars (il s’agit du fichier spark-core _ 2.11 - 2.1.1.jar).
- Installez scala 2.11 . 11.
- Éditez build.sbt en scalaVersion: = " 2.11 . 11" .

1
Leon

Cela a fonctionné pour moi. Exemple de build.sbt

name := "testproj"

version := "0.1"

scalaVersion := "2.11.9"

libraryDependencies += "org.Apache.spark" %% "spark-sql" % "2.2.0"
0
Murali Bala