web-dev-qa-db-fra.com

Spark Impossible de charger la bibliothèque native-hadoop pour votre plate-forme

Je suis un mannequin pour Ubuntu 16.04, qui tente désespérément de faire Spark). J'ai essayé de résoudre mon problème en utilisant les réponses trouvées ici dans stackoverflow mais je n'ai rien résolu à résoudre. spark avec la commande ./spark-Shell du dossier bin je reçois ce message

WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable".

J'utilise Java la version est

Java version "1.8.0_101
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode).

Spark est la dernière version: 2.0.1 avec Hadoop 2. 7. J'ai également essayé à nouveau avec un ancien paquetage de Spark, le 1.6.2 avec Hadoop 2.4, mais le résultat est identique. J'ai aussi essayé d'installer Spark sous Windows, mais cela semble plus difficile que de le faire sous Ubuntu.

J'ai également essayé d'exécuter certaines commandes sur Spark à partir de mon ordinateur portable: je peux définir un objet, je peux créer un RDD, le stocker dans le cache et utiliser une fonction comme .map() , mais lorsque j'essaie d'exécuter la fonction .reduceByKey(), je reçois plusieurs chaînes de messages d'erreur.

Peut-être que c'est la bibliothèque Hadoop qui est compilée pour 32 bits, alors que je suis sur 64 bits?

Merci.

hadoopapache-sparkhadoop2
27
cane_mastino

Étapes à suivre:

  • télécharger les binaires Hadoop
  • décompressez dans le répertoire de votre choix
  • ensemble HADOOP_HOME pour pointer vers ce répertoire.
  • ajouter $HADOOP_HOME/lib/native à LD_LIBRARY_PATH.
24
user6022341
  1. Téléchargez le binaire hadoop ( lien ) et mettez-le dans votre répertoire personnel (vous pouvez choisir une version hadoop différente si vous le souhaitez et modifier les étapes suivantes en conséquence).
  2. Décompressez le dossier dans votre répertoire personnel à l'aide de la commande suivante. tar -zxvf hadoop_file_name
  3. Maintenant, ajoutez export HADOOP_HOME = ~/hadoop-2.8.0 à votre fichier .bashrc. Ouvrez un nouveau terminal et réessayez.

Source: Installer PySpark sur Ubunt

3
Michael James Kali Galarnyk