web-dev-qa-db-fra.com

Hadoop: échec de la connexion à ResourceManager

Après avoir installé hadoop 2.2 et essayé de lancer des exemples de tubes, ive a obtenu l’erreur suivante (la même erreur s’affiche après une tentative de lancement de hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount someFile.txt /out):

/usr/local/hadoop$ hadoop pipes -Dhadoop.pipes.Java.recordreader=true -Dhadoop.pipes.Java.recordwriter=true -input someFile.txt -output /out -program bin/wordcount
DEPRECATED: Use of this script to execute mapred command is deprecated.
Instead use the mapred command for it.

13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:07 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:08 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:09 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:10 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:11 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:12 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:13 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:14 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

Mon filé.xml:

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.Apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>

core-site.xml:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

mapred-site.xml:

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

hdfs-site.xml:

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/home/hduser/mydata/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/hduser/mydata/hdfs/datanode</value>
</property>
</configuration>

J'ai compris que mon IPv6 est désactivé comme il se doit. Peut-être que mes/etc/hosts ne sont pas corrects?

/ etc/hosts:

fe00::0         ip6-localnet
ff00::0         ip6-mcastprefix
ff02::1         ip6-allnodes
ff02::2         ip6-allrouters

127.0.0.1 localhost.localdomain localhost hduser
# Auto-generated hostname. Please do not remove this comment.
79.98.30.76 356114.s.dedikuoti.lt  356114
::1             localhost ip6-localhost ip6-loopback
hadoopyarn
23
user3102852

Le problème de connexion du gestionnaire de ressources était dû au fait que ive avait besoin d'ajouter quelques propriétés à yarn-site.xml:

<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>

Pourtant, mes emplois ne sont pas en cours d'exécution, mais la connexion est réussie maintenant

21
user3102852

Assurez-vous que vous avez commencé Yarn. Utilisez cette commande pour le démarrer:

start-yarn.sh

Utilisez ensuite cette commande pour vérifier que le gestionnaire de ressources est en cours d'exécution:

jps

La sortie devrait ressembler à ceci:

17542 NameNode

17920 SecondaryNameNode

22064 Jps

17703 DataNode

18226 ResourceManager

18363 NodeManager

11
Nadine

La méthode appropriée consiste peut-être à ajouter les lignes suivantes dans yarn-site.xml: 

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>127.0.0.1</value>
</property>

Parce que le champ de valeur Host représente un nom d’hôte unique qui peut être défini à la place de la définition de toutes les ressources d’adresse yarn.resourcemanager *. Résultat en ports par défaut pour les composants ResourceManager.

Apache Hadoop 2.7.1 - Configurations pour ResourceManager

  • Paramètre: yarn.resourcemanager.hostname
  • Valeur: hôte ResourceManager.
  • Remarques: Host Nom d'hôte unique pouvant être défini à la place de la définition de toutes les ressources d'adresse yarn.resourcemanager *. Résultat en ports par défaut pour les composants ResourceManager.
2
Mincong Huang

J'avais affronté le même problème. Je l'ai résolu.

En cas de problème de connexion à ResourceManager, assurez-vous que Yarn est en cours d'exécution ou non. Le fil est divisé en différentes entités. L'un d'eux est ResourceManager, responsable de l'allocation des ressources aux différentes applications exécutées dans le cluster.

Suivez les étapes suivantes.

  1. Démarrer le fil en utilisant la commande: start-yarn.sh
  2. Vérifiez le gestionnaire de ressources avec la commande: jps
  3. Ajoutez le code suivant à la configuration
<property>
    <name>yarn.resourcemanager.address</name>
    <value>127.0.0.1:8032</value>
</property>
1
sunanda

J'ai résolu le même problème en changeant la valeur en 127.0.0.1:* dans yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.resourcemanager.address</name>
    <value>127.0.0.1:8032</value>
     </property>
      <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>127.0.0.1:8030</value>
     </property>
    <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>127.0.0.1:8031</value>
     </property>
1
B B
Configuration conf = HBaseConfiguration.create();
 conf.set("yarn.resourcemanager.address", "127.0.0.1:8032");

Dans conf, vous pouvez définir yarn.resourcemanager.address

0
Saurabh