Comment vérifier si les démons Hadoop sont en cours d'exécution?
Quelles sont les commandes simples pour vérifier si les démons Hadoop sont en cours d'exécution?
Par exemple, si j'essaie de comprendre pourquoi HDFS n'est pas configuré correctement, je souhaite connaître un moyen de vérifier si namemonode/datanode/jobtracker/tasktracker est exécuté sur cette machine.
Existe-t-il un moyen de vérifier rapidement sans consulter les journaux ni utiliser ps (sous Linux)?
Je n’ai pas trouvé de solution satisfaisante, j’ai donc utilisé
ps -ef | grep hadoop | grep -P 'namenode|datanode|tasktracker|jobtracker'
juste pour voir si ça marche
et
./hadoop dfsadmin -report
mais la dernière n'a pas été utile jusqu'à ce que le serveur était en marche.
Dans le type de shell 'jps' (vous aurez peut-être besoin d'un jdk pour exécuter jps). Il répertorie tous les processus Java en cours d'exécution et répertorie les démons Hadoop en cours d'exécution.
Si vous voyez que le processus hadoop ne fonctionne pas sur ps -ef|grep hadoop, exécutez sbin/start-dfs.sh. Surveiller avec hdfs dfsadmin -report:
[mapr@node1 bin]$ hadoop dfsadmin -report
Configured Capacity: 105689374720 (98.43 GB)
Present Capacity: 96537456640 (89.91 GB)
DFS Remaining: 96448180224 (89.82 GB)
DFS Used: 89276416 (85.14 MB)
DFS Used%: 0.09%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead)
Name: 192.168.1.16:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4986138624 (4.64 GB)
DFS Remaining: 47813910528(44.53 GB)
DFS Used%: 0.08%
DFS Remaining%: 90.48%
Last contact: Tue Aug 20 13:23:32 EDT 2013
Name: 192.168.1.17:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4165779456 (3.88 GB)
DFS Remaining: 48634269696(45.29 GB)
DFS Used%: 0.08%
DFS Remaining%: 92.03%
Last contact: Tue Aug 20 13:23:34 EDT 2013
vous pouvez utiliser la commande Jps comme le dit vipin comme ceci:
/usr/lib/Java/jdk1.8.0_25/bin/jps
bien sûr vous allez changer le chemin de Java avec celui que vous avez "le chemin dans lequel vous avez installé Java"
Jps est un outil astucieux pour vérifier si les processus Hadoop attendus sont en cours d’exécution (élément de Java de Sun depuis la version 1.5.0).
le résultat sera quelque chose comme ça:
2287 TaskTracker
2149 JobTracker
1938 DataNode
2085 SecondaryNameNode
2349 Jps
1788 NameNode
Je reçois la réponse de ce tutoriel: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
en dehors de JPS, une autre bonne idée consiste à utiliser les interfaces Web pour NameNode et JobTracker fournies par Hadoop. Il vous montre non seulement les processus, mais vous fournit de nombreuses autres informations utiles, telles que le résumé de votre cluster, les travaux en cours, etc. Pour accéder à l'interface utilisateur NN, pointez votre navigateur Web sur "YOUR_NAMENODE_Host: 9000" et pour JT UI "YOUR_JOBTRACKER_Host: 9001".
Essayez la commande jps. Il spécifie les processus Java en cours d'exécution.
Pour vérifier si les nœuds Hadoop fonctionnent ou non:
Sudo -u hdfs hdfs dfsadmin -report
Capacité configurée: 28799380685 (26,82 Go)
Capacité actuelle: 25104842752 (23.38 Go)
DFS restant: 25012056064 (23,29 Go)
DFS utilisé: 92786688 (88.49 MB)
DFS utilisé%: 0.37%
Sous blocs répliqués: 436
Blocs avec des répliques corrompues: 0
Blocs manquants: 0Datanodes disponibles: 1 (1 total, 0 mort)
Live datanodes:
Nom: 127.0.0.1:50010 (localhost.localdomain)
Nom d'hôte: localhost.localdomain
Rack:/default
Statut de mise hors service: Normal
Capacité configurée: 28799380685 (26,82 Go)
DFS utilisé: 92786688 (88.49 MB)
Non DFS utilisé: 3694537933 (3,44 Go)
DFS restant: 25012056064 (23,29 Go)
DFS utilisé%: 0.32%
DFS restant%: 86.85%
Dernier contact: jeu. Mars 01 22:01:38 IST 2018