web-dev-qa-db-fra.com

Le port par défaut de Namenode de HDFS est 50070.Mais j'ai rencontré à certains endroits 8020 ou 9000

Lors de la configuration du cluster hadoop, j'ai lu que le namenode s'exécute sur 50070 et que je l'ai configuré en conséquence, et tout fonctionne correctement.

Mais dans certains livres, j'ai rencontré l'adresse du nœud de nom: 

hdfs://localhost:9000/

ou

hdfs://localhost:8020

Quel est le nombre exact pour définir le port de namenode?

hadoophdfs
34
Kumar

L'adresse par défaut de l'interface utilisateur Web namenode est http://localhost:50070/. Vous pouvez ouvrir cette adresse dans votre navigateur et vérifier les informations de namenode.

L'adresse par défaut du serveur namenode est hdfs://localhost:8020/. Vous pouvez vous y connecter pour accéder à HDFS via HDFS api. Le est la vraie adresse de service.

28
zsxwing

Les ports Hadoop par défaut sont les suivants: (ports HTTP, ils ont l'interface utilisateur Web):

Daemon                   Default Port  Configuration Parameter
-----------------------  ------------ ----------------------------------
Namenode                 50070        dfs.http.address
Datanodes                50075        dfs.datanode.http.address
Secondarynamenode        50090        dfs.secondary.http.address
Backup/Checkpoint node?  50105        dfs.backup.http.address
Jobracker                50030        mapred.job.tracker.http.address
Tasktrackers             50060        mapred.task.tracker.http.address

En interne, Hadoop utilise principalement Hadoop IPC, qui signifie Inter Process Communicator, pour communiquer entre les serveurs. Le tableau suivant présente les ports et les protocoles utilisés par Hadoop. Ce tableau n'inclut pas les ports HTTP mentionnés ci-dessus.

Daemon      Default Port        Configuration Parameter     
------------------------------------------------------------
Namenode    8020                fs.default.name         
Datanode    50010               dfs.datanode.address        
Datanode    50020               dfs.datanode.ipc.address                                    
Backupnode  50100               dfs.backup.address

consultez ce lien Pour plus d'informations: http://blog.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/

28
msoliman

Pour accéder à l'interface utilisateur Web Hadoop, vous devez taper http: // localhost: 50075/ Bien que votre core-site.xml ait http: // localhost: 9000 car il s'agit d'un fichier hdfs. requêtes et 50075 est le port par défaut pour l'interface utilisateur Web.

3
Hemanth

Cela est dû au fait que la configuration par défaut est différente pour différentes configurations et distributions de hadoop . Nous pouvons toujours configurer le port en modifiant les propriétés fs.default.name ou fs.defaultFS comme ci-dessous dans core-site.xml.

<configuration>
 <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
 </property>
</configuration>

Pour Hadoop 1.0.4 si je ne mentionne pas le numéro de port comme ci-dessous

<value>hdfs://localhost</value>

alors le port par défaut pris est 8020. Mais pour certaines versions telles que .20, je lis que c’est 9000. Cela dépend donc de la version de hadoop que vous utilisez.

Mais toute la configuration et la distribution utilisent 50070 comme numéro de port standard pour HDFS ui.

3
sathish reddy

Le port de service HDFS par défaut est 9000. Il ne possède pas d'interface utilisateur Web. Le port d'interface Web NameNode par défaut est 5.0070 (bien que, dans hadoop 3.0 et ultérieur, 50070 soit mis à jour à 9870)

1
Binita Bharati

50070 est le port d'interface utilisateur par défaut pour namenode. tandis que 8020/9000 est le port IPC (Inter Process Communicator) pour le nom de code.

Référence au port IPC: https://en.wikipedia.org/wiki/Inter-process_communication

1
Bijoy