Où HDFS stocke les fichiers localement par défaut?
J'utilise hadoop avec une configuration par défaut avec un cluster à un nœud et j'aimerais trouver où HDFS stocke les fichiers localement.
Des idées?
Merci.
Vous devez rechercher dans le fichier de configuration hdfs-default.xml le paramètre dfs.data.dir. Le paramètre par défaut est: $ {hadoop.tmp.dir}/dfs/data et notez que le $ {hadoop.tmp.dir} est actuellement dans le fichier core-default.xml décrit ici .
Les options de configuration sont décrites ici . La description de ce paramètre est:
Détermine où sur le local système de fichiers un noeud de données DFS devrait stocker ses blocs. Si c'est un liste de répertoires délimités par des virgules, alors les données seront stockées dans tous les nommés répertoires, généralement sur différents dispositifs. Répertoires qui n'existent pas sont ignorés.
On dirait que pour la version actuelle (2.7.1) le répertoire est
/tmp/hadoop-${user.name}/dfs/data
Basé sur dfs.datanode.data.dir, hadoop.tmp.dir, à partir de: http://hadoop.Apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml . . http://hadoop.Apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml
En tant que "réponse plus récente" et pour clarifier les numéros de version de Hadoop:
Si vous utilisez Hadoop 1.2.1 (ou quelque chose de similaire), la réponse de @Binary Nerd reste vraie.
Mais si vous utilisez Hadoop 2.1.0-beta (ou quelque chose de similaire), vous devriez lire la documentation de configuration ici et l’option que vous souhaitez définir est: dfs.datanode.data.dir
Pour hadoop 3.0.0, le chemin racine hdfs est celui donné par la propriété "dfs.datanode.data.dir"