web-dev-qa-db-fra.com

python-hdfs

Quel est le meilleur module pour interagir avec HDFS avec Python3?

Python lire le fichier en tant que flux depuis HDFS

Python: enregistrer pandas dataframe dans un fichier parquet

Comment écrire une trame de données pyspark sur HDFS puis comment la relire dans une trame de données?

Comment enregistrer un fichier sur le cluster

Écrire des données sur Hadoop

Stockage d'images évolutif

Que devrait être hadoop.tmp.dir?

Où HDFS stocke les fichiers localement par défaut?

Comment Hadoop effectue-t-il le fractionnement des entrées?

Hadoop copier un répertoire?

Où Hive stocke-t-il les fichiers dans HDFS?

Hadoop, comment compresser la sortie du mappeur mais pas la sortie du réducteur

La façon de vérifier la taille d'un répertoire HDFS?

Comment copier des fichiers de S3 vers Amazon EMR HDFS?

LeaseExpiredException: aucune erreur de bail sur HDFS

Différence entre hadoop fs -put et hadoop fs -copyFromLocal

Namenode ne commence pas

Aucun nœud de données n'est démarré

Différences entre Amazon S3 et S3n dans Hadoop

Comment lister tous les fichiers d'un répertoire et de ses sous-répertoires dans hadoop hdfs

Comment spécifier le nom d'utilisateur lors de la mise des fichiers sur HDFS à partir d'une machine distante

Comment trouver la taille d'un fichier HDFS

Commande HDFS d'espace libre disponible

Autorisation refusée sur hdfs

Est-il possible d'ajouter des nœuds à un cluster Hadoop en cours d'exécution?

obtenir des valeurs nulles lors du chargement des données à partir de fichiers plats dans des tables Hive

ruche - comment supprimer une table de ruche externe avec des données

CSV Hive Load avec des virgules dans les champs cités

En écrivant sur HDFS à partir de Java, obtenir "ne peut être répliqué que sur des nœuds au lieu de minReplication"

Comment Hadoop traite-t-il les enregistrements répartis à travers les limites de blocs?

Déplacement de données vers hdfs à l'aide du commutateur copyFromLocal

Meilleure compression séparable pour l’entrée Hadoop = bz2?

Fusion de fichiers hdfs

L'écriture sur HDFS ne peut être répliquée que sur des nœuds au lieu de minReplication (= 1)

Le noeud de nom est en mode sans échec. Pas capable de partir

Hadoop en renommant des fichiers

Écrivez un fichier en hdfs avec Java

Hadoop: processus Datanode tué

Différence entre HBase et Hadoop / HDFS

Lecture de fichiers HDFS et locaux en Java

Mode autonome Spark: comment compresser une sortie d'étincelle écrite sur HDFS

Comment copier un fichier de HDFS vers le système de fichiers local

Quelle est la différence entre les commandes shell "hadoop fs" et les commandes shell "hdfs dfs"?

connexion hadoop refusée sur le port 9000

Que signifie exactement non DFS utilisé?

commande hadoop fs -put

Comment réparer les champs HDFS corrompus

taille de bloc de données dans HDFS, pourquoi 64 Mo?

Pourquoi n'y a-t-il pas de commande Shell «hadoop fs -head»?

Échec de la détection d'un répertoire personnel hadoop valide.

Hadoop - Redémarrez le datanode et le tasktracker

Nombre de fichiers dans un répertoire HDFS

Installation de Hadoop 2.2 `. ' Aucun fichier ou répertoire de ce nom

Où se trouve le fichier de configuration pour HDFS dans Hadoop 2.2.0?

Existe-t-il un équivalent de «pwd» dans hdfs?

Obtenez quelques lignes de données HDFS

Quel est le but de la phase de réorganisation et de tri dans le réducteur de la programmation de réduction de carte?

Où HDFS stocke les données

Pourquoi "hadoop fs -mkdir" échoue-t-il avec l'autorisation refusée?

Le port par défaut de Namenode de HDFS est 50070.Mais j'ai rencontré à certains endroits 8020 ou 9000

Ajouter des données à un fichier existant dans HDFS Java

Apache Spark Moyenne mobile

Comment obtenir hadoop pour créer des répertoires s'ils n'existent pas

Configuration incorrecte: l'adresse namenode dfs.namenode.rpc-address n'est pas configurée

Écrire dans plusieurs sorties par clé Spark - un travail Spark

comment ajouter un utilisateur dans un supergroupe de hdfs sous linux?

Spark sur la compréhension du concept de fil

Analyser CSV en tant que DataFrame / DataSet avec Apache Spark et Java

Trouver le numéro de port où HDFS écoute

Vérification si le répertoire dans HDFS existe déjà ou non

Des codes de données sont en cours d'exécution et aucun noeud n'est exclu de cette opération.

Spark itérer le répertoire HDFS

Créer un répertoire dans le système de fichiers hadoop

Renommer le répertoire en hdfs

hadoop copier un dossier du système de fichiers local sur HDFS

hadoop fs -ls se traduit par "aucun fichier ou répertoire"

Le nœud/base n'est pas dans ZooKeeper

problème d'exécution d'un travail Spark sur un cluster de fils

Spark-submit ne fonctionne pas lorsque le fichier jar de l'application est en hdfs

Comment la partition Spark (ing)) fonctionne-t-elle sur les fichiers HDFS?

Spark - charge le fichier CSV en tant que DataFrame?

apache spark - vérifie si le fichier existe

Taille fractionnée vs taille de bloc dans Hadoop

Pourquoi DataFrame.saveAsTable ("df") enregistre la table sur un hôte HDFS différent?

Comment copier des données d'un HDFS sur un autre HDFS?

Hadoop Mapreduce Error Le chemin d'entrée n'existe pas: hdfs: // localhost: 54310/user/hduser/input "

Comment naviguer dans les répertoires dans Hadoop HDFS

Comment fonctionne le processus de basculement Hadoop Namenode?

Comment puis-je obtenir les noms de schéma/colonne du fichier parquet?

Le répertoire de travail racine:/tmp/Hive sur HDFS doit être accessible en écriture. Les autorisations actuelles sont les suivantes: rw-rw-rw- (sous Windows)

Comment décompresser des fichiers .gz dans un nouveau répertoire dans hadoop?

Nombre de réducteurs par défaut

Différence entre «charger les données dans le chemin» et «emplacement» dans la ruche?

lire un fichier en hdfs depuis pyspark

Hadoop: ... être répliqué sur les noeuds au lieu de minReplication (= 1). Il y a 1 datanode en cours d'exécution et aucun nœud n'est exclu de cette opération

Comment trouver le répertoire Hadoop hdfs sur mon système?

Lire des fichiers texte entiers à partir d'une compression dans Spark

hdfs dfs -put avec écraser?

Quels sont les avantages et les inconvénients du format parquet par rapport aux autres formats?