Spark - Java IOException: échec de la création du répertoire local dans/tmp/blockmgr *
J'essayais de lancer un Spark Job de longue durée. Après quelques heures d'exécution, je reçois une exception ci-dessous:
Caused by: Java.io.IOException: Failed to create local dir in /tmp/blockmgr-bb765fd4-361f-4ee4-a6ef-adc547d8d838/28
J'ai essayé de le contourner en vérifiant:
Emission de permission dans/tmp dir. Le serveur spark ne fonctionne pas en tant que root. mais le répertoire/tmp doit être accessible en écriture à tous les utilisateurs.
/ tmp Dir a suffisamment d'espace.
En supposant que vous travaillez avec plusieurs nœuds, vous devez vérifier chaque nœud participe à l'opération d'allumage (maître/pilote + esclaves/nœuds/ouvriers).
Veuillez confirmer que chaque utilisateur/nœud dispose de suffisamment d’espace disque (en particulier du dossier check/tmp) et des autorisations appropriées.
Faites une sauvegarde du fichier cache tmp. Nettoyez le répertoire tmp et démarrez votre shell. Ça va marcher. Même approche a fonctionné pour moi.