AWS Glue Crawler ne crée pas de table
J'ai créé un robot d'exploration dans AWS Glue qui ne crée pas de table dans le catalogue de données une fois celui-ci terminé.
L'exécution du robot d'exploration prend environ 20 secondes et les journaux indiquent que l'opération s'est déroulée avec succès. Le journal CloudWatch indique:
- Indice de référence: exécution de l'analyse de démarrage du robot d'exploration
- Benchmark: Classification Complete, écriture des résultats dans la base de données
- Benchmark: avoir terminé d'écrire dans le catalogue
- Benchmark: Crawler a fini de fonctionner et est prêt
Je ne comprends pas pourquoi les tables du catalogue de données ne sont pas créées. AWS Docs ne sont pas d'une grande aide pour le débogage.
vérifiez le rôle IAM associé au robot. Très probablement, vous n'avez pas la permission correcte.
Lorsque vous créez le robot, si vous choisissez de créer un rôle IAM (paramètre par défaut), une stratégie ne sera créée que pour l'objet S3 que vous avez spécifié. si vous modifiez ultérieurement le robot et ne modifiez que le chemin S3. Le rôle associé au robot d'exploration ne sera pas autorisé sur le nouveau chemin S3.
Vous pouvez essayer d'exclure certains fichiers du compartiment s3, et ces fichiers exclus devraient apparaître dans le journal. Je trouve cela utile pour déboguer ce qui se passe avec le robot.
Si vous avez des tables existantes dans la base de données cible, le robot peut associer vos nouveaux fichiers à la table existante plutôt que d'en créer un nouveau.
Cela se produit lorsqu'il existe des similitudes dans les données ou dans une structure de dossiers que le composant Glue peut interpréter comme un partitionnement.
De plus, j’ai parfois eu besoin d’actualiser la liste des tables d’une base de données pour en faire apparaître de nouvelles.