Airflow DAG "semble n'exister que localement. Le planificateur principal ne semble pas être au courant de son existence"
J'ai utilisé airflow pour le workflow de Spark. Après l'installation, je copie les fichiers DAG dans le dossier DAG défini dans airflow.cfg. Je peux remplir le DAG pour exécuter les BashOperators avec succès. Mais il y a toujours un avertissement comme celui mentionné. Je n'ai pas vérifié si la planification est correcte, mais je doute que la planification puisse fonctionner car l'avertissement indique que le planificateur principal ne connaît pas l'existence de mon DAG. Comment puis-je éliminer cet avertissement et obtenir un travail de planification ? Quelqu'un rencontre le même problème qui peut m'aider?
Ceci est généralement connecté au planificateur non exécuté ou à l'intervalle d'actualisation trop large. Aucune entrée de journal n'est présente, nous ne pouvons donc pas analyser à partir de là. De plus, malheureusement, la cause même peut avoir été ignorée, car c'est généralement la racine du problème :
Je n'ai pas vérifié si la planification est correcte.
Vous devez donc d'abord vérifier si les deux services suivants sont en cours d'exécution:
airflow webserver
et
airflow scheduler
Si cela ne vous aide pas, consultez cet article pour plus de référence: Airflow 1.9.0 met en file d'attente mais ne lance pas de tâches