web-dev-qa-db-fra.com

Apache Airflow: Contrôle de la journalisation [Désactiver/Ajuster le niveau de journalisation]

J'utilise Airflow 1.7.1.3 installé à l'aide de pip

J'aimerais limiter la journalisation au niveau ERROR pour le workflow exécuté par le planificateur. Impossible de trouver quoi que ce soit au-delà de la définition de l'emplacement des fichiers journaux dans le fichier settings.py.

De plus, les ressources en ligne m’ont amené à cette discussion de groupe sur Google ici mais pas beaucoup d’informations ici aussi

Avez-vous une idée de la manière de contrôler la connexion à Airflow?

pythonairflow
8
Priyank Mehta

La fonctionnalité de journalisation et sa configuration seront modifiées dans la version 1.9 avec ce commit

5
Dimo Boyadzhiev

J'ai essayé ci-dessous contourner et il semble fonctionner pour définir LOGGING_LEVEL en dehors de settings.py:

  • Mettre à jour settings.py:

    • Supprimer ou commenter la ligne:
      LOGGING_LEVEL = logging.INFO

    • Ajouter une ligne:
      LOGGING_LEVEL = os.path.expanduser(conf.get('core', 'LOGGING_LEVEL'))

  • Mettez à jour le fichier de configuration airflow.cfg:

    • Ajouter une ligne sous [core]: logging_level = WARN

    • Redémarrez les services webserver et scheduler

4
Kiran

La seule solution que je connaisse consiste à changer LOGGING_LEVEL dans le fichier settings.py. Le niveau par défaut est défini sur INFO. 

AIRFLOW_HOME = os.path.expanduser(conf.get('core', 'AIRFLOW_HOME'))
SQL_ALCHEMY_CONN = conf.get('core', 'SQL_ALCHEMY_CONN') 
LOGGING_LEVEL = logging.INFO
DAGS_FOLDER = os.path.expanduser(conf.get('core', 'DAGS_FOLDER'))
0
Kiran