J'ai configuré le flux d'air sur un serveur Ubuntu. J'ai bien démarré le serveur Web en tant que processus démon. Je peux démarrer le planificateur en utilisant

airflow scheduler

Et cela fonctionne bien et les dags courent. Je l'arrête ensuite et supprime tous les fichiers airflow-scheduler dans $AIRFLOW_HOME (airflow-scheduler.err, airflow-scheduler.log, airflow-scheduler.out)

J'essaie ensuite de le démarrer en tant que processus démon en utilisant

airflow scheduler -D

Il semble démarrer correctement sans erreur. Cependant, lorsque je suis arrivé sur le serveur Web, il dit:

"Le planificateur ne semble pas fonctionner. Le dernier battement de cœur a été reçu il y a 2 minutes.

La liste des DAG peut ne pas être mise à jour et les nouvelles tâches ne seront pas planifiées."

Quand je regarde dans airflow-scheduler.err, je vois :

Traceback (most recent call last):
  File "/home/emauser/.local/lib/python3.6/site-packages/sqlalchemy/pool/base.py", line 503, in <lambda>
  File "/home/emauser/.local/lib/python3.6/site-packages/sqlalchemy/pool/base.py", line 702, in _finalize_fairy
  File "/usr/lib/python3.6/logging/__init__.py", line 1337, in error
  File "/usr/lib/python3.6/logging/__init__.py", line 1444, in _log
  File "/usr/lib/python3.6/logging/__init__.py", line 1454, in handle
  File "/usr/lib/python3.6/logging/__init__.py", line 1516, in callHandlers
  File "/usr/lib/python3.6/logging/__init__.py", line 865, in handle
  File "/usr/lib/python3.6/logging/__init__.py", line 1071, in emit
  File "/usr/lib/python3.6/logging/__init__.py", line 1061, in _open
NameError: name 'open' is not defined

Avez-vous une idée de la raison pour laquelle j'obtiens une erreur sur la fonction d'ouverture intégrée du module de journalisation ?

1
Lil Sebastian 13 févr. 2020 à 23:00

1 réponse

Meilleure réponse

Avant de redémarrer votre planificateur en mode démon, assurez-vous qu'aucun autre processus du planificateur n'est en cours d'exécution. ps aux | grep airflow-scheduler

S'il y en a, tuez-les puis démarrez votre planificateur en tant que démon.

0
srikanth holur 15 févr. 2020 à 00:22