[Airflow] DagFileProcessorManager heartbeat 관련에러

Airflow작업중 webserver에 작성한 DAG이 보이지않아서, 혹시 scheduler에 문제가 생긴게 아닌지해서 docker 로그를 살펴보니 아래와같은 문구가 계속해서 출력중인 상태였음

 

Airflow Sechulder error ERROR - DagFileProcessorManager (PID=1234) last sent a heartbeat 50.72 seconds ago! Restarting it

 

해당 문제는 다음과같이 작업하면 해결이 가능함.

 

• 만약 로컬 airflow에서 작업한다면
  • dag_file_processor_timeout의 값을 조정이 필요함. default값으로 50초인데 약 60초로 키우면됨
• 만일 docker-compose airflow에서 작업한다면
  • AIRFLOW__CORE__DAG_FILE_PROCESSOR_TIMEOUT 해당 env값을 60으로 조정이 필요

위의 값을 바꾸고나서 다시 airflow webserver를 띄우면 정상적으로 내가 작성한 DAG을 볼수가있다.