반응형
Airflow작업중 webserver에 작성한 DAG이 보이지않아서, 혹시 scheduler에 문제가 생긴게 아닌지해서 docker 로그를 살펴보니 아래와같은 문구가 계속해서 출력중인 상태였음
Airflow Sechulder error ERROR - DagFileProcessorManager (PID=1234) last sent a heartbeat 50.72 seconds ago! Restarting it
해당 문제는 다음과같이 작업하면 해결이 가능함.
- 만약 로컬 airflow에서 작업한다면
- dag_file_processor_timeout의 값을 조정이 필요함. default값으로 50초인데 약 60초로 키우면됨
- 만일 docker-compose airflow에서 작업한다면
- AIRFLOW__CORE__DAG_FILE_PROCESSOR_TIMEOUT 해당 env값을 60으로 조정이 필요
위의 값을 바꾸고나서 다시 airflow webserver를 띄우면 정상적으로 내가 작성한 DAG을 볼수가있다.
반응형
'Data > Data Engineering' 카테고리의 다른 글
| [Grafana] Slack Alert 메세지 커스텀마이징 (0) | 2022.11.20 |
|---|---|
| [Grafana] Slack Alert 만들기 (0) | 2022.11.20 |
| [Jenkins] Docker Jenkins 기본 포트 변경방법 (0) | 2022.09.07 |
| [Docker+Airflow] Airflow로 인해 너무 커져버린 Docker Container용량 (0) | 2022.08.20 |
| [Docker] Docker 기본 파일시스템 경로 변경 (0) | 2022.08.18 |
