Data/Data Engineering
2022. 12. 1.
[Airflow] Task Was the task killed externally? + 아무런 로그없이 죽는 현상 해결
일단 확실하진않은 해결법입니다. 전 이렇게 해서 해결이된 상태라 참고만 부탁드립니다 :) Airflow에서 갑자기 Task들이 아무런 log가 발생안되고 죽는 현상이 빈번하게 발생해서 디버깅중에, airflow_scheduler에서 다음과같은 로그가 무수히 발생했다. [2022-11-30 05:11:28,252] {scheduler_job.py:684} ERROR - Executor reports task instance finished (failed) although the task says its queued. (Info: None) Was the task killed externally? 대충 외부요소로 인해서 Task가 죽었다는건데, 자료 조사를 해보니 한가지 공통되는 원인이 보였다. "일단 Re..
![[Airflow] Task Was the task killed externally? + 아무런 로그없이 죽는 현상 해결](http://i1.daumcdn.net/thumb/C480x320/?fname=https://blog.kakaocdn.net/dn/bIP0qW/btrSwpm9okc/pa50NCx6KkXKKIsM4O8a5K/img.png)