[MLOps] Airflow 트러블슈팅 정리

몰랐는데 airflow는 airbnb에서 만든것이다

Airflow에서 DAG를 실행시켜도 안돌아가는 문제

airflow dag를 다 만들고나서, test도 통과하고 이제 webserver에서 해당 dag를 실행시키려고했는데, 아무리 기다려도 돌아가지 않았다. 무슨문제이니 살펴보니, 동시에 airflow schedule를 실행시키지 않아서 생긴 문제였다. 따라서 다음과같은 명령어로 실행시킨뒤, webserver에서 해당 dag를 실행시키니 잘돌아가는것을 확인했다.

airflow schedule > [log 저장될 path] &

DAG를 추가했지만 airflow dags list에 존재하지않음

이건일단 높은확률로 dag python파일에 오류가 생겨서 자동으로 추가가안되는건데. python환경에서 dag파일을 실행시켜서 아무런 에러가 안나면 된다.

python [확인하고자하는 dag.py파일]