[Airflow] 잡다한 트러블 슈팅

airflow Scheduler 백그라운드 구동 방법

airflow scheduler -D

 

airflow scheduler 삭제방법

ps aux | grep 'airflow scheduler'

명령어를 친다음에 나오는 프로세스 아이디들을 kill해줘야한다

 

airflow 계정 생성 방법

airflow users create --username admin --firstname FIRST_NAME --lastname LAST_NAME --role Admin --email pbj00812@gmail.com

위 명령어를 입력하면 비밀번호를 입력하라고 출력됨. 비밀번호 2회 입력하면 계정생성 완료

 

airflow example dags 삭제 방법

airflow 작업하면서 두가지 문제가 있었는데

1. 하나는 dags폴더안에 dag을 만들었는데도 dag반영이 안된점과

2. airflow webserver에서 example dags를 삭제해도 계속해서 생성이되는 문제

 

1번같은경우에는 airflow 초기 폴더안에 airflow.cfg안에들어가서 정확하게 모든 경로 세팅이 작업 경로와 동일한지 확인이 필요하다

2번같은경우에는 높은확률로 background에 airflow scheduler가 돌아가고있는거니까, 프로세스를 죽이고 다시 실행시켜서 확인해보자.

참고로 airflow example dags를 삭제하려면 제일먼저 airflow.cfg안에 load_examples을 False로 설정해줘야한다!

 

airflow daily interval 로 설정했음에도 불구하고 계속해서 실행되는 문제

https://stackoverflow.com/questions/59078961/airflow-dag-scheduled-twice-a-few-seconds-apart

Airflow: Dag scheduled twice a few seconds apart

start_date문제로 보여지고 있으며, 다음과같이 DAG안에 start_date를 설정하면 해결되는것으로 보임

start_date=airflow.utils.dates.days_ago(2)