Data/Data Engineering
2022. 8. 18.
[Airflow] DAG안에서 병렬 실행시 특정 Task가 완료될때까지 기다려야하는 경우
아래와 같은 DAG이 존재했다고 할때 나는 "꼭" Task 1 -> Task 2가 실행이 완료되고나서, Task 3 -> Task 4가 실행되게끔 만들고싶었다. 사실 위와같이 단순한 DAG에서는 그냥 Task들을 한개로 합쳐서 concurrency를 1로해두면 될것같긴하지만, 실제 작업환경에서는 이러한 구조를 쉽게 바꿀수가 없었다. 따라서, 위와같은 상황을 해결해야했는데, 자료를 찾고 찾다보니 Airflow의 ExternalTaskSensor라는 Operator를 발견했다. https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/sensors/external_task/index.html#module-airflow.sensors.externa..
![[Airflow] DAG안에서 병렬 실행시 특정 Task가 완료될때까지 기다려야하는 경우](http://i1.daumcdn.net/thumb/C480x320/?fname=https://blog.kakaocdn.net/dn/dC4rQ0/btrJYzyyH8Q/RL00i0Kq4eJZvw4Wbak2ek/img.png)