Data/Data Engineering
2022. 8. 10.
[Airflow] 다중 클러스터에서 Airflow Celery Worker 환경 구성하기
이번에 다중 클러스터(즉, 여러대의 컴퓨터)에서 Airflow Celery Worker환경을 세팅해야하는 업무가 생겨서 작업을했다. 과정중에 무수히 많은 시행착오가 있었고, 다음에는 이를 방지하기위해 글을 남깁니다.또한, 다른분들도 이러한 환경을 세팅할때 참고하시면 좋을것같습니다. 일단 모든 Airflow는 Docker로 구축하였습니다. 또한 Master Node와 Worker Node를 아래와 같이 구성했습니다. 버전은 다음과 같습니다 Airflow - 2.3.3 Python - 3.8 Master Node airflow worker airflow scheduler airflow webserver airflow trigger postgresql redis Worker Node airflow worker..
![[Airflow] 다중 클러스터에서 Airflow Celery Worker 환경 구성하기](http://i1.daumcdn.net/thumb/C480x320/?fname=https://blog.kakaocdn.net/dn/xEvX3/btrJqLLERIJ/zCPl9KsdPldColzhnYKFx1/img.png)