Data/Data Engineering
2022. 8. 20.
[Docker+Airflow] Airflow로 인해 너무 커져버린 Docker Container용량
Airflow를 운영하다가, 갑자기 모든 Task가 터지기 시작해서 아무것도 안되고있는 상태였다. 확인해보니 용량부족이라고 떳고, 현재 서버에 장착된 크기는 100GB였다. 그래도 아무리 무거워도 이것보다는 많이 나가지 않을것이다라고 생각했는데, 갑자기 용량부족이라고 떠서 당황스러웠다. df -h명령어로 현재 용량을 쳐보니 아래와같이 나타나고있었다. 현재 docker의 파일시스템 경로는 /data에 있다 확인해보니 /data경로는 이미 98GB 다썻다고 쓰여져있다. 근데 Airflow안에서는 데이터 관리를해서 아무리 커져도 35GB를 넘을수가 없는데 의아했다. 추가로 더 확인해보니 docker의 container크기가 너무 컷다. 4번째 줄을보니 95GB, 5번째 줄은 심지어 98GB가 나왔다. 일단은 ..
![[Docker+Airflow] Airflow로 인해 너무 커져버린 Docker Container용량](http://i1.daumcdn.net/thumb/C480x320/?fname=https://blog.kakaocdn.net/dn/cj8mvK/btrJ7nRCnpC/VvZ98aBk29f55JWKoaa9cK/img.png)