[Docker+Airflow] Airflow로 인해 너무 커져버린 Docker Container용량

결국엔 Docker문제니 도커 이미지를 메인으로...

Airflow를 운영하다가, 갑자기 모든 Task가 터지기 시작해서 아무것도 안되고있는 상태였다. 확인해보니 용량부족이라고 떳고, 현재 서버에 장착된 크기는 100GB였다. 그래도 아무리 무거워도 이것보다는 많이 나가지 않을것이다라고 생각했는데, 갑자기 용량부족이라고 떠서 당황스러웠다.

 

df -h명령어로 현재 용량을 쳐보니 아래와같이 나타나고있었다. 현재 docker의 파일시스템 경로는 /data에 있다

확인해보니 /data경로는 이미 98GB 다썻다고 쓰여져있다. 근데 Airflow안에서는 데이터 관리를해서 아무리 커져도 35GB를 넘을수가 없는데 의아했다.

 

추가로 더 확인해보니 docker의 container크기가 너무 컷다.

4번째 줄을보니 95GB, 5번째 줄은 심지어 98GB가 나왔다.

 

일단은 아래와 같이 일정 주기마다 로그파일을 삭제하기로 정의했다. /etc/docker/daemon.json파일을 수정해야한다. 해당파일이 없을경우 직접 만들어주면된다. 추가로 data-root는 안고쳐도 된다. log-driver, log-opts옵션을 추가하자

{
        "data-root" : "/data/docker/",
        "log-driver" : "json-file",
        "log-opts" : {
                "max-size" : "5m",
                "max-file" : "3"
        }
}

그다음에 아래 명령어로 docker를 재실행해준다

systemctl daemon-reload
systemctl stop docker
systemctl start docker

일단은 재시작을 해서 용량이 다시 처음세팅한것과 같이 줄어들었지만 계속해서 확인해봐야겠다