Data/MLOps (32) 썸네일형 리스트형 [Grafana] docker로 띄워진 grafana 데이터 백업 업무를 진행하던 와중, Grafana를 특정 plugins에 연결해야하는 업무가 생겼고 이를 진행하려던중에 docker로 띄워진 grafana를 restart를 해줘야만 설치되는점을 확인했다. 사실 docker restart를 하는것은 어려운작업은 아니다 간단한 한줄명령어로 가능하니까 docker restart [container ID or container name] 하지만 현재 grafana container를 띄운 명령어를 살펴보았는데 볼륨 마운트가 안되어있는 상태였다. 즉, 현재 띄워진 grafana를 remove하면 기존에 작업했던 대시보드가 전부 날라갈수있다. 불행중 다행인건 다른분께서 docker run실행시 --rm 옵션을 안주셨다. --rm 옵션: 1회성 컨테이너 생성시 docker ru.. [AWS] EC2 용량 증설하기 EC2를 생성했다가 용량을 너무 작게 잡아버려서 용량을 증설해야하는 일이 생겼다. 인스턴스 ID를 클릭하고, 스토리지를 클릭한다. 볼륨ID를 클릭해서 볼륨 세팅 페이지로 넘어간다음에 클릭한 볼륨 ID의 "작업-볼륨수정"을 클릭한다. 그런다음 자기가 원하는만큼 볼륨 크기를 조정한다. 해당 페이지에서 조정을했다해도 실제로 EC2에서 볼륨이 증가된건아니다. 해당 EC2에 접속해서 별도로 명령어를 쳐줘야하는 과정이 필요하다. df -h 위 명령어로 현재 디스크의 용량을 보면 증설이 안된걸 볼수있다. lsblk 위 명령어로 어느 디스크를 증설할지 확인한다. 나같은 경우엔 xvda디스크의 xvda1을 증설해야했다. sudo growpart /dev/xvda 1 sudo resize2fs /dev/root 위 명령어.. [Github] Github Action Self-hosted Runner 만들기 하드웨어(GPU)적인 문제로 github action에 사용되는 Runner를 자기만의 server로 띄울때가있는데 해당 과정을 소개한다. Runner로 띄우려는 Server로접속해서 아래와같은 명령어를 차례대로 입력한다. Linux 환경에서의 기준이다. mkdir actions-runner && cd actions-runner curl -o actions-runner-linux-x64-2.300.2.tar.gz -L https://github.com/actions/runner/releases/download/v2.300.2/actions-runner-linux-x64-2.300.2.tar.gz echo "ed5bf2799c1ef7b2dd607df66e6b676dff8c44fb359c6fedc9ebf7d.. [Jenkins] Build periodically시 환경변수 주기 Jenkins를 사용하고 있는 상태에서, 주기적으로 빌드를 해야하는 작업이 생길것같아 확인해보았는데 기본 세팅된 Jenkins에서는 아래와같이 "Build periodically" 옵션만 존재하는 상태였다. 당연히, 빌드할때 환경변수가 별도로 필요없다면 본문을 읽을필요가 없지만 만약 환경변수가 필요할때는 해당 옵션을 사용하면 에러가 발생한다. 조사해본결과 위와같이 환경변수를 사용하기위해서는 별도로 jenkins plugin 설치가 필요하다. 설치 방법은 다음과 같다. Jenkins 관리 -> 플러그인 관리 -> Available plugins 로 들어가서 "Parameterized Scheduler" 를 검색해서 다운로드 받아준다. 설치 이후에 다시 빌드 설정 페이지를 들어가면 "Build periodi.. [Docker] MacOS Docker-compose설치하기 아래와 같이 docker-compose 파일 다운로드 sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose docker-compose를 터미널에서 사용할수있도록, 위치를 이동하고 권한을 수정 sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose chmod +x /usr/bin/docker-compose 잘 실행되는지 --version 옵션을 통해 확인 docker-compose -v # >>> docker-compose version 1... [MLFlow] MLFlow-Keras auto logging example MLFlow에 대해서 autolog함수를 활용하여 코드작업을 진행한 예시 작성 (안써보면 감이 안오는 타입이라...) 학습 예시 코드 기존에 있던 코드에 mlflow코드만 추가 - https://vitalflux.com/keras-multi-class-classification-using-iris-dataset/ # Import MLflow Modules import mlflow import numpy as np from sklearn import datasets from sklearn.model_selection import train_test_split # # Import Keras modules # from keras import models from keras import layers from k.. [MLOps] 주로 사용되는 툴 및 패키지 정리 Helm 강의 토대로 내용을 가져오자면... 쿠버네티스 모듈의 Package Managing Tool Ubuntu OS의 패키지 관리 도구 apt, Mac OS의 패키지 관리 도구 brew, Python 패키지 관리 도구 pip 와 비슷한 역할 하나의 쿠버네티스 모듈은 다수의 리소스들을 포함하고 있는 경우가 많다 즉, a.yaml, b.yaml, c.yaml 등 많은 수의 쿠버네티스 리소스 파일들을 모두 관리해야 하기에 버전 관리, 환경별 리소스 파일 관리 등이 어렵다 Helm은 이러한 작업을 템플릿화 시켜서 많은 수의 리소스들을 마치 하나의 리소스처럼 관리할 수 있게 도와주는 도구 Helm manifest는 크게 Templates 와 values.yaml로 이루어져 있고, templates폴더에는 해당.. [MLOps] CKA 자격증 합격 후기 (2022.01) 새해 목표로 잡아뒀던 CKA자격증 취득. 사실 다른분들에 비해서 공부한 시간이 길긴하다. 정확하게는 일 핑계를 대고 바쁜탓에 중간중간에 포기했던것같다. 같이 공부하셨던 분은 먼저 데이터 엔지니어의 길로 가시고 계시는걸보고 난 왜 저렇게 못할까 라는 생각을 여러번하면서 마음을 다잡았던것같다. 실제로 준비했던 기간은 전에 준비했던 과정과 합치면 거의 2달정도 걸렸던것같다. 뭐 요즘 포스팅한것도 보면 죄다 Kubernetes로고가 반이상이다...ㅋㅋㅋ 어떻게 준비했고, 준비과정 및 후기에 대해서 간략하게 설명을 드리자면! Udemy 강의 시청 이건 어느 CKA합격 블로그를 가도 똑같이 적혀있다. Udemy 강의가 정말 체계적으로 하나하나씩 잘 알려준다. 다만, 나의 영어스킬이 딸려서 그런지, 인도식 영어발음을.. 이전 1 2 3 4 다음
