본문 바로가기

Data

 (184)
[Kafka] 공부-1 본 게시글은 "실전 카프카 개발부터 운영까지" 책을 읽으면서 중요하다라고 생각되는 내용을 정리한 글입니다. 책에 대한 정보는 https://product.kyobobook.co.kr/detail/S000001932756 에서 보실수 있습니다. (중요) 내용이 정확하지 않거나, 누락된게 있을수 있습니다. 카프카의 주요 특징 높은 처리량과 낮은 지연시간 아마 카프카를 선택하는 가장 큰 이유 높은 확장성 미래를 생각(서비스 규모가 커질것을 예상)해서 확장이 편리함 고가용성 내구성 장애가 나도 과거의 메세지들을 불러와 재처리가능함 개발 편의성 메세지를 전송하는 역할(producer)와 메세지를 가져오는 역할 컨슈머(consumer)가 완벽하게 분리되어이쏙 서로 영향을 주지도 않음. 개발할때 producer, c..
[K8S] containerd private registry 접근하기 Kubernetes 가 v1.24버전 이후로는 docker에 대한 지원을 안하고 containerd로 서비스를 하게된다. 현업에서 v1.28버전을 사용중이서 여러가지 서비스를 돌려보는 와중에 private registry에 들어있는 image가 pull이 안되어 문제를 해결하려고 한다. k8s상황과 에러구문은 다음과 나타난다. # k8s status (pytorch) ubuntu@vm:~$ kubectl get pods # NAME READY STATUS RESTARTS AGE # jaeyung-668c67cd6b-g97w2 0/1 ImagePullBackOff 0 5s (pytorch) ubuntu@vm:~$ kubectl describe pod jaeyung-668c67cd6b-c6mjm #Event..
[K8S] containerd runtime사용 Error while dialing dial unix /var/run/dockershim.sock 에러 해결 crictl명령어 사용시 아래와같이 에러가 발생 할 경우. 다음과같은 명령어를 실행합니다. FATA[0000] listing images: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial unix /var/run/dockershim.sock: connect: no such file or directory" 명령어 실행 sudo crictl config --set runtime-endpoint=unix:///run/containerd/containerd.sock --set image-endpoint=unix:///run/containerd/containerd.sock
[k8s] deployment 생성중 만난 문제 Container image already present on machine pod이 제대로 생성이 안되서 아래 명령어로 pod 상태 확인 진행 kubectl describe pod POD_NAME 아래와같은 에러발생하는 상태였음 - Container image "" already present on machine 찾아보니 pod이 아무런 동작을 안하고 꺼지는 상태라서 충돌이 발생하고 있는 상태였음. 생성시 deployment의 replica를 1로 설정해둔 상태 그래서 아래와같은 command 구문을 추가해서 pod이 띄워지고나서 계속 특정 동작을 하게끔 변경함 - 이외로 imagePullPolicy를 Always로 설정 spec: hostNetwork: true containers: - name: N..
[ML] bf16, fp16, fp32의 차이점 업무를 진행하면서 bf16, fp16, fp32에 대한 정보를 알게되었는데. 왜 사용하는지 그리고 언제 사용하는지에 대해서 좀 정리해보려고한다. https://arxiv.org/abs/1905.12322 -> 관련논문 A Study of BFLOAT16 for Deep Learning Training This paper presents the first comprehensive empirical study demonstrating the efficacy of the Brain Floating Point (BFLOAT16) half-precision format for Deep Learning training across image classification, speech recognition, langu..
[ELK] kibana-elasticsearch (WIP) ElasticSearch 세팅 Kibana에 연결하려면 token생성이 필요하다고하는데, 해당 토큰은 아래 명령어로 얻을수있다 ./bin/elasticsearch-create-enrollment-token -s kibana 추가로 초창기 비밀번호 세팅은 아래 명령어로 진행한다. ./bin/elasticsearch-setup-passwords interactive Kibana 세팅 위에서 얻어온 token을 입력하고나서, 추가적인 6자리 번호를 입력하라고하는데 해당 번호는 아래 명령어로 얻을수있다. ./bin/kibana-verification-code
[Grafana] docker로 띄워진 grafana 데이터 백업 업무를 진행하던 와중, Grafana를 특정 plugins에 연결해야하는 업무가 생겼고 이를 진행하려던중에 docker로 띄워진 grafana를 restart를 해줘야만 설치되는점을 확인했다. 사실 docker restart를 하는것은 어려운작업은 아니다 간단한 한줄명령어로 가능하니까 docker restart [container ID or container name] 하지만 현재 grafana container를 띄운 명령어를 살펴보았는데 볼륨 마운트가 안되어있는 상태였다. 즉, 현재 띄워진 grafana를 remove하면 기존에 작업했던 대시보드가 전부 날라갈수있다. 불행중 다행인건 다른분께서 docker run실행시 --rm 옵션을 안주셨다. --rm 옵션: 1회성 컨테이너 생성시 docker ru..
[AWS] EC2 용량 증설하기 EC2를 생성했다가 용량을 너무 작게 잡아버려서 용량을 증설해야하는 일이 생겼다. 인스턴스 ID를 클릭하고, 스토리지를 클릭한다. 볼륨ID를 클릭해서 볼륨 세팅 페이지로 넘어간다음에 클릭한 볼륨 ID의 "작업-볼륨수정"을 클릭한다. 그런다음 자기가 원하는만큼 볼륨 크기를 조정한다. 해당 페이지에서 조정을했다해도 실제로 EC2에서 볼륨이 증가된건아니다. 해당 EC2에 접속해서 별도로 명령어를 쳐줘야하는 과정이 필요하다. df -h 위 명령어로 현재 디스크의 용량을 보면 증설이 안된걸 볼수있다. lsblk 위 명령어로 어느 디스크를 증설할지 확인한다. 나같은 경우엔 xvda디스크의 xvda1을 증설해야했다. sudo growpart /dev/xvda 1 sudo resize2fs /dev/root 위 명령어..

티스토리툴바