본문 바로가기

Develop/DevOps

[Netbox] Netbox login Dex OIDC 연동
Develop/DevOps 2025. 9. 30. [Netbox] Netbox login Dex OIDC 연동 먼저, Netbox란?- 물리적인 Infra 구조에 대해 정리해줄수있는 솔루션이다. 비슷한 솔루션으로는 openDCIM, racktables등이 존재한다. 서버 머신에 대한 렉 위치, 크기 그리고 네트워크 정보등을 기입할수있다. (사실 더많은 기능이 존재함)https://netboxlabs.com/ NetBox Labs | The world’s platform for network and infrastructure managementBuild and manage complex networks easier with NetBox Labs, using an enterprise-grade version of the world’s most popular network source of truth.netboxlab..
[GPU] ROCm gpu-operator
Develop/DevOps 2025. 9. 11. [GPU] ROCm gpu-operator https://github.com/ROCm/gpu-operator GitHub - ROCm/gpu-operatorContribute to ROCm/gpu-operator development by creating an account on GitHub.github.comhttps://instinct.docs.amd.com/projects/gpu-operator/en/latest/index.html AMD GPU Operator Documentation — AMD GPU Operator 1.3.1AMD GPU Operator Documentation The AMD GPU Operator simplifies the deployment and management of AMD Instinct GPU acceler..
[Ceph] ceph 관련 - WIP
Develop/DevOps 2025. 9. 9. [Ceph] ceph 관련 - WIP Node Maintenance노드를 점검하거나, 특정 리소스(operator)를 scale out할때 아래와같은 명령어로 복구에 대한 작업을 일시정지 시킬수있음noout : OSD가 DOWN상태로 변경되어도 클러스터에서 제외하지않음nobackfill : 새 OSD가 추가되거나 복제본이 필요한 경우 Ceph은 부족한 데이터를 채우기 위해 backfill 작업을 수행하게 되는데 이 flag가 활성화 되면 backfill을 하지않음 (클러스터에 부하를 주지 않고 유지보수할 때 사용)norecover : 데이터 복구 여부norebalance : OSD 추가/제거 시 Ceph은 데이터를 균등하게 배치하기 위해 리밸런싱함. 해당 flag를 키게되면 rebalance를 하지 않게됨nodown : OSD가 실제로 DO..
[Kubernetes] Dex with Google Connector
Develop/DevOps 2025. 8. 20. [Kubernetes] Dex with Google Connector 기존에 OIDC를 Keycloak과 Google IdP를 사용하여 이용하고있었는데, 여러가지 단점이 존재했다.Google IdP를 사용하지만 인증과정에서 사용자의 Group정보를 가져오지못해서 Keyclock에서 별도로 그룹을 생성해줘야했다. 인사팀에서는 Google 계정/그룹을 관리하고있는데 Keycloak에 한번더 그룹 관리를 하는것이 귀찮은점이 존재했다.Keycloak에 client를 추가할때 WebUI를 통해서 추가/제거를 했는데 관리가 잘 되지않았다.코드로 관리하면 좀더 관리가 되지않을까라는 기대이러한 단점들을 보완하기 위해서 Dex라는 툴이 있다고 전해들어서 이번기회에 적용해보았다.https://dexidp.io/ DexFederate Identity Providerdexidp.io Dex와 ..
[postgresql] sqlite3 db postgresql로 데이터 이전 작업 (sequel)
Develop/DevOps 2025. 7. 25. [postgresql] sqlite3 db postgresql로 데이터 이전 작업 (sequel) 많은 서비스가 처음에 설치하게되면 기본적으로 SQLite3 DB를 사용하고있는데, 사용자가 많아지게되면 동시성 작업이 안되어 lock이 걸리는 문제가 빈번하게 발생한다. 따라서 MySQL이나 Postgresql로 변경을함.SQLite3에서 MySQL로 이전작업에는 아래와같은 github repository를 사용해서 이전이 가능했는데 (이것도 뭐 공식 repository가 아니라서 쭉 사용이 가능할진 모르겠지만...)https://github.com/majidalavizadeh/sqlite-to-mysql GitHub - majidalavizadeh/sqlite-to-mysql: convert SQLite databases to MySQL SQL dumpconvert SQLite databases to ..
[Kubernetes] etcdDatabaseHighFragmentationRatio 장애 대응 (업데이트 2025.07.27)
Develop/DevOps 2025. 7. 11. [Kubernetes] etcdDatabaseHighFragmentationRatio 장애 대응 (업데이트 2025.07.27) 최근에 ETCD에 대한 상태 모니터링을 하기 위해서 metrics수집을 활성화했는데 바로 etcdDatabaseHighFragmentationRatio 라는 알람이 발생하여 확인을 진행함.etcdDatabaseHighFragmentationRatio?먼저, etcdDatabaseHighFragmentationRatio 라는 알람이 왜발생하는지 알았어야하는데. 얼핏 해석해보자면, ETCD에는 클러스터의 상태 저장을 위해 key=value형식으로 저장이 되는데 이전 상태 값에 대해서도 계속 남겨두기때문에(revision) 실제로 클러스터에서 사용하는 데이터 양은 얼마 되지않고 ETCD에 쌓이는 데이터가 과도하게 많아질 경우 알람이 발생한다고함. (틀리면 코멘트 부탁드립니다)- 즉, DB에 있는 데이터를 효율..
[Kubernetes] kubespray etcd metrics 활성화
Develop/DevOps 2025. 7. 11. [Kubernetes] kubespray etcd metrics 활성화 kubespray에서 기본적으로 클러스터를 구축하면 ETCD가 pod형식으로 뜨는것이 아닌 머신위에 서비스로 뜨게되는데. etcd에서 나오는 metrics을 받기 위해서는 다음과같이 작업이 필요하다. 먼저 kubespray에서 아래 명령어를 명시해야한다.# expose etcd metrics on port 2381# https://github.com/kubernetes-sigs/kubespray/blob/master/docs/operations/etcd.md#metricsetcd_metrics_port: 2381 해당 변수를 반영하면 etcd 가 뜨는 머신에 아래와같이 ETCD 환경변수에 변경사항이 생긴다.# cat /etc/etcd.env# AS-ISETCD_LISTEN_CLIENT_URLS=https..
[Go] Kubebuilder 사용해보기 - 1
Develop/DevOps 2025. 6. 27. [Go] Kubebuilder 사용해보기 - 1 GVM 설치golang으로 개발하기 앞서 golang version controll를 할수있는 GVM을 설치한다. macOS기준으로 아래 명령어를 실행하면 설치가 된다.bash 특정 go version을 설치하려면 아래와같이 실행한다.# 제공되는 버전 목록gvm listall# 작성일 기준 최신 golang version은 1.24.4gvm install go1.24.4 -B# default로 사용할 go version명시gvm use go1.24.4 --default Kubebuilder 설치https://book.kubebuilder.io/quick-start.html Quick Start - The Kubebuilder BookThis Quick Start guide will cover: go v..
[Istio] 공부한거 이것저것 정리 (WIP)
Develop/DevOps 2025. 6. 21. [Istio] 공부한거 이것저것 정리 (WIP) Installation몰랐는데 설치방식이 두가지가 존재한다.첫번째는 우리가 흔히 알고있는 sidecar mode인데. 해당 방식은 모든 pod에 Envoy Proxy가 sidecar형태로 자동 주입되는 모드이다.장점으로는모든 트래픽을 Envoy가 가로채서 정책을 적용하고 보안을 적용하여 보안성이 뛰어나고L7(http) 레벨 제어 기능이 풍부함기존 설치방식이라 자료가 풍부함단점으로는설치방식에서 언급한대로 pod마다 Envoy sidecar가 붙으니 리소스가 낭비되고 관리가 복잡함업데이트/보한 패치등도 모든 sidecar에 적용해야함두번째는 istio 1.18+부터 Preview상태로 도입된 아키텍처인데 Ambient Mode이다.장점으로는Sidecar Mode와 다르게 Pod에 Envoy Proxy sid..
[Kubernetes] 클러스터 업그레이드 전 호환성 체크 kubent
Develop/DevOps 2025. 6. 16. [Kubernetes] 클러스터 업그레이드 전 호환성 체크 kubent 쿠버네티스 업그레이드를 하기전에 다양한 API가 변경이 되는 경우도 존재하는데. 이를 사전에 체크할수있는 툴이 존재해서 남기려고한다.https://github.com/doitintl/kube-no-trouble GitHub - doitintl/kube-no-trouble: Easily check your clusters for use of deprecated APIsEasily check your clusters for use of deprecated APIs - doitintl/kube-no-troublegithub.com 맥OS 사용시 brew명령어로 간단하게 설치가 가능하다brew install kubent 사용은 일단 두개밖에 안써보았는데, 한개는 현재 클러스터에서 호환되지않는 API가 있는지 조..
[Prometheus] Prometheus HA를 위한 Thanos 배포
Develop/DevOps 2025. 6. 8. [Prometheus] Prometheus HA를 위한 Thanos 배포 수정 사항 (2025.05.28)- Prometheus의 thanos-sidecar에 thanos에서 설정한 objstore 값을 반영해줘야지 thanos데이터가 minio bucket에 쌓이게됩니다. 따라서 해당 내용(prometheus.tf의 spec.thanos.objectStorageConfig 추가)을 수정하였습니다.수정 사항 (2025.06.08)- Thanos의 storeGateway를 활성화하는 옵션이 없어서 추가했습니다. 해당 컴포넌트는 thanos가 object storage(minio)에서 데이터를 가져오기 위한 통로 역할을 합니다.- prometheus의 thanos-sidecar가 하드링크 이슈 및 권한 이슈가 존재하여 securityContext를 활용하여 두 컨테이너의 사용자를..
[Kubernetes] OOM관련 내용 정리하기 (singleprocessOOMKill)
Develop/DevOps 2025. 5. 15. [Kubernetes] OOM관련 내용 정리하기 (singleprocessOOMKill) 쿠버네티스를 사용하면서 resources를 효율적으로 사용하기 위해 requests, limits을 적용하여 사용하는 경우가 많을텐데. 가끔 의도치않게 메모리를 많이 먹는 작업을 하게 되어 OOMKilled가 발생하여 해당 pod내부에서 설치한(또는 저장한) 요소들이 다 날라가는 경우가 있다. 만일 "OOM이 발생하면 Pod(Container)가 내려가는것이 아닌 OOM을 유발한 프로세스만 종료시킬순없을까?" 라는 궁금증에서 조사했고. 다음과같은 결과가 나왔다. 쿠버네티스에서는 Pod을 생성할 때, resource를 설정하게 된다면 pod이 생성되는 노드에 아래와같은 예시 경로로 cgroup설정 파일들이 생성되게 됨./sys/fs/cgroup/kubepods_slice/kubepods-burstable...
[Kubernetes] Github Action Controller 설치 및 사용
Develop/DevOps 2025. 5. 8. [Kubernetes] Github Action Controller 설치 및 사용 Action Runner Controller 를 사용하게되면 Github Action Runner를 Kubernetes 환경에서 띄우고 관리 할 수 있음.https://github.com/actions/actions-runner-controller/tree/master GitHub - actions/actions-runner-controller: Kubernetes controller for GitHub Actions self-hosted runnersKubernetes controller for GitHub Actions self-hosted runners - actions/actions-runner-controllergithub.com 또한, 호스트의 스펙만큼 한개의 노드에서 여러개의 Runner를..
[Kubeflow] Trainer helm chart 설치
Develop/DevOps 2025. 5. 8. [Kubeflow] Trainer helm chart 설치 아래 설치방식만 정리하기 위해서 적은 글이라 크게 도움은 안될 글입니다...ㅠKubeflow Trainer에 대한 간단한 설명 (Feat. ChatGPT)https://www.kubeflow.org/docs/components/trainer/overview/ 해당 페이지를 통해서 정보를 구했습니다.🧠 Kubeflow Trainer의 주요 특징Kubernetes 네이티브 설계Kubeflow Trainer는 Kubernetes의 Custom Resource Definition(CRD)을 활용하여 TrainJob, TrainingRuntime, ClusterTrainingRuntime 등의 리소스를 정의합니다. 이를 통해 복잡한 Kubernetes 설정 없이도 분산 학습 환경을 구성할 수 있습니다.다양한 M..
[Kubernetes] Audit log(감사로그)
Develop/DevOps 2025. 4. 27. [Kubernetes] Audit log(감사로그) 쿠버네티스 보안을 위해서 사용자들의 행위를 기록하기 위한 감사로그를 kube-apiserver의 옵션을 통해서 활성화가 가능하다.행위: kube-apiserver를 통한 행동(e.g. create, delete등)https://kubernetes.io/ko/docs/tasks/debug/debug-cluster/audit/ 감사(auditing)쿠버네티스 감사(auditing) 는 클러스터의 작업 순서를 문서화하는 보안 관련 시간별 레코드 세트를 제공한다. 클러스터는 사용자, 쿠버네티스 API를 사용하는 애플리케이션 및 컨트롤 플레인 자체kubernetes.io 이러한 감사로그에는 다음과 같은 정보를 수집한다. (위 페이지에서 발췌)무슨 일이 일어났는지?언제 일어난 일인지?누가 시작했는지?어떤 일이 있었..
[AlertManager] 특정 라벨을 가진 Alert무시하기
Develop/DevOps 2025. 4. 15. [AlertManager] 특정 라벨을 가진 Alert무시하기 Prometheus와 Alertmanager를 연결한뒤 Prometheus Rule에 의해 Alert가 발생하는 구조인데, 특정 Alert는 운영에 영향을 주는 오알람(false alarm)으로 보여져서 alert을 무시하는 작업을 하려고함. 보통 알람이 발생하면 Alertmanager에서 아래와같이 Alert에 할당된 라벨들을 볼수가 있음AlertmanagerConfig에서 아래와같이 설정하면 특정 라벨을 가진 Alert는 무시할수있게됨아래 설정은 다음과같은 설정을 하게됨severity = "info" 라벨을 가진 Alert은 무시됨severity = "warning" 라벨을 가진 Alert은 무시됨namespace = "group-member" 라벨을 가진 Alert은 무시됨정확히는 무시되는건 아니고..

티스토리툴바