본문 바로가기

전체 글

TIL/개인공부 2024. 11. 4. [ORM] Python SQLAlchemy 내용 정리하기 (WIP) ORMObject Relational Mapper(ORM) 데이터베이스에서의 테이블의 데이터와 코드상의 객체와 연결을 지어주는 맵퍼filter_by & where & filter 차이filter: 복잡한 조건을 추가할 때 사용from sqlalchemy import and_query = session.query(User).filter(User.name == 'Alice', User.age > 20)# 또는query = session.query(User).filter(and_(User.name == 'Alice', User.age > 20)) filter_by: 키워드 인수로 조건을 지정, 하지만 복잡한 조건에는 적합하지않음query = session.query(User).filter_by(name='Al..
[Kubernetes] k8s관련 끄적끄적
TIL/개인공부 2024. 10. 30. [Kubernetes] k8s관련 끄적끄적 쿠버네티스 마스터의 구성 요소kube-apiserver클러스터 내 모든 컴포넌트와 외부 클라이언트가 통신하는 API 엔드 포인트. kubectl 과 같은 클라이언트나 다른 마스터 구성 요소들은 API서버와 상호작용하여 상태를 조회하거나 작업을 요청함.ETCD클러스터의 모든 상태 정보를 저장하는 분산 키-값 데이터 저장소. Pod, Service, Namespace 등 모든 리소스에 대한 상태가 ETCD에 저장이됨.고가용성을 위해 다중 노드로 구성이 필요하며 꼭 마스터 노드에 존재하지않아도됨kube-controller클러스터 상태를 지속적으로 모니터링하고, 원하는 상태로 맞추기 위해 필요한 작업을 수행함.예를들어서Node Controller : 노드의 상태를 모니터링해서 만일 장애가 발생하면 해당 노드를..
[Grafana] database is locked 에러 대응 + DB migration
Develop/DevOps 2024. 10. 17. [Grafana] database is locked 에러 대응 + DB migration 쿠버네티스 환경에서의 grafana 작업을 진행하다가 계속해서 끊기는 문제가 발생하더니 더이상 접속이 안되는 현상이 발견됐다. grafana pod을 확인해보니 에러 로그와 함께 "database is locked"라는 로그가 계속해서 올라왔다. 일단 원인은Grafana에서도 다양한 정보를 저장하기 위해 DB를 사용하는데 기본적으로 SQLite3를 사용하고있음하지만 SQLite3같은 경우 저장되는 정보량(또는 트래픽)이 커질경우 동시제어성이 떨어져서 기존작업이 이미 할당되어있다면 database is locked라는 에러구문이 발생할수도 있다고한다.그래서 웬만하면 트래픽이 클경우 MySQL, Postgresql을 사용해야한다.가장 편한건 기존 데이터를 싹 버리고 새로 MySQL과 Grafana를 띄우면 ..
[TIL] Kubeconfig 클러스터 추가
TIL 2024. 10. 10. [TIL] Kubeconfig 클러스터 추가 참고자료https://blog.naver.com/alice_k106/221492934710 157. [Kubernetes] 쿠버네티스 인증서 (CA) 및 인증 (auth) 에 관련된 공부이번 포스트에서는 예전에 했었던 쿠버네티스 인증서 및 인증에 대한 내용을 적어보려고 한다.  대단...blog.naver.com Kubeconfig관련kubectx로 여러 클러스터를 접근할때 kubeconfig파일에 접근하고자 하는 클러스터의 정보를 적어두는데 다음과같은 정보값이 필요함. 보통은 구축된 클러스터 노드에 ~/.kube/config 파일에 정보가 저장되어 있음apiVersion: v1clusters:- cluster: certificate-authority-data: # (필요한 정보) server..
[MySQL] with recursive 구문 활용법
Data/Data Analysis 2024. 9. 14. [MySQL] with recursive 구문 활용법 SQL관련 코딩에 대해서 공부하던중에 "0시~23시까지 속한 특정데이터 합산을 구해야함" 라는 문제가 있었고, 여기서 주의할점은 합산에 필요한 데이터에서 특정 시간대가 존재하지않을수도 있었다. 예시로, 계산에 사용되는 데이터에는 11시 데이터가 없을가능성이 있다. 따라서 11시에 해당되는 값은 0이 되어야한다. 그렇다면 0시~23시까지 있는 테이블을 만들어서 계산에 활용된 테이블을 join시켜줘야하는데, 0시~23시까지 있는 테이블을 어떻게 만들지가 관건이였다. 찾아보니 아래와같이 with recursive구문을 사용하면 쉽게 생성이 가능했다. WITH RECURSIVE DIGIT AS ( SELECT 0 as number UNION ALL SELECT number + 1 FROM ..
[Airflow] git-sync의 git-credential 생성시 주의할 점(feat. echo)
TIL/잡다한 2024. 9. 1. [Airflow] git-sync의 git-credential 생성시 주의할 점(feat. echo) 이번에 docker-compose로 구성되어있던 airflow를 kubernetes환경으로 바꿔야하는 작업이 있었는데, 이번 기회에 git repo와 연동해서 dags을 생성하는 git-sync요소도 활용해보고자 했다. airflow의 helm chart를 읽어보면, 특정 레포에 아이디와 패스워드가 요구될경엔 아래처럼 작업하라고 써져있다. # if your repo needs a user name password # you can load them to a k8s secret like the one below # --- # apiVersion: v1 # kind: Secret # metadata: # name: git-credentials # ..
[k8s] Kubernetes taint & toleration & nodeAffinity 공부
Develop/DevOps 2024. 8. 27. [k8s] Kubernetes taint & toleration & nodeAffinity 공부 Kubernetes에서 특정 노드에 Pod이 할당되게끔 하는 방식은 대표적으로 taint & toleration 를 사용하는 방식이 있다.taint: 노드(Node)에 적용해서 특정 Pod이 해당 노드에 스케줄링 되지않도록 막는 역할을 함. 예를 들어, 노드가 특정 리소스가 부족하거나 유지보수 중일때 사용됨.toleration: Pod에 적용되어 특정 노드의 taint를 무시하고 그(해당) 노드에 스케줄링 될수 있도록 허용하는 역할을 함.Tainttaint에는 "key=value:effect" 형식으로 사용할수있고. effect에는 아래 3가지 옵션을 사용 할 수 있음.NoSchedule: 이 taint가 설정되면 toleration이 없는 Pod은 스케줄링되지않음. 또한, 기존 실행되던 pod에는 적용..
[Python] 파이썬 클래스 던더(dunder) 메소드
TIL/개인공부 2024. 8. 15. [Python] 파이썬 클래스 던더(dunder) 메소드 파이썬을 공부하면서 클래스에 언더바(_)를 앞뒤로 두개씩 붙혀서 함수를 생성하는 요소가 있는데, 원래는 생성자(__init__) 소멸자(__del__)만 신경쓰다가 또 다른 함수가 있는지 알아보았다. 사실 이 글을 작성할때까지만해도 이러한 함수가 어떤 이름을 갖고있는지 몰랐는데 이번에 알게되었다.이름은 던더 메소드이고 어떤 곳은 매직 메소드라고도 한다. 던더라는건 double underbar에서 줄인 단어이다. 아래는 간단한 클래스 예시class Person: def __init__(self, name): self.name = name print("생성자") def __del__(self): print("소멸자") def print_name(se..
[Go] Golang을 공부하면서 알게된것들
Develop/DevOps 2024. 8. 13. [Go] Golang을 공부하면서 알게된것들 참고자료https://gobyexample.com/ Go by Example gobyexample.com변수 선언 방식 & 기초 (minor)package mainimport ( "fmt")func main() { var a int = 1 var a string = "apple" // 두개 변수 선언 방식 var a,b int = 1, 2 // array 사용 var a [5]int // [0,0,0,0,0] var b = [5]int{1,2,3,4,5} var c [5]int = [5]int{1,2,3,4,5} var d = [...]int{1,2,3,4,5} // 길이를 알지못할때? fmt.Println(d[2:]) // sli..
[Tistory] Hightlight.js 적용방법
TIL/잡다한 2024. 8. 11. [Tistory] Hightlight.js 적용방법 개발자들에게 Tistory의 단점이라면 코드블럭에서 다양한 언어를 지원하지 않는 점을 하나로 뽑을수있는데 아래와같이 현재 약 20가지 언어를 지원하고있다.직군에 따라서 Yaml파일도 사용할때가 많은데 해당 언어가 없어서 아쉬운적이 있다. 따라서 Hightlight.js를 적용하면 이러한 문제를 해결할수있다.https://highlightjs.org/#usage highlight.jsUsage highlight.js can be used in different ways such using CDNs, hosting the bundle yourself, as a Vue plug-in, as ES6 modules, with Node.js, and web workers. See our README on GitHu..
[TIL] docker환경 conda, pip cache 사용방법
TIL/잡다한 2024. 8. 7. [TIL] docker환경 conda, pip cache 사용방법 파이프라인에서 간혹 인터넷 이슈로 conda패키지가 설치가 안되는 문제가 있어서, 혹시 cache를 활용하게끔 환경을 만들면 좋지않을까 해서 작업을 진행했다. 추가로 conda install에 시간이 오래걸리는것도 없지않아 있어서 이를 개선하기 위한 작업도 포함되어있다. 현재 환경은 docker container안에서 conda env yaml를 통해서 install하는 방식으로 되어있는데 이안에 pip 패키지도 포함되어있어서 conda 뿐만이 아닌 pip 도 cache를 사용하게끔 만들고 싶었다. 먼저 conda 에 대한 작업 과정이다.conda 같은 경우에는 아래와같은 명령어로 현재 어느 경로에 cache가 저장되는지 확인이 가능하다. package cache부분 정보를 확인하면 된다.conda in..
[Harbor] kubernetes 환경 harbor admin 초기 비밀번호 reset하는 방법
Develop/DevOps 2024. 8. 5. [Harbor] kubernetes 환경 harbor admin 초기 비밀번호 reset하는 방법 *본문은 쿠버네티스 환경의 harbor이지만, docker의 harbor도 동일하게 작업해도 문제없습니다 harbor의 admin계정 비밀번호가 유실 또는 기억이 안날경우에 초기 비밀번호로 세팅을 해야하는 경우가 있는데, 방법은 다음과 같다.참고로, harbor admin계정 초기 비밀번호는 Harbor12345 이다. 쿠버네티스 환경에서 harbor를 배포하게 되면 다음과같은 요소들이 생성되는데,여기서 계정 정보를 바꾸기 위해 database를 아래와같은 명령어로 container에 직접 접속한다.kubectl exec -it harbor-database-0 -- /bin/bash컨테이너 접속이후에 아래와같은 명령어로 postgres로 접속을하고psql -U postgres registry그다음 har..

티스토리툴바