본문 바로가기

전체 글

[Terraform] gitlab CI/CD local terminal 에서 실행해보기
Data/Data Engineering 2022. 5. 10. [Terraform] gitlab CI/CD local terminal 에서 실행해보기 아직 모르는게 많지만, 아는범위내에서 정리해보고자 한다. 먼저 CI/CD란... DevOps에서는 매우 중요한 작업중에 하나인데 그 의미를 간단하게 살펴보자면 CI (Continuous Integration) 직역하자면, "지속적인 통합"이라는 뜻. 하나의 프로젝트에서는 여러명의 개발자가 붙게되는데, 작업을 하면서 빌드/테스트/병합까지 수동으로 하려면 매우 번거로운 작업이된다. 따라서 이렇게 번거로운 작업을 "자동화"를 해주는것이 CI이다. (*이러한 자동화 작업중에, 원천 소스코드의 충돌등을 방어 또한 할수있다) CD (Continuous Delivery & Continuous Deployment) 다음으로 CD라는건, 위에서 CI테스트를 다 통과를하면, 실제로 서비스까지 프로덕트를 배포해주는것까지를 ..
[Terraform] terraform 이전버전 설치 (+맥북 M1 이슈해결 Tarball download failed)
Data/Data Engineering 2022. 4. 26. [Terraform] terraform 이전버전 설치 (+맥북 M1 이슈해결 Tarball download failed) M1 노트북에 terraform 특정버전을 설치해야하는데, 인터넷에 올려져있는 방법으로는 설치가 안되는 이슈가있어서 다음과 같이 해결했다. 인터넷에 올려져있는 방법을 간단하게 정리하자면 brew로 설치하기 (이때 설치할수있는 버전은 0.11, 0.12, 0.13버전 또는 최신버전만 다운로드 가능) tfenv를 설치하고, 버전 스위칭하기 M1 맥북에서는 위와같은 방법으로는 다른버전은 설치가 안되는걸 확인했지만(Tarball download failed 에러), M1 맥북이 아닌경우에는 설치가 되는지는 확인을 못했다. 일단 업무상 특정 버전(v0.15.4)을 설치해야하는 필요가있어서, 아래와같이 설치를 진행했다. 먼저 Go설치가 필요하다 https://go.dev/doc/install Download and..
[AWS] EMR (Elastics Map Reduce)란? (WIP)
Data/Data Engineering 2022. 4. 25. [AWS] EMR (Elastics Map Reduce)란? (WIP)
[AWS] EKS(Elastic Kubernetes Service)란? (WIP)
Data/Data Engineering 2022. 4. 25. [AWS] EKS(Elastic Kubernetes Service)란? (WIP) 쿠버네티스 환경을 만들기 위해서는 아래와같이 세세하게 다양한 설정이 필요하다. 또한, 업그레이드에 필요한 과정들 또한 반복적이고 어려울수가 있다. 이외로 네트워크 설정이나 etcd설정등 복잡한 설정들이 많이 존재한다. 따라서, 이러한 복잡한 과정을 생략하기 위해 AWS에서는 EKS라는 ControlPlane을 직접 구성하지 않아도 쿠버네티스 환경을 편리하게 제공해주는 서비스를 제공한다. VPC(Virtual Private Cloud) [참고] https://nearhome.tistory.com/128 [참고] https://medium.com/harrythegreat/aws-가장쉽게-vpc-개념잡기-71eef95a7098 먼저 VPC에 대해서 이해 할 필요가 있다. VPC가 없는 상태에서는 여러개의 EC..
[AWS] "UNPROTECTED PRIVATE KEY FILE!" Error using SSH into Amazon EC2 Instance
TIL/잡다한 2022. 4. 19. [AWS] "UNPROTECTED PRIVATE KEY FILE!" Error using SSH into Amazon EC2 Instance ssh key를 활용하여 ec2에 접속하려고 하는데 아래와같은 에러문이 발생 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Permissions 0644 for 'mwaa-bastion.pem' are too open. It is required that your private key files are NOT accessible by others. This private key will be ignored. Load key "mwaa-bastion.pem": ba..
[docker] E: Unable to locate package [package_name] && docker entrypoint수정 실행
TIL/잡다한 2022. 4. 13. [docker] E: Unable to locate package [package_name] && docker entrypoint수정 실행 E: Unable to locate package Error docker쪽에서 새로운 패키지를 다운받으려고했는데, 자꾸 E: Unable to locate package git 에러가 떠서 이유를 찾아보니... package update가 안되어서 생긴문제같다 apt-get update 이후에 다시 apt-get install명령어로 설치가 필요한 패키지를 설치하면 성공 Docker entrypoint수정 docker image를 수정하려고할때, entrypoint가 걸려있어서 명령어가 안먹힐때가 있는데. 내가 실행하고싶은 명령어를 강제화 시키기 위해 다음과같은 명령어를 실행하여 docker image를 실행시킬수있다. docker run -u root -it --entrypoint /bin/sh apa..
[k8s] local machine <=> pod 파일 이동하기
TIL/개인공부 2022. 4. 11. [k8s] local machine <=> pod 파일 이동하기 너무 간단해서 당황... # local machine file to pod kubectl cp [file name] [pod name]:[pod directory] # pod file to local machine kubectl cp [pod name]:[pod directory] [file name]
[Terraform] Error: Error acquiring the state lock 문제 해결
Data/Data Engineering 2022. 3. 30. [Terraform] Error: Error acquiring the state lock 문제 해결 terraform 관련하여 실습중에 다음과 같은 에러문을 마주했는데 어떤 특정 상태에 대해서 락이 걸려있는 상황이였다. 구글링하여 다음 두가지 방법을 알게되었는데 나열하자면 명령어 뒤에 "-lock=false" 를 추가하는방법 하지만 이 방법은 완전하게 해결되는 방법은 아니였다. 즉, 다른 명령어를 치면 위와같은 오류가 계속해서 발생 Lock이걸린 ID를 강제로 unlock 예시로 위와같은 경우에는 아래와같이 명령어를 칠수있다 하지만, 나같은 경우에는 해당 방법도 먹히진않았다... (Failed to unlock state: LocalState not locked 라는 에러와함께) terraform force-unlock -force f8e90f24-d67e-e735-31a0-2d4b6d48d814 결국..
[Python] splitlines, pandas
Data/Python 2022. 3. 27. [Python] splitlines, pandas splitlines 문자열이 만약 여러줄로 나뉘어져있을때, splitlines를 활용하여 바로 배열형식으로 바꿔줄수가 있다 a = """hi what is your name? haha """ a.splitlines() # ['hi', 'what', 'is', 'your', 'name?', 'haha'] pandas Dataframe column별 null개수 np.sum(df.isnull()) # df->pandas.DataFrame
[Python] psycopg2 라이브러리를 활용하여 table column얻기
Data/Python 2022. 3. 22. [Python] psycopg2 라이브러리를 활용하여 table column얻기 airflow쪽에 dag정보를 얻어오기위해 postgre db를 연결하는 코드를 만든이후에 column에 대한 정보값을 얻으려면 아래와같이 작업해주면된다. column정보값을 얻는 코드는 sql 쿼리를 실행한 이후에 cur.description 을 실행해주면된다 import psycopg2 try: # db connect conn = psycopg2.connect( host = "", dbname = "", user = "", password = "" ) cur = conn.cursor() # run sql code cur.execute(""" select * from ( select dag_id, count(distinct id) as CountId from dag_run group by 1) A wh..
[Go] Go 언어 공부에 도움된 사이트 정리
TIL/개인공부 2022. 3. 19. [Go] Go 언어 공부에 도움된 사이트 정리 https://thebook.io/006806/ch01/01_13/ Go 언어 웹 프로그래밍 철저 입문: 1.1 Go는 어떤 언어인가? - 13 thebook.io Go 언어 관련된 책자, ebook형식으로 볼수가있다 http://golang.site/go/article/1-Go-프로그래밍-언어-소개 예제로 배우는 Go 프로그래밍 - Go 프로그래밍 언어 소개 1. Go 개발자들 GO 프로그래밍 언어는 2007년 구글에서 개발을 시작하여 2012년 GO 버젼 1.0을 완성하였다. GO는 이후 계속 향상된 버젼을 내 놓았으며 2015년 말에는 1.5.2 버젼에 이르렀다. 흔히 golang 이 golang.site Go 프로그래밍에 대한 기초 지식
[Airflow] MWAA - Datadog send_metrics 적용
Data/Data Engineering 2022. 3. 16. [Airflow] MWAA - Datadog send_metrics 적용 업무 Airflow환경은 MWAA(Managed Workflows for Apache Airflow)를 통해서 생성이 된다. 업무내용중에 MWAA에서 발생하는 로그에 대해서 Datadog와 연결이 필요하여, 여러가지 자료들을 찾아보았지만... 발견되는건 없었다ㅠ 괜히 나만 부딪히는 문제인건가 싶었다. 새벽동안 삽질해본 결과 어느정도 해결이 된것같아서, 다른분들한테는 기본적인 내용이겠지만, 저처럼 처음이신분들에게 도움이 됐으면 좋겠다. 먼저 MWAA에 설치된 Airflow환경은 2.2.2이며(나중에 테스트해봤지만 2.0.2버전도 돌아가는것을 확인했다, 1버전은 다르니 주의하자). 필요한 requirements는 다음과 같다. apache-airflow[datadog] apache-airflow[statsd..

티스토리툴바