Data/Data Engineering (37) 썸네일형 리스트형 [k8s] "vingress.elbv2.k8s.aws" ... context deadline exceeded 오류 해결 ALB 테스트 앱을 설치하는 과정에서 ingress를 설치할때 다음과같은 에러문이 출력됐다 Error from server (InternalError): error when creating "externaldns-test-app.yaml": Internal error occurred: failed calling webhook "vingress.elbv2.k8s.aws": Post "https://aws-load-balancer-webhook-service.kube-system.svc:443/validate-networking-v1-ingress?timeout=10s": context deadline exceeded 일단 확인해야하는건, "ALB"가 정상적으로 설치가 되었는지부터 봐야한다. 만약에 설치가 .. [Terraform] EKS iam terraform 배포시 "The configmap "aws-auth" does not exist" 에러 해결 방법 Terraform을 활용하여 EKS의 권한관련 IAM를 설정할때 아래와같이 코드를 추가하면 설정할수가있다 https://registry.terraform.io/modules/terraform-aws-modules/eks/aws/latest Terraform Registry registry.terraform.io # aws-auth configmap manage_aws_auth_configmap = true aws_auth_roles = [ { rolearn = "arn:aws:iam::66666666666:role/role1" username = "role1" groups = ["system:masters"] }, ] aws_auth_users = [ { userarn = "arn:aws:iam::666.. [Terraform] gitlab CI/CD local terminal 에서 실행해보기 아직 모르는게 많지만, 아는범위내에서 정리해보고자 한다. 먼저 CI/CD란... DevOps에서는 매우 중요한 작업중에 하나인데 그 의미를 간단하게 살펴보자면 CI (Continuous Integration) 직역하자면, "지속적인 통합"이라는 뜻. 하나의 프로젝트에서는 여러명의 개발자가 붙게되는데, 작업을 하면서 빌드/테스트/병합까지 수동으로 하려면 매우 번거로운 작업이된다. 따라서 이렇게 번거로운 작업을 "자동화"를 해주는것이 CI이다. (*이러한 자동화 작업중에, 원천 소스코드의 충돌등을 방어 또한 할수있다) CD (Continuous Delivery & Continuous Deployment) 다음으로 CD라는건, 위에서 CI테스트를 다 통과를하면, 실제로 서비스까지 프로덕트를 배포해주는것까지를 .. [Terraform] terraform 이전버전 설치 (+맥북 M1 이슈해결 Tarball download failed) M1 노트북에 terraform 특정버전을 설치해야하는데, 인터넷에 올려져있는 방법으로는 설치가 안되는 이슈가있어서 다음과 같이 해결했다. 인터넷에 올려져있는 방법을 간단하게 정리하자면 brew로 설치하기 (이때 설치할수있는 버전은 0.11, 0.12, 0.13버전 또는 최신버전만 다운로드 가능) tfenv를 설치하고, 버전 스위칭하기 M1 맥북에서는 위와같은 방법으로는 다른버전은 설치가 안되는걸 확인했지만(Tarball download failed 에러), M1 맥북이 아닌경우에는 설치가 되는지는 확인을 못했다. 일단 업무상 특정 버전(v0.15.4)을 설치해야하는 필요가있어서, 아래와같이 설치를 진행했다. 먼저 Go설치가 필요하다 https://go.dev/doc/install Download and.. [AWS] EMR (Elastics Map Reduce)란? (WIP) [AWS] EKS(Elastic Kubernetes Service)란? (WIP) 쿠버네티스 환경을 만들기 위해서는 아래와같이 세세하게 다양한 설정이 필요하다. 또한, 업그레이드에 필요한 과정들 또한 반복적이고 어려울수가 있다. 이외로 네트워크 설정이나 etcd설정등 복잡한 설정들이 많이 존재한다. 따라서, 이러한 복잡한 과정을 생략하기 위해 AWS에서는 EKS라는 ControlPlane을 직접 구성하지 않아도 쿠버네티스 환경을 편리하게 제공해주는 서비스를 제공한다. VPC(Virtual Private Cloud) [참고] https://nearhome.tistory.com/128 [참고] https://medium.com/harrythegreat/aws-가장쉽게-vpc-개념잡기-71eef95a7098 먼저 VPC에 대해서 이해 할 필요가 있다. VPC가 없는 상태에서는 여러개의 EC.. [Terraform] Error: Error acquiring the state lock 문제 해결 terraform 관련하여 실습중에 다음과 같은 에러문을 마주했는데 어떤 특정 상태에 대해서 락이 걸려있는 상황이였다. 구글링하여 다음 두가지 방법을 알게되었는데 나열하자면 명령어 뒤에 "-lock=false" 를 추가하는방법 하지만 이 방법은 완전하게 해결되는 방법은 아니였다. 즉, 다른 명령어를 치면 위와같은 오류가 계속해서 발생 Lock이걸린 ID를 강제로 unlock 예시로 위와같은 경우에는 아래와같이 명령어를 칠수있다 하지만, 나같은 경우에는 해당 방법도 먹히진않았다... (Failed to unlock state: LocalState not locked 라는 에러와함께) terraform force-unlock -force f8e90f24-d67e-e735-31a0-2d4b6d48d814 결국.. [Airflow] MWAA - Datadog send_metrics 적용 업무 Airflow환경은 MWAA(Managed Workflows for Apache Airflow)를 통해서 생성이 된다. 업무내용중에 MWAA에서 발생하는 로그에 대해서 Datadog와 연결이 필요하여, 여러가지 자료들을 찾아보았지만... 발견되는건 없었다ㅠ 괜히 나만 부딪히는 문제인건가 싶었다. 새벽동안 삽질해본 결과 어느정도 해결이 된것같아서, 다른분들한테는 기본적인 내용이겠지만, 저처럼 처음이신분들에게 도움이 됐으면 좋겠다. 먼저 MWAA에 설치된 Airflow환경은 2.2.2이며(나중에 테스트해봤지만 2.0.2버전도 돌아가는것을 확인했다, 1버전은 다르니 주의하자). 필요한 requirements는 다음과 같다. apache-airflow[datadog] apache-airflow[statsd.. 이전 1 2 3 4 5 다음
