본문 바로가기

Alertmanager

[AlertManager] 특정 라벨을 가진 Alert무시하기
Develop/DevOps 2025. 4. 15. [AlertManager] 특정 라벨을 가진 Alert무시하기 Prometheus와 Alertmanager를 연결한뒤 Prometheus Rule에 의해 Alert가 발생하는 구조인데, 특정 Alert는 운영에 영향을 주는 오알람(false alarm)으로 보여져서 alert을 무시하는 작업을 하려고함. 보통 알람이 발생하면 Alertmanager에서 아래와같이 Alert에 할당된 라벨들을 볼수가 있음AlertmanagerConfig에서 아래와같이 설정하면 특정 라벨을 가진 Alert는 무시할수있게됨아래 설정은 다음과같은 설정을 하게됨severity = "info" 라벨을 가진 Alert은 무시됨severity = "warning" 라벨을 가진 Alert은 무시됨namespace = "group-member" 라벨을 가진 Alert은 무시됨정확히는 무시되는건 아니고..
[Prometheus] ServiceMonitor 정리 및 AlertManger 관련
Develop/DevOps 2025. 4. 10. [Prometheus] ServiceMonitor 정리 및 AlertManger 관련 이번에 작업을 하면서 ServiceMonitor에 대해서 알게되었는데. 이게 정확히 어떤방식으로 동작하는지 정리를 하면 좋을것같아서 글을 작성합니다. 왜 사용함?Prometheus에서 일반적으로는 static-configs에 옵션으로 수집할 대상(target)을 지정해주는데. 지정 대상이 한두개면 작업할만하지만, 지정 대상이 수백개 이상이 되어버리면 하나하나 지정해주기가 매우 불편한 상황이 옴. 따라서 더 유연하고 선언적인 방식으로 모니터링 타켓을 관리하기 위해 Prometheus Operator중 하나인 ServiceMonitor를 사용하게됨.어떻게 사용함?모니터링 대상 App에 /metrics 엔드포인트 노출당연하지만 해당 포트에는 Exporter와 같이 메트릭을 노출하는 애플리케이션이 실행중이여야함..

티스토리툴바