Data/Data Engineering
2023. 12. 7.
[filebeat] 로그 파일 새로운 라인만 수집되게 하는법
본 게시글은 제가 바보같이 실수를 한 부분에 대해서 설명합니다. 일단 고수분들이 혹시나 게시글을 보실까봐 미리 얘기하자면, filebeat으로 수집되는 로그파일을 vim으로 수정했더니 이전에 보냈던 로그도 다같이 보내져서 왜인지 살펴보았더니 vim으로 새로운 라인을 추가하면안되고, echo 방식으로 추가해야지 추가한 라인만 보내졌음. 일단 filebeat에서 테스트 삼아 로그 파일을 수집되게끔 설정함. filebeat.yaml은 다음과 같이 설정. - type은 특정 버전이후로는 logs가 지원되지않고 filestream으로 변경됨 - output은 elasticsearch로 설정 filebeat.inputs: - type: filestream id: test-jaeyung enabled: true pa..
![[filebeat] 로그 파일 새로운 라인만 수집되게 하는법](http://i1.daumcdn.net/thumb/C480x320/?fname=https://blog.kakaocdn.net/dn/byOHQA/btsBynZVIsw/iowJ9VZZHpOKoWsx0H7AN0/img.webp)