지혜를 창출할 창고

관련 내용은 filebeat -> logstash -> elasticsearch 흐름에서 logstash가 문서를 drop하는 설정입니다. filebeat이 보내는 형식에서 message 기준으로 불필요한 로그의 경우 삭제하는 방식입니다. 불필요한 로그란 필요할까 싶어 찍어놓았지만 정작 쓰이지 않는 로그입니다. # logstash.conf input { beats { port => 5044 } } filter { if [message] =~ "# contain handler :" { drop {} } if "beats_input_codec_plain_applied" in [tags] { mutate { remove_tag => ["beats_input_codec_plain_applied"] remove_..

logstash 테스트를 위한 컴포즈 쪼개기와 docker-compose 간의 network 통신 안녕하세요. 시간이 지나 흐릿해지는 docker compose network 통신에 대한 글입니다. 여러 개의 컴포즈 파일이 있고, 상호간 통신을 원한다. stack이라고 표현하는 swarm이나 k8s의 경우 cluster가 구축된 인프라에서 구축하고 각 container의 통신을 각 기술에 정의된 규칙으로 허용하게 됩니다. 이처럼 docker-compose 또한 자신의 파일이 하나의 node가 되어 컨테이너를 띄우는 형식으로 가장 간단한 옵션인 internal, external open의 방식을 사용해보았습니다. 먼저, elastic stack으로 run하게 될 docker-compose.yml 입니다. ..

안녕하세요. 로그 통합하는 과정에서 logstash, filebeat를 최대한 활용하는 과정에서 생긴 내용을 정리하는 글입니다. log format 각각의 application 공통 로그의 형식은 같다. error, info 등의 활용은 다르다. logstash vs filebeat 각각의 application은 파일 형태로 남기고 있다. 현 상태에서 logstash로 별도로 보내는 log4j 추가가 적합한가를 고민하게 됐는데요. 기존 개발자들이 로그를 보던 방식은 유지하고, 기능의 확장을 선택하였습니다. 추후에 logstash에서 custom ui를 위해 kafka 같은 메시징 서버에 전송으로 추가 확장을 생각하게 되었습니다. 또, container로 전환했을 때 filebeat container lo..