지혜를 창출할 창고

관련 내용은 filebeat -> logstash -> elasticsearch 흐름에서 logstash가 문서를 drop하는 설정입니다. filebeat이 보내는 형식에서 message 기준으로 불필요한 로그의 경우 삭제하는 방식입니다. 불필요한 로그란 필요할까 싶어 찍어놓았지만 정작 쓰이지 않는 로그입니다. # logstash.conf input { beats { port => 5044 } } filter { if [message] =~ "# contain handler :" { drop {} } if "beats_input_codec_plain_applied" in [tags] { mutate { remove_tag => ["beats_input_codec_plain_applied"] remove_..

안녕하세요. 환경에 구애받지 않고, 유연한 이동을 위해 익숙한 docker-compose로 containerizer하던 중.. 만난 오류 해결에 대한 글입니다. 업무 PC는 로컬에 docker 환경이 구축되지 않아 windows에 설치하여 데모를 만들었습니다. 이 기억을 토대로 docker-compose yml을 만들면서 logstash만 shutdown 되는 현상을 파악하는 과정입니다. 발생한 오류 logstash_1 | [2021-01-15T16:14:12,164][ERROR][logstash.agent ] Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::..

input fluent codec 테스트 하기 multi line을 하나의 출력으로 정의하는 형태에서 적합한 log 통합은 무엇인지 탐색하는 과정입니다. log info # ---------------------- log info # | id | ps | log info # | name | awesome | log info # ---------------------- 아래 표현이 현재 생각하고 있는 흐름입니다. apache -> filebeat -> java -> logstash -> elasticsearch -> kafka codec fluent type elastic stack logstach 공식 문서에선 codec fluent ruby를 예제로 보여주고 있는데요. 이걸 자바로 변경해서 사용해보았습..