지혜를 창출할 창고

안녕하세요. 해당 글은 리눅스 서버에서 사용할 elastic stack 설치 과정입니다. 패키지 관리자를 사용하지 않고 설치합니다. 글의 순서 설치 설정 실행 1. 설치 kibana wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-linux-x86_64.tar.gz tar xvf kibana-7.10.2-linux-x86_64.tar.gz mv kibana-7.10.2-linux-aarch64 kibana elasticsearch wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-linux-aarch64.tar.gz tar xvf elasticse..

관련 내용은 filebeat -> logstash -> elasticsearch 흐름에서 logstash가 문서를 drop하는 설정입니다. filebeat이 보내는 형식에서 message 기준으로 불필요한 로그의 경우 삭제하는 방식입니다. 불필요한 로그란 필요할까 싶어 찍어놓았지만 정작 쓰이지 않는 로그입니다. # logstash.conf input { beats { port => 5044 } } filter { if [message] =~ "# contain handler :" { drop {} } if "beats_input_codec_plain_applied" in [tags] { mutate { remove_tag => ["beats_input_codec_plain_applied"] remove_..

안녕하세요. 로그 통합하는 과정에서 logstash, filebeat를 최대한 활용하는 과정에서 생긴 내용을 정리하는 글입니다. log format 각각의 application 공통 로그의 형식은 같다. error, info 등의 활용은 다르다. logstash vs filebeat 각각의 application은 파일 형태로 남기고 있다. 현 상태에서 logstash로 별도로 보내는 log4j 추가가 적합한가를 고민하게 됐는데요. 기존 개발자들이 로그를 보던 방식은 유지하고, 기능의 확장을 선택하였습니다. 추후에 logstash에서 custom ui를 위해 kafka 같은 메시징 서버에 전송으로 추가 확장을 생각하게 되었습니다. 또, container로 전환했을 때 filebeat container lo..

안녕하세요. 환경에 구애받지 않고, 유연한 이동을 위해 익숙한 docker-compose로 containerizer하던 중.. 만난 오류 해결에 대한 글입니다. 업무 PC는 로컬에 docker 환경이 구축되지 않아 windows에 설치하여 데모를 만들었습니다. 이 기억을 토대로 docker-compose yml을 만들면서 logstash만 shutdown 되는 현상을 파악하는 과정입니다. 발생한 오류 logstash_1 | [2021-01-15T16:14:12,164][ERROR][logstash.agent ] Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::..

데이터 저장 공간: Index 인덱스 생성 하나의 물리적인 Index 여러 개의 논리적인 Index 검색 시 여러 개의 논리적인 인덱스를 동시에 검색할 수 있다. 인덱스 생성 시 분산 환경에 용이한 shard 세트를 생성 Kibana로 보는 인덱스 자동 생성 (product 환경에선 권장하지 않음) send fluent-logger-java message final FluentLogger LOG = new FluentLoggerFactory().getLogger(getClass().getName(), "localhost", 5005); public void sendLog() { LOG.log("forJava", Map.of("id", "ps!!!! 33", "name", "Awesome 33 ###", ..

input fluent codec 테스트 하기 multi line을 하나의 출력으로 정의하는 형태에서 적합한 log 통합은 무엇인지 탐색하는 과정입니다. log info # ---------------------- log info # | id | ps | log info # | name | awesome | log info # ---------------------- 아래 표현이 현재 생각하고 있는 흐름입니다. apache -> filebeat -> java -> logstash -> elasticsearch -> kafka codec fluent type elastic stack logstach 공식 문서에선 codec fluent ruby를 예제로 보여주고 있는데요. 이걸 자바로 변경해서 사용해보았습..