지혜를 창출할 창고

안녕하세요. 해당 글은 리눅스 서버에서 사용할 elastic stack 설치 과정입니다. 패키지 관리자를 사용하지 않고 설치합니다. 글의 순서 설치 설정 실행 1. 설치 kibana wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-linux-x86_64.tar.gz tar xvf kibana-7.10.2-linux-x86_64.tar.gz mv kibana-7.10.2-linux-aarch64 kibana elasticsearch wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-linux-aarch64.tar.gz tar xvf elasticse..

logstash 테스트를 위한 컴포즈 쪼개기와 docker-compose 간의 network 통신 안녕하세요. 시간이 지나 흐릿해지는 docker compose network 통신에 대한 글입니다. 여러 개의 컴포즈 파일이 있고, 상호간 통신을 원한다. stack이라고 표현하는 swarm이나 k8s의 경우 cluster가 구축된 인프라에서 구축하고 각 container의 통신을 각 기술에 정의된 규칙으로 허용하게 됩니다. 이처럼 docker-compose 또한 자신의 파일이 하나의 node가 되어 컨테이너를 띄우는 형식으로 가장 간단한 옵션인 internal, external open의 방식을 사용해보았습니다. 먼저, elastic stack으로 run하게 될 docker-compose.yml 입니다. ..

안녕하세요. 로그 통합하는 과정에서 logstash, filebeat를 최대한 활용하는 과정에서 생긴 내용을 정리하는 글입니다. log format 각각의 application 공통 로그의 형식은 같다. error, info 등의 활용은 다르다. logstash vs filebeat 각각의 application은 파일 형태로 남기고 있다. 현 상태에서 logstash로 별도로 보내는 log4j 추가가 적합한가를 고민하게 됐는데요. 기존 개발자들이 로그를 보던 방식은 유지하고, 기능의 확장을 선택하였습니다. 추후에 logstash에서 custom ui를 위해 kafka 같은 메시징 서버에 전송으로 추가 확장을 생각하게 되었습니다. 또, container로 전환했을 때 filebeat container lo..

input fluent codec 테스트 하기 multi line을 하나의 출력으로 정의하는 형태에서 적합한 log 통합은 무엇인지 탐색하는 과정입니다. log info # ---------------------- log info # | id | ps | log info # | name | awesome | log info # ---------------------- 아래 표현이 현재 생각하고 있는 흐름입니다. apache -> filebeat -> java -> logstash -> elasticsearch -> kafka codec fluent type elastic stack logstach 공식 문서에선 codec fluent ruby를 예제로 보여주고 있는데요. 이걸 자바로 변경해서 사용해보았습..