logstash4 로그스태시는 장애 시 어떻게 데이터 손실을 방지할까? 로그스태시는 엘라스틱 스택에서 데이터를 수집하고 가공하여 엘라스틱 서치로 전송하는 역할을 담당하고 있습니다. 이 과정은 입력,필터,출력 플러그인을 통해 하나의 파이프라인을 형성하며 이루어지는데 이 처리 과정 중에 장애가 발생하여 로그스태시가 종료되면 처리중인 데이터는 손실됩니다. 이러한 손실을 방지하기 위해 로그스태시는 어떠한 노력을 하고 있을까요? 로그스태시는 유입된 이벤트를 처리할 때 출력이 완료되어야만 해당 이벤트가 완료된 것으로 판단하고, 그 전에는 큐에 이벤트 레코드를 유지합니다. 로그스태시를 Ctrl+C 또는 SIGTERM 신호를 통해 정상 종료할 경우에는 데이터 수집을 중지하고, 필터와 출력 플러그인에 의해 처리 중인 이벤트들을 정상적으로 처리 완료한 후에 종료합니다. 기본적으로 이 이벤트들.. 2017. 12. 12. ELK 구성 노트 ElasticSearch 외부에서 접속이 안될 때config/elasticsearch.yml 파일에 바인딩 설정network.bind_host: 0.0.0.0 vm.max_map_count 부족 오류로그에 찍힌 오류메세지max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 설정되어 있는 vm.max_map_count 값 확인$ sysctl vm.max_map_countvm.max_map_count 값 설정$ sysctl -w vm.max_map_count=262144conf 파일로 설정$ vi /etc/sysctl.conf$ sysctl -pelasticsearch 홈페이지 참고 logstash.. 2017. 3. 18. [번역] Logstash 배포 및 확장 원문 : Deploying and Scaling Logstash Logstash의 유스 케이스가 발전함에 따라 주어진 규모에서 선호하는 아키텍처가 변경 될 것입니다. 이 포스트에서는 최소한의 설치부터 시작하여 시스템에 요소를 추가하는 등 일련의 복잡한 Logstash 아키텍처에 대해 설명합니다. 이 섹션의 배포 예제는 하나의 Elasticsearch 클러스터를 위해 작성되었지만 Logstash는 다양한 엔드 포인트에 대해서도 작성될 수 있습니다.최소한의 설치최소의 Logstash 설치는 하나의 Logstash 인스턴스와 하나의 Elasticsearch 인스턴스를 포함하고 있습니다. 이러한 인스턴스들은 서로 직접 연결됩니다. Logstash는 Logstash 처리 파이프 라인을 따라 입력 플러그인을 사용하.. 2017. 3. 14. filebeat를 사용하여 logstash로 파일 수집하기 설치 과정은 여기에 잘 정리되어 있으므로 생략. Logstash로 전달하기 위한 설정filebeats는 file에 저장된 로그 데이터를 실시간으로 수집하여 logstash로 전달한다.파일이 추가되거나 변경되면 실시간으로 logstash에 반영한다.filebeat.yml 설정기본적으로 설정되어 있는 elastic 부분을 모두 주석 처리하고 logstash를 활성화 시킨다.#-------------------------- Elasticsearch output ------------------------------ #output.elasticsearch: # Array of hosts to connect to. #hosts: ["localhost:9200"] # Optional protocol and basi.. 2017. 3. 10. 이전 1 다음
