본문 바로가기

2017/122

로그스태시는 장애 시 어떻게 데이터 손실을 방지할까? 로그스태시는 엘라스틱 스택에서 데이터를 수집하고 가공하여 엘라스틱 서치로 전송하는 역할을 담당하고 있습니다. 이 과정은 입력,필터,출력 플러그인을 통해 하나의 파이프라인을 형성하며 이루어지는데 이 처리 과정 중에 장애가 발생하여 로그스태시가 종료되면 처리중인 데이터는 손실됩니다. 이러한 손실을 방지하기 위해 로그스태시는 어떠한 노력을 하고 있을까요? 로그스태시는 유입된 이벤트를 처리할 때 출력이 완료되어야만 해당 이벤트가 완료된 것으로 판단하고, 그 전에는 큐에 이벤트 레코드를 유지합니다. 로그스태시를 Ctrl+C 또는 SIGTERM 신호를 통해 정상 종료할 경우에는 데이터 수집을 중지하고, 필터와 출력 플러그인에 의해 처리 중인 이벤트들을 정상적으로 처리 완료한 후에 종료합니다. 기본적으로 이 이벤트들.. 2017. 12. 12.
[리뷰] 처음 배우는 머신러닝 책을 읽게 된 이유 얼마전까지만해도 머신러닝이라는 것은 저와는 완전히 동떨어진 기술이고, 관심은 가지만 알필요는 없을 것 같다는 생각을 가지고 있었습니다. 왜냐하면 머신러닝을 설명하는 글들을 보면 항상 복잡한 수학 공식이 적혀 있었고, 이 공식들을 사용해서 컴퓨터를 학습시켜 미래를 예측한다는 내용이었기 때문에 너무 어려워보이고 범접할 수 없는 느낌이 들었기 때문입니다. 하지만 불과 1,2년 사이에 먼 이야기 같았던 머신러닝이 점점 생활 속으로 들어오고 익숙한 단어가 되고, 주 마다 찾아가는 서점에서도 머신러닝, 딥러닝에 대한 책들이 점점 많아지는 것을 느꼈습니다. 그만큼 많은 사람들이 관심을 가지고 이에 대한 공부를 하고 있고, 제 주변에서도 관심을 가지고 살펴보는 사람들이 늘어가고 있었습니다. 최근에 .. 2017. 12. 3.