ELK Stack

https://velog.io/@holidenty/ELK-ELK-Stack-%EC%9D%B4%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C

ELK 란?

ELK 스택은 Elasticsearch, Logstash, Kibana의 세 가지 프로젝트의 앞글자를 합쳐 만든 말입니다.  ELK 스택은 사용자에게 시스템 혹은 어플리케이션의 로그를 수집 처리 분석 조회 할 수 있도록 도와주며 시각화를 통한 모니터링을 제공합니다. 세개의 프로젝트가 각각 어떤 역할을 하는지 알아보도록 하겠습니다. 

 

Elastic Search

검색엔진 

 

Elasticsearch는 검색엔진이면서 저장소의 역할을 수행합니다. JSON 형식의 데이터를 관리하며 Logstash 혹은 Fluentbit와 같은 로그 수집 도구와 함께 사용되며 수집한 로그들을 빠르게 조회할 수 있는 검색기능을 제공합니다. 

 

신속한 처리속도

 

Elasticsearch의 분산 성질로 인해 대량 볼륨의 데이터를 병렬로 처리할 수 있어 쿼리에 최고의 일치 항목을 빠르게 찾을 수 있습니다.
데이터 읽기 및 쓰기와 같은 Elasticsearch 운영은 보통 1초도 안 걸려서 완료됩니다. 덕분에 애플리케이션 모니터링 및 이상 탐지와 같은 실시간에 가까운 사용 사례에 Elasticsearch를 사용할 수 있습니다. 

 

REST API

 

Elasticsearch는 간단한 REST 기반 API, 간단한 HTTP 인터페이스를 제공하고 스키마 없는 JSON 문서를 사용해 다양한 사용 사례에서 쉽게 시작하고 빠르게 애플리케이션을 구축할 수 있습니다.

 

Logstash

 

입력

 

데이터는 여러 시스템에 다양한 형태로 보관된 경우가 많습니다. Logstash는 일반적인 다수의 소스에서 동시에 이벤트를 가져오는 다양한 입력을 지원합니다. 로그, 메트릭, 웹 애플리케이션, 데이터 저장소 및 다양한 AWS 서비스에서 모두 지속적으로 스트리밍되는 방식으로 손쉽게 수집할 수 있습니다.

 

필터

 

Logstash 필터는 데이터가 소스에서 저장소로 이동하는 과정에서 각 이벤트를 구문 분석하고 명명된 필드를 식별하여 구조를 구축하며, 이를 공통 형식으로 변환 통합하여 분석을 더욱 강력하게 만드는 동시에 비즈니스 가치를 높여줍니다.

 

출력

 

Logstash는 원하는 곳으로 데이터를 라우팅할 수 있는 다양한 출력을 지원하기 때문에 여러 저장소로 데이터를 다운스트림하는 유연성을 확보할 수 있습니다.

 

Filebeat

 

Elastic 사에서 제공하는 오픈 소스 데이터 수집 도구로서 로그파일 이벤트 및 다른 유형의 데이터를 수집하여 처리 파이프라인으로 전송하는 역항를 합니다. 

 

경량성

 

낮은 자원 사용량으로 데이터를 수집하고 전송합니다.

 

다양한 데이터 소스 

 

로그 파일 시스템 로그, 이벤트 데이터 등 다양한 유형의 데이터를 수집합니다.

 

ElasticSearch와 통합

 

Filebeat는 수집한 데이터를 Elasticsearch 에 전송하여 실시간으로 검색 및 분석할 수 있도록 지원합니다.

 

 

Kibana

 

 

시각화

 

다양한 종류의 그래프, 차트, 지도 등을 생성하여 데이터를 시각적으로 표현할 수 있습니다. 막대 그래프, 선 그래프, 히트맵, 원형 차트 등 다양한 시각화 형태를 제공합니다.

 

실시간 데이터 분석

 

Elasticsearch와 연결되어 실시간으로 데이터를 시각화하고 분석할 수 있습니다. 데이터가 Elasticsearch에 인덱스되면 Kibana에서 즉시 시각화할 수 있습니다.

 

ELK Stack Architecture