mingming

Kibana Elasticsearch와 함께 사용되며, 대용량 데이터를 검색, 분석 및 시각화할 수 있는 오픈 소스 툴입니다. 시각화 및 대시보드: Kibana는 다양한 시각화 도구를 제공하여 데이터를 그래픽적으로 표현하고, 이를 기반으로 대시보드를 만들 수 있습니다. 막대 그래프, 라인 차트, 파이 차트, 지도 등 다양한 시각화 유형을 지원합니다. 데이터 탐색과 검색: Elasticsearch로 색인된 데이터를 탐색하고, 사용자가 원하는 대로 데이터를 검색할 수 있습니다. 강력한 쿼리 및 필터링 기능을 활용하여 데이터를 검색하고 분석할 수 있습니다. 인터랙티브한 대시보드: 사용자는 시각화 객체를 클릭하거나 선택하여 다른 시각화에 영향을 주는 등, 대화형 대시보드를 생성할 수 있습니다. Kibana는 E..

지난 포스팅에서 logstash의 설치와 기본적인 파이프라인 테스트를 해봤습니다. 이번엔 파일 비트로부터 로그를 전달받고 필터를 통해 로그를 파싱해 elasticsearch에 로그를 적재하는 파이프라인을 구축해보도록 하겠습니다. Filebeat 구성 logstash 파이프라인 생성하기 전 로그를 logstash로 전달하기 위해 Filebeat를 구성해야 합니다. Filebeat는 서버에서 로그를 수집하고 logastash 인스턴스에 전달하는 경량화된 도구입니다. Filebeat는 시스템에서 리소스 사용량이 적으며 Beats input 플러그인은 logstash 인스턴스의 리소스 요구를 최소화 합니다. 일반적으로 Filebeat는 서버에서 동작하며 logstash 인스턴스와 별도의 공간에 위치하지만 실습 ..

Logstash 설치 Logstash 에서는 다음 JVM 버전 중 하나가 필요합니다. Java 11 Java 17 Logstash 패키지에서 번들로 JDK를 제공하고 있습니다. 만약 다른 버전의 JDK 를 사용하고자 한다면 설치하기 전에 LS_JAVA_HOME 환경변수를 설정해주면 됩니다. 0. 설치 환경 VM : VirtualBox 7.0 OS : ubuntu 20.04 ram : 4GB elasticsearch: 7.0 1. Logstash 설치 앞서 설치한 elasticsearch가 7.0 버전이었기에 logstash 7.0 버전을 설치해보려 합니다. 위의 링크에서 OS 환경에 맞는 패키지를 다운로드 해주시면 됩니다. 로컬에 설치한 패키지 파일을 scp 명령어를 통해 가상머신으로 전달합니다. scp..

ElasticSearch 설치 ElasticSearch 를 설치하고 실행하기 위해서 자바 1.8 이상의 버전이 필요합니다. 각 버전별로 지원하는 자바 버전을 미리 확인해야 합니다. 그러나 7.0 이상 버전부터는 자체적으로 jdk를 지원하기 때문에 따로 설치할 필요가 없습니다. java 추가설치가 필요 없는 elasticsearch 7.0 버전을 설치했습니다. 0. 기본 환경 VM : VirtualBox 7.0 OS : ubuntu 20.04 ram : 4GB 1. Open JDK 설치 혹시나 7.0 이하의 버전을 사용하실 분들을 위해 자바 설치과정도 포스팅 해보겠습니다. 설치 가능한 open-jdk 버전이 있는지 확인 sudo apt-get update sudo apt search openjdk 설치하려..

ELK 란? ELK 스택은 Elasticsearch, Logstash, Kibana의 세 가지 프로젝트의 앞글자를 합쳐 만든 말입니다. ELK 스택은 사용자에게 시스템 혹은 어플리케이션의 로그를 수집 처리 분석 조회 할 수 있도록 도와주며 시각화를 통한 모니터링을 제공합니다. 세개의 프로젝트가 각각 어떤 역할을 하는지 알아보도록 하겠습니다. Elastic Search 검색엔진 Elasticsearch는 검색엔진이면서 저장소의 역할을 수행합니다. JSON 형식의 데이터를 관리하며 Logstash 혹은 Fluentbit와 같은 로그 수집 도구와 함께 사용되며 수집한 로그들을 빠르게 조회할 수 있는 검색기능을 제공합니다. 신속한 처리속도 Elasticsearch의 분산 성질로 인해 대량 볼륨의 데이터를 병렬로..