Life goes slowly...

Logstash 란? 실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진입니다.Logstash는 서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화 할 수 있습니다. Logstash는 플러그인 기반의 데이터 수집 및 처리 엔진으로서, 광범위한 플러그인들이 있으며 다양하고 수많은 아키텍처에서 데이터를 수집 및 처리, 전달합니다. Logstash는 입출력 도구입니다. 다양한 종류의 로그(System logs, webserver logs, error logs, application logs) 뿐만 아니라 입력되는 모든 종류의 데이터를 가공하여 출력합니다. Logstash 아키텍처 Logstash는 Input을 받아서 커스텀 가능한 Filter로 가공하여 ouput으로 ..

Kibana 란? Elastic Stack 기반으로 구축된 오픈 소스 프론트 엔트 애플리케이션으로, ElasticSearch에서 색인된 데이터를 검색하여 분석 및 시각화하는 기능 플랫폼입니다. Kibana는 히스토그램부터 Geo 맵까지 다양한 시각화 도구를 이용하여 사용자 지정 대시보드와 결합하여 데이터에 생명력을 부여하는 역할을 합니다. 고급 데이터 분석을 쉽게 수행하고 다양한 차트, 테이블 및 맵에서 데이터를 시각화 가능합니다. Kibana는 ElasticSearch의 결과를 보여주는 역할을 하기 때문에 ElasticSearch가 설치가 필수입니다. Kibana 사용 용도 ElasticSearch에서 색인된 데이터를 검색하고 시각화하여 데이터를 분석합니다. 로깅과 로그 분석 인프라 메트릭과 컨테이너 ..

ElasticSearch 란? Apache Lucene을 기반으로 구축된 많은 양 그리고 모든 유형의 데이터들을 위한 Java 분산형 오픈소스 검색 및 분석 엔진입니다. 간단한 Rest API, 분산형 특징, 속도, 확장성으로 유명하며 데이터 수집, 보강, 저장, 분석, 시각화를 위한 오픈소스 도구 모임인 Elastic Stack의 구성요소 중에 중심이 되는 요소입니다. ELK(ElasticSearch, Logstash, Kibana) Stack 중에서 데이터를 색인하는 역할을 하고 있습니다. ElasticSearch를 통하여 루씬 라이브러리를 단독으로 사용할 수 있으며, 방대한 양의 데이터를 신속하고 실시간으로 저장 및 검색, 분석할 수 있습니다. ElasticSearch는 다양한 언어를 지원하며 Ja..

DML (Data Manipulation Language) : Data의 삽입, 삭제, 수정, 조회 등의 목적으로 사용하는 명령어입니다. - SELECT : 원하는 집합을 정의하여 조회 및 검색 - INSERT : 자료입력 - UPDATE : 자료수정 - DELETE : 자료삭제 - MERGE : 자료입력 또는 수정 DDL (Data Definition Language) : 데이터 정의어, 오브젝트의 생성, 삭제, 변경이 목적입니다. - CREATE : 오브젝트를 생성 - ALTER : 오브젝트를 변경 - DROP : 오브젝트를 삭제 - RENAME : 오브젝트의 이름을 변경 - TRUNCATE : 기본 테이블의 구조만 남기고 모든 레코드를 삭제 - COMMENT : 컬럼/테이블/뷰에 대한 주석을 200..