[ELK] Logstash - 오픈소스 데이터 수집 엔진

 

Logstash 란?

실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진입니다.Logstash는 서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화 할 수 있습니다. Logstash는 플러그인 기반의 데이터 수집 및 처리 엔진으로서, 광범위한 플러그인들이 있으며 다양하고 수많은 아키텍처에서 데이터를 수집 및 처리, 전달합니다. Logstash는 입출력 도구입니다. 다양한 종류의 로그(System logs, webserver logs, error logs, application logs) 뿐만 아니라 입력되는 모든 종류의 데이터를 가공하여 출력합니다.

 

Logstash 아키텍처

출처 : elastic 홈페이지

 

Logstash는 Input을 받아서 커스텀 가능한 Filter로 가공하여 ouput으로 보내는 역할을 수행하게 됩니다. Logstash는 ElasticSearch와 연동하여 많이 사용되고 있고Logstash의 ouput이 ElasticSearch의 input이 되어 동작하게 됩니다.Logstash의 input는 원천 데이터가 되며 필터 또한 하나 이상으로 가공이 가능하며 가공된 데이터는 ElasticSearch으로 전달되게 됩니다.

 

Logstash 장점

• ElasticSearch 등을 위한 강력한 수집 기능 - ElasticSearch 및 Kibana 시너지 효과를 발휘하여 수평 확장이 가능한 데이터처리
• 플러그형 파이프라인 아키텍처 - 다양한 입력, 필터, 출력을 믹스 매치하여 조정하면서 파이프라인에서 운용
• 커뮤니티에서 확장 가능하고 개발자에게 편리한 플러그인 에코시스템 - 수많은 플러그인을 사용 가능하고, 직접 만들어서 제공할 수 있는 유연성

 

출처 : elastic 홈페이지

 

파이프라인 지정

단일 구성 파일을 사용한 단일 파이프라인

-Logstash를 시작하는 가장 쉬운 방법으로 단일 구성 파일을 기반으로 단일 파이프라인을 만드는 방법입니다.

여러 구성 파일을 사용한 단일 파이프라인

- 특정 디렉토리의 모든 파일을 구성 파일로 사용하여 구성을 하며 logstash.yml 파일을 통해 설정하거나 -f 명령 줄 매개변수를 사용하여 디렉토리 경로를 명령줄을 통하여 전달하도록 설정합니다.

여러 파이프라인

- 여러 파이프라인을 사용하려면Logstash에서 제공되는 pipelines.yml 파일을 편집하여 구성을 쉽게 조정하고 유지 관리 가능합니다.