채채
ELK와 Grafana 본문
OIDC 공모전을 준비하는 스터디에서 로드맵을 짜고자 데브옵스 로드맵 사진을 들고 갔다. 처음보는 스택들이 많았고 모니터링과 로깅에 해당하는 Grafana와 ELK를 어디서 어떻게 언제 사용하는지 몰라 자료를 찾아보았다. 이 글을 통해 찾아본 정보들을 정리하고자 한다.
1. ELK란?
엘라스틱서치는 로여러 장비와 서비스에서 발생하는 로그들을 통합하고 검색하는 데 최적화된 솔루션이다. 로그를 별도의 복잡한 구성없이 바로 수집할 수 있다. 비츠를 이용해 적은 리소스로 로그들을 수집하고, 로그스태시로 다양한 필터를 통해 일원화된 형태로 가공하고, 엘라스틱서치로 대용량 로그를 빠른 인덱싱과 텍스트 검색을 통헤 로그들을 통합해 연관 분석을 지원할 수 있다. 또 키바나로 로그 UI나 대시보드를 사용해 모니터링을 할 수 있다.
https://newtoner.tistory.com/78#elk-%EC%9A%A9%EB%8F%84
2. Grafana란?
Grafana로 대시보드 생성
마지막으로 Grafana라는 오픈소스 툴을 사용해 대시보드를 만들었습니다. Grafana는 Elasticsearch와 MySQL 등에 연동해서 데이터를 시각화할 수 있는 오픈소스 툴입니다. 데이터를 연동해서 쿼리를 입력하면 원하는 형태로 데이터를 시각화할 수 있고, 어떤 데이터와도 연동 가능하며, 쉽게 대시보드를 만들고 수정할 수 있습니다.
앞서 만든 파이프라인을 통해 자동화 테스트에서 생성된 로그가 Elasticsearch에 적재되면, Grafana에서 Elasticsearch로 질의해 원하는 데이터를 가져올 수 있습니다. 가져온 데이터를 차트나 그래프와 같은 다양한 형태로 시각화해서 조합하면 대시보드 하나가 생성됩니다.
https://engineering.linecorp.com/ko/blog/visualizing-test-automation-with-elk-grafana
ELK와 Grafana를 이용해 테스트 자동화 시각화하기
Tech-Verse 2022에서 이준수 님이 발표한 ELK와 Grafana를 이용해 테스트 자동화 시각화하기 세션 내용을 옮긴 글입니다. 안녕하세요. LINE Plus QA 엔지니어 이준수입니다. LINE Desktop 서비스를 담당하고
engineering.linecorp.com
키바나
Kibana 는 세계에서 가장 인기 있는 오픈 소스 로그 분석 플랫폼인 ELK Stack 의 'K' 이며 Elasticsearch 클러스터에 저장된 로그 데이터 위에 대시보드를 탐색, 시각화 및 구축하기 위한 도구를 사용자에게 제공합니다.
Kibana의 핵심 기능은 데이터 쿼리 및 분석입니다. 사용자는 다양한 방법을 사용하여 근본 원인 분석 및 진단을 위해 데이터 내의 특정 이벤트 또는 문자열에 대해 Elasticsearch에 인덱싱된 데이터를 검색할 수 있습니다. 이러한 쿼리를 기반으로 사용자는 Kibana의 시각화 기능을 사용하여 차트, 표, 지리적 지도 및 기타 유형의 시각화를 사용하여 다양한 방식으로 데이터를 시각화할 수 있습니다.
그라파나
Grafana 는 무료 오픈 소스(FOSS/OSS) 시각화 도구로 다양한 데이터 저장소에서 사용할 수 있지만 가장 일반적으로 Graphite , InfluxDB, Prometheus 및 Elasticsearch 와 함께 사용됩니다. 공교롭게도 Grafana 는 Kibana의 포크로 시작하여 Kibana(당시)가 그러한 지원을 많이 제공하지 않는 지표(일명 모니터링)에 대한 지원을 제공하려고 했습니다.
본질적으로 Grafana는 사용자가 대시보드를 쉽게 만들고 편집할 수 있도록 도와주는 풍부한 기능의 Graphite-web 대체품 입니다 . 여기에는 메트릭 및 함수를 쉽게 편집할 수 있는 고유한 Graphite 대상 파서가 포함되어 있습니다. 사용자는 Flot을 기본 옵션으로 사용하는 Grafana의 빠른 클라이언트측 렌더링(심지어 긴 시간 범위)의 결과로 스마트 축 형식(예: 선 및 점)으로 포괄적인 차트를 생성할 수 있습니다.
1. 로그 대 지표(로깅 대 모니터링)
두 시각화 도구의 주요 차이점은 목적에서 비롯됩니다. Grafana의 설계는 시스템 CPU, 메모리, 디스크 및 I/O 사용률과 같은 지표를 분석하고 시각화하는 데 적합합니다. 플랫폼은 전체 텍스트 데이터 쿼리를 허용하지 않습니다. 반면에 Kibana는 Elasticsearch 위에서 실행되며 주로 로그 메시지 분석에 사용됩니다.
모니터링 시스템을 구축하는 경우 둘 다 작업을 꽤 잘 수행할 수 있지만 여전히 아래에 설명된 몇 가지 차이점이 있습니다. 문제 해결, 포렌식, 개발, 보안 등 로그를 지원하는 모든 사용 사례에 대해 찾고 있는 로그라면 Kibana가 유일한 옵션입니다.