ELK · Elastic Cloud 오리엔테이션

학습 목표

Elastic Stack(ELK) 구성 요소와 source → ingest → index → visualize 흐름을 설명할 수 있다.

Elasticsearch·Logstash·Kibana·Beats와 Elastic Cloud가 각각 어떤 역할을 담당하는지 구분할 수 있다.

관측성 시리즈에서 본 로그 파이프라인·ELK vs Loki 개요와 본 시리즈의 심화 범위 차이를 설명할 수 있다.

ILM·data stream·Fleet 등 프로덕션 키워드가 시리즈 어디에서 다루어지는지 짚을 수 있다.

22편 로드맵을 보고 학습 순서를 잡을 수 있다.

문제 상황

• JSON 로그는 앱에서 잘 쓰는데, 검색은 여전히 grep — 중앙 저장·UI가 없다
• Filebeat를 깔았더니 Elasticsearch 샤드·디스크가 금방 찬다 — 용량·ILM 설계가 없다
• Logstash grok이 한 줄 수정마다 전체 파이프라인 재배포 — ingest pipeline과 역할 분리를 모른다
• Kibana 대시보드는 있는데 알람은 Slack webhook 수동 — rule·connector·SLO 연계가 안 됨
• self-hosted ES 클러스터 업그레이드·백업 부담 — Elastic Cloud vs ECK vs on-prem 선택 기준 모호
• Observability에서 Prometheus·Grafana는 익숙한데, Elastic APM·Metricbeat와 어디까지 겹치는지 불명확
• Loki로 로그만 cheap하게 가져갔는데, full-text·집계·SIEM 요구가 생겨 ELK 재검토

앞서 관측성 기초에서 구조화 로그·수집 파이프라인·ELK/Loki 비교 개요까지 봤다. 본 시리즈는 Elasticsearch·수집·Kibana·운영·Elastic Cloud를 전편 다룬다.

1. Elastic Stack이란?

• Elastic Stack (구 ELK + 확장)
  • 로그·메트릭·APM·보안 이벤트를 수집 → 저장 → 검색 → 시각화하는 플랫폼
  • Elasticsearch가 중심 저장·검색 엔진 — Kibana는 UI, Beats/Agent는 수집

	grep·로컬 tail	Elastic Stack
보존	Pod 삭제 시 유실	retention·replica
검색	텍스트 한 줄	필드 쿼리·집계
규모	호스트별 SSH	샤드·클러스터
운영	없음	ILM·snapshot·RBAC

Source (app stdout · file · metric · trace)
    → Beats / Elastic Agent
    → Logstash or Ingest pipeline (parse · enrich)
    → Elasticsearch (index · data stream)
    → Kibana (Discover · dashboard · alert)

• Near real-time — ingest 후 초~수십 초 내 검색 가능 (refresh interval)
• Document model — JSON document가 index에 저장 — RDB row와 사고방식이 다름
• Elastic Cloud — ES·Kibana·Fleet 등을 매니지드로 제공

2. 시리즈가 다루는 다섯 축

도구 이름은 바뀌어도 데이터 흐름은 유지된다.

축	담는 문제	대표 구성(본 시리즈)
Elasticsearch	저장·검색·집계	index, mapping, Query DSL, shard
Beats·Agent	가벼운 수집	Filebeat, Metricbeat, Fleet
Logstash·Ingest	파싱·변환	grok, processor chain, enrich
Kibana	탐색·대시보드·알람	Discover, Lens, rule·connector
Elastic Cloud	배포·운영 부담	Hosted, Serverless, traffic filter

• Logstash vs Ingest pipeline
  • 둘 다 transform — Logstash는 별도 JVM, ingest는 ES 내부
  • 소규모·단순 파싱은 ingest, heavy routing·버퍼는 Logstash
• Classic index vs data stream
  • 최신 로그·메트릭은 data stream + backing index 권장
• Elastic Agent vs legacy Beats
  • Fleet으로 중앙 정책 — 19편

3. Observability 시리즈와의 관계

Observability에서 본 것	본 시리즈에서 심화
구조화 JSON 로그·correlation ID	mapping·analyzer·필드 타입
로그 파이프라인 agent → storage	Beats·Logstash·ingest 상세
ELK vs Loki trade-off	ES 샤드·ILM·비용, full-text·aggregation
Prometheus·Grafana RED	Metricbeat, Stack Monitoring, Kibana alert
trace_id 상관	Elastic APM·RUM 개요
SLO·retention	ILM hot-warm-cold, snapshot

• 선행 권장
  • Observability 1~3편 — 삼각형, 구조화 로그, 파이프라인 개요
  • JSON·REST, Linux/Docker/K8s 로그 파일 경험
• 연계 시리즈
  • Platform — Pod 로그, DaemonSet agent, 클라우드 VPC
  • Database — slow log, CDC 이벤트를 ES로 적재
  • IaC — ECK·Elastic Cloud 리소스 코드화
  • Security — RBAC, API key, encryption
• Grafana/Loki와 공존
  • 메트릭·일부 로그는 Grafana, 검색·SIEM·Elastic APM은 Stack — 중복 수집 비용 주의

4. 다룰 스택 미리보기

영역	핵심 질문	본 시리즈에서
검색 엔진	document를 어떻게 저장·쿼리?	Elasticsearch 2~5편
수집	노드·Pod 로그를 어떻게?	Beats·Logstash 6~8편
최신 모델	index vs data stream?	9편
UI·알람	장애를 어떻게 탐색·통지?	Kibana 10~12편
수명·용량	디스크·보존·백업?	ILM·snapshot 13~15편
매니지드	self-host vs Cloud?	Elastic Cloud 16~19편
프로덕션	보안·모니터링·비용?	20~22편

• 데이터 흐름 우선 — source → ingest → index → visualize
• 한 편 한 메커니즘 — shard, grok, ILM phase, Fleet policy 등
• 예제는 재현 가능한 beat yml, pipeline JSON, index template 위주

5. 시리즈 로드맵

• Part 1. Elasticsearch (2~5편) — document·mapping·Query DSL·aggregation·cluster
• Part 2. 수집·변환 (6~9편) — Beats, Logstash, ingest pipeline, data stream
• Part 3. Kibana (10~12편) — Discover, dashboard·Lens, alerting·APM 개요
• Part 4. 스택 운영 (13~15편) — ILM, index template, snapshot·replication
• Part 5. Elastic Cloud (16~19편) — Hosted, network, serverless, Fleet
• Part 6. 프로덕션 (20~22편) — security, cluster monitoring, capacity·cost·마무리

다음에 다룰 것

• Elasticsearch란
• document·index, inverted index, near real-time

---

해당 내용은 Elastic Documentation (Elasticsearch Guide, Kibana Guide), Observability Engineering Ch 3~5 를 기반으로 합니다.