관측성 오리엔테이션

학습 목표

Monitoring과 Observability의 차이를 설명할 수 있다.

로그·메트릭·트레이스가 각각 어떤 질문에 답하는지 구분할 수 있다.

분산 시스템에서 관측이 어려운 이유를 설명할 수 있다.

세 신호를 상관(correlation)하는 기본 방법을 설명할 수 있다.

14편 로드맵을 보고 학습 순서를 잡을 수 있다.

1. 관측성이란?

• 관측(Observation)
  • 시스템 내부 상태를 외부 신호로 파악하는 것
  • 코드를 디버거 없이, 프로덕션에서 이해해야 할 때 필요
• Observability(관측성)
  • 임의의 질문에 데이터만으로 답할 수 있는 정도
  • "왜 이 사용자만 5초 걸렸나?" — 미리 만든 대시보드에 없는 질문
• Monitoring(모니터링)
  • 미리 정의한 지표·알람으로 알려진 실패를 감지
  • Observability의 부분집합에 가깝다

• Monitoring만으로는 부족한 이유
  • 마이크로서비스·비동기·캐시가 섞이면 실패 경로가 매번 다름
  • 알람은 "문제 있음"만 알려주고, 원인 탐색은 별도 작업

2. 왜 어려운가?

단일 서버 앱과 분산 시스템은 관측 난이도가 다르다.

	단일 서비스	분산·MSA
실패 위치	한 프로세스	여러 홉·서비스
로그	한 파일 tail	수십 Pod·인스턴스
요청 추적	스택 트레이스	네트워크 경계 넘김
지연 원인	CPU·DB	큐·캐시·다운스트림

• 동시성·비동기
  • 한 HTTP 요청이 MQ·워커·DB를 거침
  • 어느 구간에서 지연됐는지 한 로그만으로는 불명확
• 에피머럴 인프라
  • Pod·컨테이너는 재시작하면 로컬 디스크 사라짐
  • 중앙 수집·상관 ID가 필수 (2~3편)
• 높은 카디널리티
  • user_id·order_id 라벨을 무분별하게 붙이면 메트릭 비용 폭발 (8편)

3. 로그 · 메트릭 · 트레이스

관측의 세 기둥. 한 편에 하나씩 이 시리즈에서 깊게 다룬다.

신호	답하는 질문	예시
로그(Logs)	무슨 일이 일어났나	에러 스택, 결제 실패 사유
메트릭(Metrics)	얼마나·얼마나 자주	QPS, p99 지연, CPU 사용률
트레이스(Traces)	요청이 어디를 거쳤나	span 타임라인, 서비스 간 지연

• 로그
  • 이벤트 단위 기록, 맥락이 풍부
  • 단점: 비용·검색 비용, 집계는 메트릭이 유리
• 메트릭
  • 시계열 숫자, 알람·SLO에 적합
  • 단점: 개별 요청 맥락은 잃기 쉬움
• 트레이스
  • 분산 요청의 경로·지연 분해
  • 단점: 샘플링·저장 비용 — 전량 수집은 현실적이지 않음
• 상관(Correlation)
  • trace_id를 로그·메트릭·트레이스에 공통으로 실어 같은 요청을 이어 본다 (11편)
  • 시간 윈도우로 근접 이벤트를 묶는 방법도 있음

4. 대표 스택 미리보기

영역	역할	대표 도구(예시)
로그 수집	agent → 저장소	Fluent Bit, Loki, ELK
메트릭	pull/scrape, 쿼리	Prometheus, PromQL
시각화·알람	대시보드, alert	Grafana
트레이스	계측·수집·백엔드	OpenTelemetry, Jaeger, Tempo
표준	vendor-neutral API	OpenTelemetry (10편)

• 도구는 바뀌어도 삼각형 구조는 유지된다
• 이 시리즈는 Prometheus·Grafana·OTel을 대표 사례로 다룬다

5. 시리즈 로드맵

• Part 1. 로그 (2~4편) — 구조화 로그, 수집 파이프라인, 장애 좁히기
• Part 2. 메트릭 (5~8편) — counter/gauge/histogram, Prometheus, Grafana
• Part 3. 트레이스 (9~11편) — span·trace, OpenTelemetry, 신호 연계
• Part 4. 운영 실전 (12~14편) — SLO·에러 버짓, 온콜, K8s 관측

다음에 다룰 것

• 구조화 로그
• JSON log, correlation ID, 필드 설계

---

해당 내용은 Observability Engineering (Charity Majors, Liz Fong-Jones, George Miranda) 의 내용을 기반으로 합니다.