S(*). Architect

Ingest Pipeline

학습 목표ingest pipeline이 Elasticsearch 내부에서 document를 변환하는 방식을 설명할 수 있다.processor chain을 설계하고 grok · date · set · remove를 조합할 수 있다.enrich processor로 lookup index에서 필드 보강 패턴을 설명할 수 있다.on_failure·ignore_failure로 파싱 실패를 격리할 수 있다.Beat 직결 vs Logstash vs ingest 역할 분담을 말할 수 있다.문제 상황Filebeat가 ES에 JSON 그대로 넣는데 client.ip geo·service owner가 없음 — Beat마다 enrich 중복Logstash 없이 공통 파싱만 필요 — JVM·5044 운영 부담 없이 가고 싶음g..

Logstash

학습 목표Logstash가 input → filter → output 파이프라인으로 수집·변환·전달하는 중앙 transform 역할을 설명할 수 있다.Beats input(5044)으로 Filebeat와 연동하는 구성을 설명할 수 있다.grok으로 비구조 로그를 필드로 분리하고 date·mutate로 정리할 수 있다.multiline codec으로 스택 트레이스를 한 event로 합치는 패턴을 설명할 수 있다.Logstash filter vs ingest pipeline 선택 기준을 말할 수 있다.문제 상황Filebeat가 ES에 그대로 넣는데 Nginx access log가 한 줄 문자열 — status·url.path로 집계 불가grok 패턴 한 줄 고치려고 Logstash 전체 재시작 — 파이프라인..

학습 목표Beats가 Elastic Stack에서 가벼운 수집기로 어떤 역할을 하는지 설명할 수 있다.Filebeat로 파일·컨테이너 로그를 읽어 Elasticsearch 또는 Logstash로 보낼 수 있다.Metricbeat로 호스트·컨테이너 메트릭을 수집하는 패턴을 설명할 수 있다.module이 input·파싱·필드·대시보드를 묶어 주는 방식을 설명할 수 있다.output.elasticsearch vs output.logstash 선택 기준을 말할 수 있다.문제 상황앱 로그는 /var/log에 쌓이는데 중앙 검색은 Elasticsearch — 누가 파일을 읽어 보내는지 모름tail -f + curl로 ES에 넣다가 재시작 시 로그 유실 — 읽은 위치 registry 없음Nginx access log..

학습 목표aggregation이 검색 hits와 어떻게 다른지, bucket·metric 집계를 구분할 수 있다.terms·date_histogram으로 로그 건수·시계열 집계 쿼리를 작성할 수 있다.query + aggs 조합과 keyword·date mapping 요구를 설명할 수 있다.node·primary shard·replica·routing으로 document가 어느 shard에 가는지 설명할 수 있다.샤드 수·replica 설계가 용량·가용성·집계 비용에 미치는 영향을 개요 수준에서 설명할 수 있다.문제 상황4편 size: 0 없이 ERROR 로그 10만 건을 Kibana에 뿌렸더니 브라우저 멈춤 — 집계가 필요message 필드로 terms 집계했더니 Text fields are not o..

학습 목표Query DSL JSON 구조와 _search 요청 형태를 읽고 작성할 수 있다.match·term·range를 text·keyword mapping에 맞게 선택할 수 있다.bool의 must·filter·should·must_not 조합으로 로그 검색 쿼리를 짤 수 있다.query context와 filter context 차이(점수·캐시)를 설명할 수 있다.from/size 한계와 search_after·PIT 기반 deep pagination을 설명할 수 있다.문제 상황3편 mapping 후 level: ERROR를 match에 넣었더니 WARN도 섞임 — keyword는 termmessage에 payment timeout 구문 검색이 안 됨 — match_phrase 필요bool에 조건..

학습 목표mapping이 document 필드의 타입·분석 방식을 정의함을 설명할 수 있다.text와 keyword의 차이와 언제 무엇을 쓰는지 선택할 수 있다.dynamic mapping과 explicit mapping의 트레이드오프를 설명할 수 있다.analyzer가 character filter·tokenizer·token filter로 term을 만드는 과정을 설명할 수 있다.로그·이벤트용 index mapping 초안을 작성할 수 있다.문제 상황2편에서 message를 넣었는데 집계하려니 Text fields are not optimised for operations — text vs keywordorder_id가 문자열로 들어와 정렬·range가 이상 — dynamic mapping이 long..

학습 목표Elasticsearch가 분산 검색·분석 엔진으로 무엇을 하는지 설명할 수 있다.document·index·_id·_source의 관계를 설명할 수 있다.inverted index가 full-text 검색에 쓰이는 이유를 설명할 수 있다.near real-time(NRT) 에서 index 직후 검색이 즉시 되지 않는 이유를 설명할 수 있다.기본 Index·Get·Search REST API로 document를 넣고 조회할 수 있다.문제 상황JSON 로그를 Elasticsearch에 넣었는데 Kibana에서 안 보인다 — refresh 전이라 NRT 타이밍orders 테이블처럼 생각하고 UPDATE 했더니 새 document가 생김 — document 불변·append 모델message 필드만 ..

학습 목표Elastic Stack(ELK) 구성 요소와 source → ingest → index → visualize 흐름을 설명할 수 있다.Elasticsearch·Logstash·Kibana·Beats와 Elastic Cloud가 각각 어떤 역할을 담당하는지 구분할 수 있다.관측성 시리즈에서 본 로그 파이프라인·ELK vs Loki 개요와 본 시리즈의 심화 범위 차이를 설명할 수 있다.ILM·data stream·Fleet 등 프로덕션 키워드가 시리즈 어디에서 다루어지는지 짚을 수 있다.22편 로드맵을 보고 학습 순서를 잡을 수 있다.문제 상황JSON 로그는 앱에서 잘 쓰는데, 검색은 여전히 grep — 중앙 저장·UI가 없다Filebeat를 깔았더니 Elasticsearch 샤드·디스크가 금방 찬..