S(*). Architect

Ingest Pipeline

학습 목표ingest pipeline이 Elasticsearch 내부에서 document를 변환하는 방식을 설명할 수 있다.processor chain을 설계하고 grok · date · set · remove를 조합할 수 있다.enrich processor로 lookup index에서 필드 보강 패턴을 설명할 수 있다.on_failure·ignore_failure로 파싱 실패를 격리할 수 있다.Beat 직결 vs Logstash vs ingest 역할 분담을 말할 수 있다.문제 상황Filebeat가 ES에 JSON 그대로 넣는데 client.ip geo·service owner가 없음 — Beat마다 enrich 중복Logstash 없이 공통 파싱만 필요 — JVM·5044 운영 부담 없이 가고 싶음g..

Logstash

학습 목표Logstash가 input → filter → output 파이프라인으로 수집·변환·전달하는 중앙 transform 역할을 설명할 수 있다.Beats input(5044)으로 Filebeat와 연동하는 구성을 설명할 수 있다.grok으로 비구조 로그를 필드로 분리하고 date·mutate로 정리할 수 있다.multiline codec으로 스택 트레이스를 한 event로 합치는 패턴을 설명할 수 있다.Logstash filter vs ingest pipeline 선택 기준을 말할 수 있다.문제 상황Filebeat가 ES에 그대로 넣는데 Nginx access log가 한 줄 문자열 — status·url.path로 집계 불가grok 패턴 한 줄 고치려고 Logstash 전체 재시작 — 파이프라인..

학습 목표Beats가 Elastic Stack에서 가벼운 수집기로 어떤 역할을 하는지 설명할 수 있다.Filebeat로 파일·컨테이너 로그를 읽어 Elasticsearch 또는 Logstash로 보낼 수 있다.Metricbeat로 호스트·컨테이너 메트릭을 수집하는 패턴을 설명할 수 있다.module이 input·파싱·필드·대시보드를 묶어 주는 방식을 설명할 수 있다.output.elasticsearch vs output.logstash 선택 기준을 말할 수 있다.문제 상황앱 로그는 /var/log에 쌓이는데 중앙 검색은 Elasticsearch — 누가 파일을 읽어 보내는지 모름tail -f + curl로 ES에 넣다가 재시작 시 로그 유실 — 읽은 위치 registry 없음Nginx access log..

학습 목표Elastic Stack(ELK) 구성 요소와 source → ingest → index → visualize 흐름을 설명할 수 있다.Elasticsearch·Logstash·Kibana·Beats와 Elastic Cloud가 각각 어떤 역할을 담당하는지 구분할 수 있다.관측성 시리즈에서 본 로그 파이프라인·ELK vs Loki 개요와 본 시리즈의 심화 범위 차이를 설명할 수 있다.ILM·data stream·Fleet 등 프로덕션 키워드가 시리즈 어디에서 다루어지는지 짚을 수 있다.22편 로드맵을 보고 학습 순서를 잡을 수 있다.문제 상황JSON 로그는 앱에서 잘 쓰는데, 검색은 여전히 grep — 중앙 저장·UI가 없다Filebeat를 깔았더니 Elasticsearch 샤드·디스크가 금방 찬..