S(*). Architect

학습 목표topic·partition·offset으로 Kafka 로그 모델을 설명할 수 있다.partition key와 ordering 범위를 설계할 수 있다.consumer group으로 병렬 소비·lag를 이해할 수 있다.retention·replay로 backfill·재처리 경로를 설계할 수 있다.앞 편 ingest 레이어에서 Kafka가 어떤 역할인지 연결할 수 있다.문제 상황앱이 DB에 직접 INSERT — 피크에 WAL·lock 포화, 분석 쿼리와 경합RabbitMQ로 이벤트 보냈는데 한 consumer만 — 처리량 천장, 메시지 유실 걱정“Kafka 썼다” — topic 하나에 파티션 1개, consumer 10개인데 9개 idleorder_id 순서가 중요한데 전역 순서를 기대 — part..

학습 목표bounded·unbounded 데이터를 구분하고 처리 모델을 맞출 수 있다.배치·스트림 파이프라인의 수집·처리·출력 차이를 설명할 수 있다.latency와 throughput 트레이드오프로 도구·스케줄을 선택할 수 있다.리포트·알림·학습·재처리 등 use case에 맞는 쪽을 고를 수 있다.문제 상황야간 전체 SELECT는 잘 되는데 — 5분 안 이상 징후를 잡아야 함Kafka에 실시간 넣었지만 어제 데이터와 합쳐 feature table을 만들어야 함 — 경로가 둘로 갈라짐“스트리밍이 최신”이라 Spark Streaming만 썼더니 — 일일 리포트·backfill이 더 비쌈micro-batch 1분인데 SLA는 10초 — 진짜 스트림인지 배치인지 구분 못 함CDC는 unbounded인데 do..