2026 대여 Mac Mini 7×24
Kafka 컨슈머 그룹 — 파티션 리밸런스·fetch·max.poll·세션·디스크·로그 워터마크 의사결정 매트릭스
단일 노드에서 깨지는 지점
- 맥스폴이 처리 꼬리보다 짧음.
- 과대 페치 → 차가운 세그먼트 IO 스파이크.
- 로그 성장 vs APFS 황색선.
장기 Kafka 소비 시나리오
폴링 루프에 역직렬화·처리·커밋이 묶입니다. 협력형 스티키로 이동을 줄이고 CPU 장기 잡은 맥스폴을, IO 바운드는 페치 상한을 보수적으로 잡습니다. 롤링·스케일 창은 피크 밖으로 빼면 리밸런스 연쇄가 줄어듭니다.
프로파일별 의사결정 매트릭스
| 프로파일 | 할당 | 맥스폴·페치 힌트 |
|---|---|---|
| CPU 장기 | 스티키 | 맥스폴 > p99 지연 |
| IO·백필 | 협력형 | 페치·레코드 보수·리텐션·디스크 동시 |
fetch·max.poll·session.timeout 등 매개변수 표
클라이언트 출발점, 브로커 한도에 맞춤.
| 키 | 시작값 | 메모 |
|---|---|---|
| fetch.min.bytes / max.wait | 1–16KB / 0.5–2s | 지연 vs 실시간 |
| max.partition.fetch.bytes | 보수적 MB | 파티션 스파이크 억제 |
| max.poll.records / interval | 처리량 / >꼬리 | 짧은 맥스폴 → 리밸런스 |
| session / heartbeat | 10–45s / ÷3 | 지터·코디네이터 |
| partition.assignment.strategy | 협력형 스티키 | 이동 최소 |
비율: 하트비트 ≈ 세션÷3, 맥스폴 > 폴링 최악 지연.
디스크·브로커 로그 워터마크 임계
로그 디렉터리·로컬 상태가 한 볼륨이면 리텐션·컴팩션·스냅샷이 함께 갑니다.
| 항목 | 황색·적색 힌트 | 액션 |
|---|---|---|
| APFS 여유 | 20%·10% | 페치·보존·압력 동시 |
| 세그먼트·보존 | IO·시간·크기 | 핫 파티션·백필 길이 |
워터라인 FAQ와 동일 알림 축.
여섯 단계 런북
- 부하 재현으로 p99·p999 잡고 맥스폴에 30% 쿠션.
- 세션·하트비트 ÷3, 지터 반영.
- 협력형 스티키·브로커 버전 확인.
- 로그 경로·APFS 여유 한 대시보드.
- 리밸런스 구간에 lag·iowait 겹쳐 분리.
- 야간 전 생산자·보존 창 점검.
황20%·적10%·아이노드80%는 운영 알림 축.
FAQ: 파티션 리밸런스 폭풍·컨슈머 lag
- 리밸런스가 연쇄될 때
- 멤버 변동·맥스폴 과소·세션/하트비트 불일치·피크 스케일 금지.
- lag만 오르고 CPU는 낮을 때
- 페치·역직렬화·디스크·리밸런스 타임라인 교차.
- 브로커+컨슈머 동일 미니
- 페치 버스트 vs 로그 성장 → 워터마크 먼저 스로틀.
마무리
맥스폴·세션·페치·디스크를 표로 묶으면 야간이 안정됩니다. 공개 구매로 노드를 고르고 SSH·VNC로 올리세요.
Kafka 스트리밍용 Mac 노드 고르기
RunMini 애플 실리콘으로 브로커·컨슈머를 안정적으로 돌리세요. 홈·가격·로그인 없이 구매·대여·고객센터·블로그.