二〇二六年 レンタル Mac Mini七時二十四分:Kafka コンシューマ意思決定マトリクス(再均衡・fetch・ディスク水位)
単一レンタル Mac MiniでKafka ブローカーとコンシューマを近づけると、協調型再割当とログディスクが同じ APFSを共有し、max.poll だけ直すと再均衡が連鎖しやすくなります。シナリオ表・fetch/poll・黄赤閾値・五手順・FAQで固定。ワーカー稿・検索ログ稿・水位 FAQ。公開購入(ログイン不要)で検証台へ。
- 協調型再割当と長時間処理がmax.poll.interval.ms と突き合わせるとrevoke が増え、再均衡が短周期で戻ります。
- fetch を太らせるとブローカーのキャッシュと帯域が跳ね、尾遅延が先に悪化。
- log.dirs 水位が悪いと削除が遅れ、ラグは下がっても再処理リスクが残る。
長距離(マラソン)消費シーン
partition とインスタンスの比が崩れるとアイドルと過負荷が混在。出発点は下表。
| シナリオ | 再均衡リスク | まず触る実行方針 |
|---|---|---|
| 安定 長距離 | 低〜中 | partition と max.poll を同一 SLO 表へ |
| デプロイ 直後 | 高 | sticky・rolling 幅・session 整合 |
| 毒 メッセージ | 中 | DLQ・処理分割(max.poll 短縮のみは注意) |
fetch・max.poll.interval.ms・session.timeout.ms 等のパラメータ表
値は既定と計測に合わせる出発点。
| 項目 | 推奨の出発点 | メモ |
|---|---|---|
fetch.min.bytes |
一 バイト〜十六 KiB | 待ちと帯域のトレード |
fetch.max.wait.ms |
五百 ms 前後 | レイテンシ SLO とセット |
max.partition.fetch.bytes |
一 MiB 前後から | 巨大 メッセージは別 監視 |
max.poll.interval.ms |
処理 p99 の二〜三 倍 以上 | 超えるなら分割 必須 |
session.timeout.ms |
四十五 秒 前後が多い | ブローカー group 設定と一致 |
heartbeat.interval.ms |
session の三分の一 未満 | 例 十五 秒なら五 秒 前後 |
ディスクとログの水位しきい値
- broker disk watermark:八十五・八十七・九十パーセント帯が一般的(設定で確認)。
- segment と retention を同表に載せ削除遅延を見る。
- APFS:黄 二割未満、赤 一割未満で減速(FAQ)。
- アプリログ ローテは圧縮窓と十五分以上ずらす。
安定化の五手順
- partition とインスタンスの比を固定しrolling で増やす。
- max.poll と処理 p99 を同一ダッシュボードへ。
- 再均衡回数と理由(協調/assignor)をメトリクス化。
- 黄で投入減速、赤で消費停止を自動化。
- 四半期にフェイルオーバー演習とログ復元。
引用に使える数値と短句
- max.poll.interval.ms は処理 p99 より長い。
- heartbeat < session 三分の一。
- ラグは末尾オフセット差、ディスク詰まりでは見かけ改善に注意。
FAQ(再均衡ストーム・消費ラグ)
- 再均衡ストームとは
- 協調型再割当が短周期で連鎖し処理よりメンバーシップ更新が支配する状態。デプロイ間隔とpartition 急増を先に抑える。
- ラグをどう読む
- group の遅れはオフセット差。disk 逼迫では削除遅延で数値だけ良く見えることがある。水位と併記。
まとめ:再均衡はpartition とmax.poll のセット。fetch は帯域とセット。公開購入で検証台、ホーム・料金・ヘルプ。