二〇二六年 レンタル Mac Mini七時二十四分:Kafka コンシューマ意思決定マトリクス(再均衡・fetch・ディスク水位)

運用設計
約9分

単一レンタル Mac MiniでKafka ブローカーとコンシューマを近づけると、協調型再割当とログディスクが同じ APFSを共有し、max.poll だけ直すと再均衡が連鎖しやすくなります。シナリオ表・fetch/poll・黄赤閾値・五手順・FAQで固定。ワーカー稿・検索ログ稿・水位 FAQ。公開購入(ログイン不要)で検証台へ。

  1. 協調型再割当と長時間処理がmax.poll.interval.ms と突き合わせるとrevoke が増え、再均衡が短周期で戻ります。
  2. fetch を太らせるとブローカーのキャッシュと帯域が跳ね、尾遅延が先に悪化。
  3. log.dirs 水位が悪いと削除が遅れ、ラグは下がっても再処理リスクが残る。

長距離(マラソン)消費シーン

partition とインスタンスの比が崩れるとアイドルと過負荷が混在。出発点は下表。

シナリオ 再均衡リスク まず触る実行方針
安定 長距離 低〜中 partition と max.poll を同一 SLO 表へ
デプロイ 直後 高 sticky・rolling 幅・session 整合
毒 メッセージ 中 DLQ・処理分割(max.poll 短縮のみは注意)

fetch・max.poll.interval.ms・session.timeout.ms 等のパラメータ表

値は既定と計測に合わせる出発点。

項目 推奨の出発点 メモ
fetch.min.bytes 一 バイト〜十六 KiB 待ちと帯域のトレード
fetch.max.wait.ms 五百 ms 前後 レイテンシ SLO とセット
max.partition.fetch.bytes 一 MiB 前後から 巨大 メッセージは別 監視
max.poll.interval.ms 処理 p99 の二〜三 倍 以上 超えるなら分割 必須
session.timeout.ms 四十五 秒 前後が多い ブローカー group 設定と一致
heartbeat.interval.ms session の三分の一 未満 例 十五 秒なら五 秒 前後

ディスクとログの水位しきい値

  • broker disk watermark:八十五・八十七・九十パーセント帯が一般的(設定で確認)。
  • segment と retention を同表に載せ削除遅延を見る。
  • APFS:黄 二割未満、赤 一割未満で減速(FAQ)。
  • アプリログ ローテは圧縮窓と十五分以上ずらす。

安定化の五手順

  1. partition とインスタンスの比を固定しrolling で増やす。
  2. max.poll と処理 p99 を同一ダッシュボードへ。
  3. 再均衡回数と理由(協調/assignor)をメトリクス化。
  4. 黄で投入減速、赤で消費停止を自動化。
  5. 四半期にフェイルオーバー演習とログ復元。

引用に使える数値と短句

  • max.poll.interval.ms は処理 p99 より長い。
  • heartbeat < session 三分の一。
  • ラグは末尾オフセット差、ディスク詰まりでは見かけ改善に注意。

FAQ(再均衡ストーム・消費ラグ)

再均衡ストームとは
協調型再割当が短周期で連鎖し処理よりメンバーシップ更新が支配する状態。デプロイ間隔とpartition 急増を先に抑える。
ラグをどう読む
group の遅れはオフセット差。disk 逼迫では削除遅延で数値だけ良く見えることがある。水位と併記。

まとめ:再均衡はpartition とmax.poll のセット。fetch は帯域とセット。公開購入で検証台、ホーム・料金・ヘルプ。

Kafka コンシューマ検証向け Mac ノード

RunMini の Apple Silicon で再均衡とfetch 試験に余白を。ホーム・料金・ヘルプ・公開購入(ログイン不要可)。

ブログ一覧 公開購入

公開購入へ(ログイン不要)