2026年租用 Mac Mini 长期爬取与批处理 FAQ：
断网恢复、幂等检查点、磁盘水位阈值清单
2026年3月24日
RunMini 技术团队
阅读时间：约 7 分钟
① 三类典型痛点
- 断网半套：未区分已落盘与内存进度，重启易重复抓或漏写。
- 无检查点：无游标只能全量重跑，耗时与目标站压力难控。
- 磁盘失控：日志与临时文件无轮转，低水位时检查点难写。
② 本地长期开机与租用节点（一句对照）
相较本地长期开机，租用节点把电力、出口与硬件维护外包；买租细账见站内长文，本文只写爬取批处理的阈值、检查点与退避。
| 焦点 | 程序层你要做 | 租用节点侧含义 |
|---|---|---|
| 断网恢复 | 健康检查、加载检查点、指数退避 | 连线路径由服务商提供，策略在任务内 |
| 幂等 | 原子写、日期序号命名、主键去重 | 磁盘自管，须监控水位 |
| 磁盘 | 阈值、日志轮转、临时目录配额 | 红线时降载清理，保检查点可写 |
③ 落地步骤（≥5 步）
- 目录：专用
./state或./checkpoints，勿与下载缓存混放。 - 落盘：每 N 条或每 5 分钟（先达者）写检查点；先临时文件再
rename。 - 启动：读最新校验通过的检查点；失败回退上一版并告警。
- 退避：1 秒起倍增上限 300 秒，加 0～20% 抖动；同错连续 10 次以上告警，勿空转。
- 磁盘：定时看剩余%；黄灯清日志暂存，红灯停大下载；低于 5% 禁写大临时文件。
- 退出：收终止信号先 flush 检查点再退出。
④ 磁盘水位阈值清单（可勾选执行）
| 剩余空间 | 信号 | 建议动作 |
|---|---|---|
| > 15% | 正常 | 常规写检查点与日志 |
| ≤ 15% | 黄灯 | 轮转日志，清下载暂存与旧检查点（留最近 N 个） |
| ≤ 10% | 红灯 | 停新大下载与非必要缓存，仅保检查点与配置 |
| ≤ 5% | 紧急 | 停非必要写盘；删可再抓或迁走，保检查点目录可写 |
⑤ 可引用信息（阈值 / 退避 / 命名）
- 磁盘：15% 黄灯清理；10% 红灯停大暂存；5% 停非必要写，保检查点与配置。
- 退避：1 秒起倍增上限 300 秒，抖动 0～20%；同错连续 10 次以上告警。
- 文件名：
{job_slug}__{YYYY-MM-DD}__{seq六位}.state.json，seq 规则在 README 写死一种。
⑥ 常见问题 FAQ
断网后怎么恢复？
健康检查后加载最后成功检查点；对外请求指数退避 1～300 秒并加 20% 内抖动，勿猛刷。
检查点怎么命名才幂等？
专用目录 + job_slug__日期__序号.state.json；先临时文件再原子更名，只读校验通过的最新文件。
磁盘百分比阈值有没有推荐值？
见上文 15% / 10% / 5% 三档；检查点与日志建议独立路径便于配额告警。
退避具体数字怎么定？
1 秒起倍增至 300 秒封顶，间隔 ×1.0～1.2 随机；同错超 10 次告警并暂停或换出口，勿无限重试。