2026 대여 Mac Mini 장기 크롤링·배치
FAQ: 끊김 복구·멱등 체크포인트·디스크 임계치 체크리스트
① 장기 크롤링·배치에서 자주 터지는 제약
- 끊김 시 동일 URL 중복·파손 파일 위험.
- 로그·캐시로 APFS 여유 급감·스왑 압박.
- 체크포인트 없으면 멱등 붕괴·중복 처리 사고.
② 로컬 상시 가동 vs 대여 노드
로컬 맥을 상시 켜 두면 전기·소음·가정망에 묶이고, 대여 노드는 배치 전용으로 두고 SSH·임계치 설계에 집중하기 쉽습니다(구매·대여 장문 비교는 다른 글 참고).
| 항목 | 로컬 상시 | 대여 노드 |
|---|---|---|
| 환경 | 정전·절전 직접 대응 | 센터 전원·업링크 의존 |
| 초점 | 기기 점유 | 스케줄·디스크 설계 |
| 복구 | 직접 재부팅 | 체크포인트+지원 |
③ 디스크 잔여%·조치 임계치 체크리스트
| 잔여 용량 | 권장 조치 |
|---|---|
| ≥ 20% | 정상, 로그 로테이션 |
| 15~20% | 경고, 대용량·스테이징 중단 |
| < 15% | 신규 입력 금지, 드레인만 |
| < 10% | 강제 중지 후 정리·재개 |
df -h 또는 메트릭으로 동일 기준 자동화.
④ 끊김 복구·재시도 백오프 실행 규칙
재개는 커밋된 오프셋부터, 스트리밍 중단 시 부분 파일 폐기 후 재요청. 429·5xx·타임아웃: 초기 1초, 2배 지수, 상한 60초, 8~12회, 지터 0~20%. 인증·스키마 4xx는 재시도 없이 기록만.
⑤ 멱등 체크포인트 명명·원자적 저장
job_이름_shardN_cursor키_v버전_tsUTC.json 예: job_p_shard0_cSKU88_v2_ts20260324T120000Z.json. 임시 쓰기 후 rename으로 원자적 갱신, 동일 커서는 스킵.
⑥ 운영 런북 5단계
- 시작 전 df로 잔여%, 20% 미만이면 정리.
- 체크포인트와 로그 경로 분리.
- HTTP에 타임아웃·백오프·최대 시도 고정.
- 실패 시 알림·동일 잡 ID 재큐, 커서는 파일에서만 증가.
- 산출물 주기적 오프로드로 로컬 디스크 비우기.
실행 수치 3선
- 디스크 15% 미만 경고·입력 제한, 10% 미만 중지·정리.
- 백오프 1s×2^n 상한 60s 지터 0~20% 8~12회.
- 파일명 job_이름_shard_cursor_v_ts.json + rename 원자 저장.
⑦ 자주 묻는 질문
끊김 후 재개는?
체크포인트 오프셋부터 이어가고 부분 스트림은 폐기 후 구간만 재요청, 백오프는 본문 표 준수.
체크포인트 이름은?
이름·샤드·커서·버전·UTC를 파일명에 넣고 임시 쓰기 후 rename.
디스크 몇 %에서 멈출까?
15% 미만 신규 중단, 10% 미만 잡 중지 후 정리·재개.
백오프 기본값은?
1초 시작 2배 상한 60초 지터 0~20% 8~12회, 클라이언트·프록시 한쪽만.
마무리
임계치·명명·백오프를 고정하면 장애가 반복 패턴으로 줄어듭니다. 구매·대여로 노드를 확보하고 고객센터·블로그와 병행하세요.