크롤링 안정성 강화 — sitemap 우선 큐, 타임아웃 재시도, Lite 모드 KRDS 검증

[기능 업데이트] 크롤링 안정성 강화 — sitemap 우선 큐, 타임아웃 재시도, Lite 모드 KRDS 검증

더 정확하고 편리한 진단 경험을 위해 다음 기능을 새로 추가했습니다.

• : 2-큐 전략 도입 (sitemap 우선 소비 → 내부 링크 보조)
• : 페이지 타임아웃(60초) 실패 시 page 재생성 후 1회 재시도
• : Lite 모드에서도 pageDomFull 없이 essentialOnly 846규칙 검증
• : 크롤링 타임아웃 5분→10분, Lite 전환 15→30페이지, 메모리 임계값 300→500MB
• : GC 주기 10→5페이지로 단축, 안전 중단 512→700MB 상향

더 나은 KRDS 진단 경험을 위한 개선은 계속됩니다. 다음 업데이트에서 또 만나요.