라이프사이클 워처 (LLM 모니터링)

활성 프로젝트가 정상 진행 중인지, 종료·리마인드가 필요한지를 매니저가 코멘트를 일일이 확인해야 했는데, 매니저가 3명에서 1명으로 줄면서 모니터링이 병목이 됐습니다.

BEFOREAFTER

모니터링매니저 수동 점검LLM 자동 판단

사람 역할판단 + 실행제안된 버튼만 승인

안전장치없음confidence·환각·미완료 가드

커버 규모사람이 감당프로젝트 2,515개

2,515개LLM 자동 추적 · 100건 정산 자동 집행 · 분석 $0.027/건

어떻게 별도 워커가 다단계 폴링하고 LLM이 코멘트·경과 시간·산출물을 분석해 종료/리마인드/지연을 판단, Slack에 액션 버튼을 제안합니다. 자동 실행이 아닌 승인 구조(confidence 0.7 미만 스킵·시간 환각 방지·산출물 미완료 시 종료 차단).

검증 · 증거

워커 로그·DB576건 조치 제안100건 정산 집행HITL 승인 구조

기술

RailwayClaudeTypeScriptPlanetScaleSlack Block Kitpg_cron