도입은 완료율보다 안전한 인계율로 판단한다
한 개의 버릴 수 있는 저장소에서 읽기, 수정 범위가 좁은 작업 10개로 시작합니다. daemon이 스스로 완료했다고 표시한 비율뿐 아니라 사람이 추가 수정 없이 승인한 비율, 잘못된 파일 접근, 중단 이후 복구 시간과 로그 누락을 기록합니다. 비동기 실행이 사람의 관찰 시간을 줄이면서도 review 부담을 늘리지 않을 때 범위를 넓힐 수 있습니다.
Multica의 실질적 가치는 Agent를 사람처럼 부르는 데 있지 않고 실행 상태와 인계물을 중앙에서 추적하는 데 있습니다. control plane과 daemon 사이의 연결이 끊겨도 안전하게 멈추고, 어떤 runtime, prompt, commit이 결과를 만들었는지 재현할 수 있어야 관리 플랫폼의 이점이 생깁니다.
평가표에는 과제별 시작 commit, 허용 파일, 성공 test와 최대 실행 시간을 적습니다. Agent가 다른 파일을 건드리거나 test를 삭제해 녹색 결과를 만든 경우에는 완료로 세지 않습니다. 결과 branch는 사람이 merge하기 전 보호하고, 동시에 수행한 작업들이 같은 dependency 파일을 수정하면 자동으로 후속 작업을 멈춰 충돌이 연쇄되지 않게 합니다.
control plane 장애도 연습해야 합니다. 연결이 끊겼을 때 daemon이 이전 명령을 계속 실행하는지, 재접속 후 같은 task를 두 번 가져오는지, 중단 요청이 실제 자식 process까지 전달되는지 확인합니다. heartbeat가 사라진 실행은 상태만 “실패”로 바꾸는 데 그치지 말고 process와 workspace를 확인한 뒤 재할당해야 합니다.
관측 로그에는 자연어 진행률만 두지 말고 실행한 명령, exit code, 변경 파일, test 결과와 승인 사건을 시간순으로 연결합니다. 다만 stdout에는 secret이나 고객 데이터가 포함될 수 있으므로 업로드 전 마스킹하고, control plane에서 누가 어느 task 로그를 열람할 수 있는지 제한해야 합니다. 이 기록이 있어야 “Review” 카드가 실제로 무엇을 했는지 재현할 수 있습니다.
작업 보드가 유용하려면 사람이 개입해야 할 상태를 너무 넓게 잡지 않습니다. dependency 선택, 범위 확장, 외부 접근처럼 결정이 필요한 blocker와 일시적 lint 실패처럼 Agent가 정해진 횟수 안에서 고칠 오류를 구분합니다. 모든 경고가 알림이 되면 운영자는 결국 dashboard를 계속 바라보게 되어 비동기화의 이점이 사라집니다.