가능합니다. TOPReward는 VLM에게 “75% 완료” 같은 숫자를 말하게 하지 않고, 작업 완료와 관련된 토큰의 내부 확률을 읽어 연속적인 진행 보상으로 사용합니다.
논문이 풀려는 문제는 로봇 강화학습의 희소 보상입니다. 성공과 실패만 주는 이진 신호는 긴 작업의 어느 동작이 도움이 됐는지 알려 주지 못하고, 작업별 보상 함수를 새로 만들면 데이터와 라벨 비용이 커집니다. TOPReward는 사전 학습된 비디오 VLM에서 추가 작업별 학습 없이 진행 신호를 꺼냅니다.
VLM에게 진행률을 숫자로 생성하게 하면 자연어 생성 과정에서 수치가 흔들릴 수 있습니다. TOPReward는 텍스트로 확정되기 전의 token logit을 확률로 바꿔, 완료 관련 토큰에 모델이 얼마나 무게를 두는지 측정합니다.
관측 $O_t$가 들어왔을 때 이 확률의 변화를 시간 순서로 놓으면 0과 1 사이의 부드러운 진행 신호를 얻을 수 있습니다. “수건 접기” 사례에서는 천을 펼치고 모서리를 맞추는 의미적 하위 단계에 따라 값이 변합니다.
핵심은 VLM이 장면을 보고 이미 내부적으로 구분하는 완료 가능성을 이용하는 것입니다. 모델이 실제 물리 상태를 직접 측정하는 것은 아니므로, 가려짐이나 익숙하지 않은 물체에서 확률이 잘못될 가능성은 남습니다.
생성된 숫자는 디코딩 설정과 앞서 선택된 토큰에 따라 불연속적으로 바뀔 수 있지만, 후보 토큰의 확률은 최종 선택 전의 상대 신호를 제공합니다. 그렇다고 확률이 실제 완료율로 자동 보정되는 것은 아닙니다. 모델이 완료 토큰에 0.8을 주었다는 사실과 작업이 물리적으로 80% 끝났다는 주장은 서로 다릅니다.
어떤 토큰을 완료와 미완료의 대표로 선택했는지도 중요합니다. 표현이 다른 작업 지시나 다른 언어에서는 같은 토큰 집합이 진행 의미를 충분히 담지 못할 수 있고, tokenizer가 단어를 여러 조각으로 나누면 집계 방식에 따라 값이 달라질 수 있습니다. 프롬프트 표현과 완료 토큰 집합을 바꿔도 곡선의 순서와 최종 판정이 안정적인지 확인해야 합니다.
작업별 파인튜닝이 없더라도 배포 환경의 검증 에피소드로 확률의 해석 범위를 점검할 수 있습니다. 시작, 중간, 완료 상태의 독립 라벨과 확률 분포를 비교하고, 완료되지 않았는데 높은 값이 나온 장면과 완료됐는데 낮은 값이 나온 장면을 따로 모읍니다. 하나의 전역 임계값보다 작업군과 카메라 조건별 분포 차이가 큰지도 봅니다.
값을 단조롭게 후처리하면 곡선은 보기 좋아지지만 실패 뒤 진행률이 내려가야 하는 정보를 잃을 수 있습니다. 물체를 올바른 위치에 놓았다가 다시 떨어뜨린 에피소드처럼 진짜 상태가 역행하는 사례를 포함해 원본 확률과 평활화 결과를 비교해야 합니다. 안정성이라는 이유로 모든 하락을 노이즈로 지우면 정책이 실패를 되돌릴 기회를 놓칩니다.
절대값이 서로 다른 작업을 한 학습 배치에 섞을 때는 스케일 차이도 확인합니다. 한 작업은 전 구간에서 0.2~0.4, 다른 작업은 0.7~0.9에 머물 수 있는데 같은 보상으로 쓰면 모델의 언어적 확신 차이가 행동 학습을 지배할 수 있습니다. 작업 안의 변화량과 최종 물리 성공을 함께 보면서 정규화 여부를 결정해야 합니다.
논문은 130개가 넘는 실제 조작 작업에서 Value-Order Correlation, VOC 0.947을 보고합니다. OXE의 39개 데이터셋에서 각각 20개 에피소드, ManiRewardBench의 4개 데이터셋, 113개 작업, 497개 에피소드로 진행 순서를 평가합니다.
VOC는 시간이 흐를 때 예측값의 순서가 실제 작업 진행 순서와 얼마나 맞는지를 봅니다. 높은 값은 진행 방향을 잘 따랐다는 뜻이지, 최종 완료율을 정확히 맞혔다는 뜻은 아닙니다. 논문은 성공 감지, 정책 개선, 평가에 사용할 수 있는 시간적으로 일관된 신호라는 점을 강조합니다.
상관 지표는 에피소드 안의 순서를 잘 보존하는지를 보여 주지만 서로 다른 에피소드의 절대 진행을 직접 비교하지는 못할 수 있습니다. 쉬운 작업의 중간 상태가 어려운 작업의 완료 상태보다 높은 확률을 받아도 각 곡선이 증가하면 VOC는 높을 수 있습니다. 정책 학습에 여러 작업을 함께 넣는 경우 교차 작업 보정이 별도로 필요한 이유입니다.
보고된 데이터셋의 카메라, 물체와 작업 지시가 실제 로봇 환경과 얼마나 가까운지도 확인해야 합니다. VOC가 높은 평균 뒤에 특정 데이터셋이나 가림 조건의 낮은 결과가 숨을 수 있으므로 데이터셋별, 작업 유형별 분산을 봅니다. 공개 평균을 자체 제어 주기의 성공 보장으로 바꾸지 않습니다.
값이 초반에 오르다가 작업 중간에서 멈춰도 순서가 대체로 증가하면 VOC는 높게 나올 수 있습니다. 최종 상태가 40%, 70%, 100%로 달라도 곡선의 순위가 비슷하면 구분이 약합니다.
따라서 실제 제어에서는 VOC만으로 성공을 판정하면 안 됩니다. 절대 완료 수준, 최종 센서 상태, 실패 유형별 정확도를 함께 측정해야 합니다. 특히 안전이 중요한 조작은 시각 보상과 힘, 접촉 센서 같은 독립 신호를 분리해 확인할 필요가 있습니다.
진행률이 꾸준히 오르지만 잘못된 목표를 향하는 경우도 있습니다. 예를 들어 모양이 비슷한 다른 물체를 정리하면 화면은 점점 완성된 것처럼 보여도 작업 지시와는 어긋날 수 있습니다. 객체 정체성과 목표 위치를 확인하는 성공 판정을 진행 신호 밖에 두어야 합니다.
작업이 여러 합법적 순서를 가질 때도 단일 선형 진행 정답은 과도하게 단순할 수 있습니다. 한 하위 단계를 먼저 했다가 다른 단계로 이동하는 정책이 정상인데, 학습 데이터의 대표 순서와 다르다는 이유로 확률이 떨어질 수 있습니다. 최종 성공과 하위 목표의 부분 순서를 나누어 평가하면 낮은 VOC가 실제 실패인지 대안 경로인지 구분할 수 있습니다.
정책은 사람이 의도한 완료보다 보상 모델이 높게 보는 화면을 찾을 수 있습니다. 카메라를 특정 각도로 돌려 가림을 만들거나 물체를 완성된 모양처럼 겹치게 하면 토큰 확률은 올라가지만 실제 작업은 끝나지 않을 수 있습니다. 평가 영상에서 자연스러운 상관이 높았다는 사실만으로 강화학습 중 보상 해킹이 없다고 볼 수 없습니다.
보상 학습 뒤에는 보상값이 높은 실패 에피소드를 우선 검토합니다. 정책이 카메라, 배경, 손 위치 같은 부수 신호를 반복적으로 이용하는지 보고, 독립 센서와 최종 상태 검사로 반례를 찾습니다. 보상 모델과 같은 VLM으로 최종 평가까지 하면 같은 오류를 공유할 수 있으므로 평가 신호를 분리하는 편이 좋습니다.
초기에는 정책 업데이트에 직접 넣기보다 오프라인 에피소드 순위와 성공 감지 보조 신호로 시험할 수 있습니다. 잘못된 고보상 상태와 진짜 역행을 충분히 모은 뒤, 보상 비중을 작게 두고 희소한 물리 성공 신호와 결합하는 방식이 위험을 제한합니다.
첫째, VLM의 추론 속도가 제어 주기를 따라가야 합니다. 대형 비디오 모델을 10~100Hz 루프에 그대로 넣기는 어려울 수 있어, 보상 계산 주기와 정책 제어 주기를 분리할지 결정해야 합니다.
둘째, 확률 곡선의 잡음과 역행을 확인해야 합니다. 후처리로 곡선을 매끄럽게 만들면 안정성은 높아질 수 있지만 실제 실패 신호까지 지울 수 있으므로 원본 값과 함께 평가해야 합니다.
셋째, 작업 지시 문구가 바뀌거나 학습에서 적은 장면에서도 완료 토큰이 같은 의미를 갖는지 봐야 합니다. 제로샷이라는 말은 작업별 파인튜닝이 없다는 뜻이지, 모든 환경에서 보정 없이 정확하다는 뜻이 아닙니다.
TOPReward의 실용적 기여는 VLM의 최종 문장만 사용하던 관점을 바꾼 데 있습니다. 내부 확률은 더 촘촘한 보상 후보가 될 수 있지만, 물리 센서와 절대 완료 판정을 대체하는 단일 진실값은 아닙니다.
VLM 보상을 느린 주기로 계산한다면 그 사이의 여러 제어 행동에 값을 어떻게 배분할지도 정해야 합니다. 마지막 프레임의 상승을 직전 모든 행동의 공으로 돌리면 실제 원인과 무관한 동작이 강화될 수 있습니다. 보상 계산 시각, 관측 지연과 정책 행동의 타임스탬프를 맞추고 추론 지연으로 오래된 값이 들어왔을 때는 사용하지 않아야 합니다.
배포 기준에는 VOC뿐 아니라 완료, 실패 구분, 역행 감지, 보상 계산의 p95 지연, 보상 해킹 사례와 독립 센서 불일치를 포함합니다. 이 기준에서 어느 작업군이 안정적인지 확인한 뒤 범위를 넓혀야 제로샷 보상의 편의가 실제 제어 안전성과 함께 갈 수 있습니다.
토큰 확률에 접근할 수 없는 API나 모델이 바뀌는 환경에서는 같은 보상 정의를 유지하기 어렵습니다. 모델 버전, 프롬프트와 후보 토큰 집합을 함께 기록하고 업데이트 전후에 동일 에피소드의 확률 곡선을 다시 계산해야 합니다. 곡선의 절대값이 크게 이동하면 기존 임계값을 그대로 쓰지 말고 소량의 완료, 실패 영상으로 재보정합니다. 이 재현성이 확보되지 않으면 TOPReward는 정책의 핵심 보상보다 관측용 보조 지표로 제한하는 편이 안전합니다.
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.