VL-LN Bench의 답은 “모호하면 무조건 묻는다”가 아니라, 이동 실패 비용보다 질문 비용이 작을 때만 Oracle에게 확인하도록 에이전트의 질문 시점을 평가하는 것입니다. 좋은 agent는 질문을 많이 하는 모델이 아니라, 답 하나가 목표 후보를 충분히 줄일 때 묻고 새 관측으로 명확해지면 질문을 멈추는 모델입니다.
로봇은 언제 되물어야 하나: VL-LN Bench의 질문 비용과 성공률
IION은 이동 액션에 질문을 추가한다
기존 Instance Object Navigation은 특정 물체 인스턴스를 찾아 이동하는 과제입니다. 그러나 “저기 있는 컵으로 가라”처럼 같은 종류의 물체가 여러 개이거나 위치 단서가 빠지면 지시만으로 목표를 고를 수 없습니다.
Interactive Instance Object Navigation(IION)은 이동과 회전뿐 아니라 질문 생성 액션을 허용합니다. 에이전트는 시각 관측, 지나온 경로, 대화 이력을 바탕으로 다음 위치로 갈지 Oracle에게 단서를 요청할지 결정합니다. 답변을 받은 뒤에도 장거리 경로에서 그 정보를 기억해 행동에 반영해야 합니다.
VL-LN Bench는 이런 상호작용을 위한 4만 1천 개 이상의 궤적과 모호한 지시, 질의응답 쌍을 제공합니다. 규모보다 중요한 변화는 내비게이션 정확도와 대화 전략을 같은 과제 안에서 측정한다는 점입니다.
좋은 질문은 후보를 실제로 줄인다
질문이 많다고 대화 능력이 높은 것은 아닙니다. 같은 위치를 반복해 묻거나 이동으로 확인할 수 있는 단서를 계속 요청하면 성공하더라도 비효율적입니다.
질문 전략은 다음 순서로 볼 수 있습니다.
- 현재 지시로 구분되지 않는 목표 후보가 몇 개인지 확인합니다.
- 위치, 색상, 주변 물체 중 후보를 가장 크게 줄일 단서를 고릅니다.
- 받은 답을 경로 기억에 반영합니다.
- 새 관측으로 충분해지면 질문을 멈춥니다.
원문은 예측 불확실성이 높을 때 질문하는 전략이 매 단계 묻는 방식보다 경로 효율에 유리하다고 설명합니다. 이때 불확실성 임계값과 질문 패널티를 함께 바꾸며 봐야 합니다. 임계값만 낮추면 성공률 대신 질문 수가 늘어날 수 있습니다.
SR, SPL, 질문 수를 한 표에서 본다
VL-LN 평가에는 목표 도달 성공률 SR, 성공하면서 이동 경로가 얼마나 효율적이었는지 보는 SPL, 대화가 성공에 기여한 정도, 평균 질문 횟수가 포함됩니다.
- SR만 높으면 우회와 반복 질문을 숨길 수 있습니다.
- SPL만 보면 필요한 확인 질문을 지나치게 억제할 수 있습니다.
- 평균 질문 수만 낮으면 모호한 목표를 추측해 실패한 경우를 놓칩니다.
세 지표는 같은 에피소드 단위로 묶어야 질문 하나가 성공과 경로 효율에 실제로 기여했는지 확인할 수 있습니다.
따라서 “질문 기능을 켰더니 성공률이 올랐다”보다 같은 성공률에서 경로와 질문 비용이 어떻게 달라졌는지를 비교해야 합니다. 명확한 지시, 물체가 여러 개인 지시, 긴 경로로 나눠 결과를 내면 질문이 실제로 필요한 조건도 드러납니다.
완벽한 Oracle 밖에서도 작동하는지는 별도 문제다
벤치마크의 Oracle은 질문에 정확하고 즉시 답하는 조건입니다. 현실 사용자는 답을 늦게 하거나 잘못된 방향을 말하고, 질문 의도를 이해하지 못할 수 있습니다. 이 차이는 단순한 언어 오류를 넘어 로봇의 경로 전체를 바꿉니다.
실제 적용 전에는 답변 누락, 모순된 답, 지연을 넣어 강건성을 시험해야 합니다. 질문 생성과 답변 해석에 큰 모델을 사용한다면 장치에서의 응답 지연도 측정해야 합니다. 질문 문장의 자연스러움과 반복성은 SR로 평가되지 않으므로 사용자 관점의 별도 검토가 필요합니다.
VL-LN Bench는 서비스 로봇의 완성도를 보증하는 시험이 아니라, 모호한 목표를 혼자 추측하는 대신 언제 사람에게 물어야 하는지를 수치화하기 위한 출발점입니다.
질문의 가치는 후보 감소량으로 측정한다
자연스러운 질문이라도 답을 받아 목표 후보가 그대로라면 이동 의사결정에는 도움이 되지 않습니다. 질문 전 후보 수와 답변 후 후보 수, 실제 이동 거리 변화를 기록합니다. “어느 쪽인가요?”보다 “빨간 컵 옆인가요, 창가의 컵인가요?”처럼 구별 가능한 속성을 묻는 질문이 후보를 더 줄이는지 비교할 수 있습니다.
| 상황 | 유용한 질문 | 무효 질문 |
|---|---|---|
| 같은 object가 여러 개 | 색, 주변 landmark 차이 | 이미 아는 object 종류 반복 |
| 장거리 복도 | 분기점, 방향 단서 | 현재 위치와 무관한 세부 묘사 |
| 답이 모순됨 | 충돌한 단서를 다시 확인 | 같은 문장을 계속 반복 |
| 새 관측으로 명확함 | 질문 없이 이동 | 불필요한 확인 요청 |
질문의 길이나 문법 점수와 navigation value는 다릅니다. 답을 받은 뒤 path가 바뀌지 않았다면 agent가 정보를 기억하지 못했거나 질문 자체가 불필요했을 수 있습니다. 질문, 답변, 그 뒤 행동을 한 trace로 봐야 합니다.
Oracle Noise는 세 종류로 나눠 넣는다
현실의 답변 오류를 단순 random text로 만들면 실제 실패와 다를 수 있습니다. 답이 늦게 오는 delay, 핵심 단서가 빠진 partial answer, 이전 답과 충돌하는 contradiction을 각각 시험합니다. agent가 기다릴지, 이동으로 확인할지, 다시 물을지 선택하는 비용을 비교합니다.
모순된 답을 하나의 사실로 확정하면 장거리 전체가 잘못될 수 있습니다. 새 visual evidence와 충돌하면 confidence를 낮추고, 위험한 이동 전에 재확인하는 정책이 필요합니다. 반대로 모든 답을 의심해 반복 질문하면 사용자 부담이 커집니다. 오류율별 SR, SPL, 질문 수와 대기 시간을 함께 그립니다.
대화 기억은 긴 경로에서 검증한다
초반에 받은 “두 번째 복도 끝” 같은 답은 여러 action 뒤에도 유지돼야 합니다. 경로 길이를 늘리고 유사한 landmark를 반복 배치해 agent가 오래된 답을 현재 장면과 잘못 연결하지 않는지 봅니다. history를 모두 넣는 방식과 핵심 slot만 저장하는 방식의 정확도, context 비용도 비교할 수 있습니다.
도입 기준에는 task 성공 외에 중복 질문률, 답 반영률, 모순 감지율, 사용자 대기 시간을 넣습니다. 질문을 허용한다는 이유로 안전한 sensing을 생략해서도 안 됩니다. VL-LN의 핵심은 대화를 추가한 navigation이 아니라 질문으로 얻을 정보의 가치와 이동 실패 비용을 같은 policy 안에서 비교하는 것입니다.
질문 비용은 한 숫자가 아니라 상황별로 달라진다
로봇이 멈춰야만 질문할 수 있다면 대기 시간과 통행 방해가 비용이 됩니다. 사용자가 멀리 있거나 응답할 수 없는 상황에서는 같은 질문도 더 비쌉니다. 반대로 잘못된 방으로 들어가 긴 거리를 되돌아와야 한다면 짧은 확인 질문의 가치가 큽니다. policy가 이 차이를 반영하려면 단순 질문당 고정 penalty 외에 이동 거리, 대기 시간, 실패 위험을 함께 계산해야 합니다.
예를 들어 목표 후보가 두 개이고 바로 앞 갈림길에서 방향이 갈린다면 지금 묻는 것이 유용합니다. 두 후보가 같은 복도에 있어 몇 걸음 더 가면 시각적으로 구분된다면 이동으로 정보를 얻는 편이 나을 수 있습니다. 질문 policy와 active perception을 같은 기준에서 비교해야 “묻지 않음”이 무모한 추측인지 효율적인 탐색인지 알 수 있습니다.
사용자 경험은 문장 자연스러움보다 응답 가능성으로 본다
질문에 전문 용어나 모호한 대명사가 많으면 Oracle이 아닌 실제 사용자는 답하기 어렵습니다. 한 번에 한 가지 구별 단서를 묻고, 사용자가 모를 수 있는 경우 선택지나 현재 camera view를 함께 제공하는 방식을 시험합니다. 답변 가능률과 평균 응답 시간을 측정하면 navigation score에 드러나지 않는 부담을 볼 수 있습니다.
개인 공간에서는 camera image와 위치 history를 질문 system에 얼마나 전달하는지도 확인해야 합니다. 필요한 정보만 요청하고 대화 기록을 task 종료 뒤 어떻게 처리할지 정해야 합니다. 성공률이 높아도 과도한 질문과 불필요한 sensor 공유가 있다면 실제 서비스 기준을 통과한 것이 아닙니다.
따라서 성공, 비용, 사용자 부담을 같은 평가표에 남겨야 합니다.
함께 읽으면 이해가 이어지는 글
- 로봇 메모리는 무엇을 기억해야 하나: RoboMME 16개 과제의 답 — RoboMME가 π0.5에서 14개 메모리 변형을 시간, 공간, 객체, 절차 기억 16개 과제로 비교한 이유와 배포 선택 기준을 정리합니다.
- RD-VLA는 로봇의 추론 깊이를 어떻게 조절하나: 잠재 반복과 정지 조건 — 고정된 연산량을 깨고 상황에 맞춰 사고하는 RD-VLA의 잠재적 반복 추론 기술 분석
- RynnBrain 30B-A3B는 로봇에 충분히 가벼울까: 3B 활성 파라미터와 제어 지연 — 30B 중 3B만 활성화하는 RynnBrain MoE의 계산 이득과 전체 가중치 메모리, 라우팅, 실시간 제어의 남은 비용을 구분합니다.
표지 1 —
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.