줄일 수 있습니다. 다만 CUWM의 클릭 전 시뮬레이션은 실제 화면을 정확히 복제한다는 보장이 아니라, 후보 행동의 결과를 비교해 돌이키기 어려운 조작을 피할 단서를 주는 방식입니다.
논문은 컴퓨터 에이전트가 현재 화면만 보고 바로 행동하는 구조에 월드 모델을 끼워 넣습니다. 문서 삭제나 셀 이동처럼 한 번의 잘못된 조작이 이후 상태까지 바꾸는 작업에서는 “무엇을 누를까”만큼 “누르면 화면이 어떻게 바뀔까”가 중요하기 때문입니다.
AI 에이전트가 클릭하기 전 결과를 미리 보면 실수가 줄까? CUWM의 2단계 예측
화면을 바로 그리지 않고 문장을 거치는 이유
CUWM의 예측은 두 단계입니다. 먼저 현재 UI와 행동을 받아 다음 상태의 변화를 텍스트로 설명하고, 이어서 현재 UI와 그 설명을 바탕으로 다음 화면을 렌더링합니다.
이 사이의 문장은 의미적 병목 역할을 합니다. 픽셀을 한 번에 예측하면 글꼴이나 배경 같은 세부 모양에 계산을 쓰기 쉽지만, 텍스트 전이는 “어떤 셀이 선택되고 어떤 패널이 열린다”처럼 행동과 관련된 변화를 먼저 고정합니다. 두 번째 단계는 그 변화가 실제 UI 배치에서 어떻게 보일지를 확인하게 해 줍니다.
따라서 두 출력은 서로 다른 질문에 답합니다.
- 상태 전이 문장: 행동의 의미가 맞는가
- 예상 화면: 위치와 배치까지 실행 가능한 결과인가
한쪽만 맞아도 충분하다고 보기는 어렵습니다. 문장은 그럴듯하지만 버튼 위치가 틀릴 수 있고, 화면은 비슷하지만 선택 상태가 잘못될 수 있습니다.
후보 행동을 비교하면 무엇이 달라지나
에이전트는 실제 클릭 전에 여러 후보를 가상으로 실행하고, 예상된 다음 상태가 목표에 가까운 행동을 고를 수 있습니다. 이는 UI 환경에 적용한 모델 기반 제어에 가깝습니다. 예를 들어 서식 메뉴와 데이터 메뉴 사이에서 망설일 때 각 클릭 뒤의 화면을 먼저 생성해 더 적절한 경로를 선택하는 식입니다.
중요한 차이는 행동을 많이 생성하는 것이 아니라 결과까지 비교한다는 점입니다. 후보 수를 늘리면 선택지는 넓어지지만 추론 비용도 함께 커집니다. 실제 자동화에서는 되돌리기 어려운 단계에만 탐색을 쓰고, 단순 이동에는 바로 행동하는 식의 비용 제어가 필요합니다.
논문의 결과를 어디까지 받아들여야 하나
연구진은 Excel, Word, PowerPoint의 실제 업무 흐름과 스크립트에서 데이터를 구성하고, 가벼운 강화학습으로 텍스트 전이를 정렬했습니다. 평가는 화면의 배치 충실도, 행동과 결과의 일관성, 최종 작업 성공을 함께 봅니다.
이 결과는 “월드 모델이 있으면 모든 컴퓨터 작업이 안전해진다”는 뜻이 아닙니다. Office 중심 데이터에서 얻은 결과이며, 광고, 알림처럼 동적으로 바뀌는 화면이나 학습에서 보지 못한 애플리케이션에는 그대로 일반화되지 않을 수 있습니다. 텍스트 전이의 오류가 렌더링 단계로 이어지는 누적 문제도 남습니다.
자동화에 붙이기 전 확인할 조건
CUWM의 아이디어는 다음 조건에서 특히 설득력이 있습니다.
- 잘못된 행동을 되돌리기 어렵다.
- 다음 상태를 화면으로 확인할 수 있다.
- 후보 시뮬레이션에 쓰는 지연을 감당할 수 있다.
- 예상과 실제 화면이 다를 때 중단하는 장치가 있다.
반대로 화면이 실시간으로 계속 변하거나 짧은 응답 시간이 절대적인 작업이라면 예측 비용이 이득을 넘을 수 있습니다. 안전한 적용 순서는 모든 클릭을 맡기는 것이 아니라, 위험한 단계에서만 예상 상태를 만들고 실제 결과와 비교해 오차를 기록하는 것입니다. CUWM의 가치는 미래를 정확히 맞히는 데만 있지 않고, 에이전트가 행동 전에 한 번 더 검증하도록 만드는 데 있습니다.
예측 오류는 문장과 화면 중 어디서 시작됐을까?
먼저 상태 전이 문장을 실제 행동 결과와 비교합니다. 클릭한 메뉴 이름, 선택된 객체, 열려야 할 패널이 문장부터 틀렸다면 의미 전이 오류입니다. 문장은 맞는데 예상 화면에서 위치, 텍스트, 활성 상태가 다르면 렌더링 오류로 나눌 수 있습니다. 두 단계를 한 점수로 합치면 어느 모델을 고쳐야 하는지 알기 어렵습니다.
다음으로 예상 화면과 실제 화면의 차이가 행동 선택에 중요한지 표시합니다. 글꼴이나 여백의 작은 차이는 목표에 영향을 주지 않을 수 있지만, 삭제 버튼과 취소 버튼의 위치나 선택된 셀은 작은 픽셀 차이여도 중요합니다. 전체 이미지 유사도보다 핵심 요소의 상태와 위치에 가중치를 둬야 합니다.
문장과 화면이 모두 그럴듯한데 실제 애플리케이션의 내부 상태가 다를 수도 있습니다. 파일이 저장됐는지, 필터가 데이터 전체에 적용됐는지처럼 화면만으로 확정하기 어려운 상태는 프로그램 API나 접근성 정보로 확인해야 합니다. CUWM의 시각 예측을 실제 상태 검사의 대체물로 쓰면 안 되는 이유입니다.
후보 행동 수는 어떻게 제한해야 할까?
모든 클릭에서 많은 후보를 생성하면 월드 모델 호출과 화면 렌더링 비용이 빠르게 늘어납니다. 탐색 메뉴 이동처럼 되돌리기 쉬운 행동은 바로 실행하고, 삭제, 전송, 대량 편집처럼 피해가 큰 행동에만 후보 비교를 적용할 수 있습니다. 행동의 위험도와 예측 비용을 같은 정책에 넣는 편이 좋습니다.
후보를 늘려도 정답 행동이 처음부터 제안되지 않으면 시뮬레이션은 복구하지 못합니다. 후보 생성기의 recall, 각 후보의 예측 정확도, 최종 선택 정확도를 따로 측정해야 합니다. 비슷한 세 후보만 반복하는지와 충분히 다른 경로를 만들었는지도 확인합니다.
중단 예산은 후보 수뿐 아니라 전체 시간과 모델 호출로 정할 수 있습니다. 일정 예산 안에서 명확한 우위가 없으면 사용자의 선택을 요청하거나 안전한 취소 동작으로 돌아갑니다. 불확실한 후보 중 하나를 억지로 고르는 것은 월드 모델을 넣은 목적과 어긋납니다.
예상과 실제 화면이 다를 때 어떻게 복구해야 할까?
행동 실행 뒤에는 실제 화면을 다시 관찰해 예측과 비교합니다. 핵심 상태가 다르면 예측된 화면을 다음 단계의 context로 계속 쓰지 말고 새 관측으로 계획을 다시 시작해야 합니다. 차이를 숨긴 채 진행하면 첫 오류가 여러 클릭에 누적될 수 있습니다.
복구 가능성을 시험하려면 팝업, 네트워크 지연, 다른 창의 알림처럼 예측하지 못한 상태를 일부러 만듭니다. 에이전트가 이를 새 상황으로 인식하고 멈추는지, 이전 행동을 반복하지 않는지, 사용자가 개입할 정보를 제공하는지 확인합니다. 실제 애플리케이션에서는 이런 동적 요소가 정적 벤치마크보다 자주 나타날 수 있습니다.
파일 삭제나 외부 전송처럼 되돌리기 어려운 단계에는 월드 모델과 독립된 승인, 백업을 둡니다. CUWM의 확신이 높아도 실제 실행 전 권한과 대상을 다시 확인해야 합니다. 예측 적중률과 별개로 사고를 제한하는 안전 계층이 있어야 고위험 자동화에 접근할 수 있습니다.
애플리케이션 버전이 바뀌면 무엇부터 다시 시험해야 할까?
Office 같은 애플리케이션도 업데이트, 언어 설정, 창 크기와 사용자 권한에 따라 메뉴와 대화상자가 달라집니다. 월드 모델이 이전 버전의 화면을 자연스럽게 생성하면 에이전트는 존재하지 않는 버튼을 찾거나 다른 위치를 클릭할 수 있습니다. 화면이 낯선지 감지하는 단계와 현재 버전 정보를 기록하지 않으면 그럴듯한 예측이 오히려 오류를 숨깁니다.
회귀 시험은 대표 작업을 화면 조건별로 나누어 실행할 수 있습니다. 같은 파일 편집을 한국어와 영어 UI, 좁은 창과 넓은 창, 편집 권한과 읽기 권한에서 반복하고 상태 전이 문장과 실제 화면을 비교합니다. 예측 화면의 전체 모양이 달라도 핵심 요소가 올바르게 식별되는지, 권한 부족 대화상자를 정상 상태로 오해하지 않는지를 따로 봅니다.
새 버전을 학습 데이터에 추가했다고 바로 이전 버전 지원을 제거할 필요는 없습니다. 실제 사용 환경의 버전 분포를 확인하고, 버전별 실패율이 허용선을 넘을 때 지원 범위를 명시하거나 사람에게 넘기는 정책을 둘 수 있습니다. 어떤 화면에서도 계속 행동하게 만드는 것보다 지원하지 않는 상태를 알아차리는 능력이 고위험 자동화에서는 더 중요합니다.
모든 행동에 월드 모델을 쓰는 편이 좋은가?
그렇지 않습니다. 단순한 스크롤이나 이미 확인된 메뉴 이동까지 매번 화면을 생성하면 지연과 비용이 늘고, 생성 오류가 없던 경로에 새로운 판단 오류를 더할 수 있습니다. 행동 전 시뮬레이션은 결과의 피해 규모, 되돌리기 가능성, 현재 화면의 낯섦과 후보 간 불확실성이 큰 단계에 집중하는 편이 합리적입니다.
정책을 만들 때는 행동을 읽기, 탐색, 되돌릴 수 있는 편집, 외부 전송, 삭제처럼 되돌리기 어려운 조작으로 나눌 수 있습니다. 첫 구간은 관찰 기반으로 바로 진행하고, 두 번째는 짧은 예측과 실행 뒤 검증을, 마지막은 후보 비교에 더해 사람 승인과 백업을 요구합니다. 이는 CUWM 점수 하나로 권한을 결정하지 않고 업무 위험과 결합하는 방식입니다.
도입 효과는 최종 성공률뿐 아니라 월드 모델이 개입해 피한 오류, 잘못 경고해 중단한 정상 작업, 한 작업당 추가 시간과 호출량을 함께 계산해야 합니다. 시뮬레이션이 많은 실수를 잡더라도 정상 작업을 자주 막거나 비용이 과도하면 적용 단계를 줄일 수 있습니다. 반대로 고위험 조작에서 드문 사고 하나를 막는 가치가 크다면 제한된 단계의 추가 비용은 정당화될 수 있습니다.
예측 기록은 어떤 형태로 남겨야 할까?
감사 로그에는 현재 화면 전체를 무기한 저장하기보다 행동 후보, 상태 전이 문장, 선택 이유, 실제 실행 결과와 불일치 유형을 연결해 남기는 편이 유용합니다. 민감한 문서가 화면에 있을 수 있으므로 원본 캡처의 접근 권한과 보존 기간도 별도로 정해야 합니다. 문제가 생겼을 때 어느 후보가 왜 제외됐는지 확인할 수 있어야 선택기의 오류와 월드 모델의 오류를 구분할 수 있습니다.
이 기록은 다음 회귀 평가의 사례가 됩니다. 자주 반복되는 팝업이나 렌더링 오류를 모아 새 모델이 같은 상황에서 중단하거나 복구하는지 시험합니다. 다만 운영 화면을 학습에 재사용할 때는 문서 내용과 개인정보를 제거하고 사용 목적을 확인해야 하며, 감사 가능성을 이유로 사용자의 작업 내용을 무제한 수집해서는 안 됩니다.
함께 읽으면 이해가 이어지는 글
- GUI 에이전트는 클릭 전에 다음 화면을 예측할 수 있나: Code2World — 현재 화면과 행동에서 렌더링 가능한 HTML로 다음 화면을 예측하는 Code2World의 학습, 검증 루프와 실제 GUI 적용 한계를 분석합니다.
- 로봇이 미래 영상을 만들지 않고도 다음 행동을 고를 수 있나: World Guidance — WoG가 미래 관측을 Q-former 조건 표현으로 압축하고 VLA가 행동과 함께 예측하게 하는 2단계 학습, UMI 성과와 지연 한계를 설명합니다.
- 예쁜 영상이 물리까지 맞는지 어떻게 알까: Omni-WorldBench 평가법 — Omni-WorldBench의 상호작용 중심 Suite와 MLLM 기반 AgenticScore가 인과, 상태 변화, 카메라 제어를 평가하는 방식과 비용, 평가자 편향을 정리합니다.
표지 1 —
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.