NitroGen은 게임 영상을 수동으로 다시 플레이해 라벨링하지 않고, 스트리머 화면의 게임패드 오버레이를 읽어 프레임과 버튼, 스틱 행동을 자동으로 짝지어 4만 시간 규모의 학습 데이터를 만들었습니다. 핵심 위험은 overlay 인식 오류가 정답 action으로 굳거나 mask 뒤 흔적이 남아 모델이 장면 대신 정답 표시를 읽는 것입니다.
게임 영상 4만 시간에 버튼 라벨은 어떻게 붙였나: NitroGen의 답
입력 오버레이가 영상과 행동 사이의 자막이 된다
인터넷 게임 영상에는 화면은 있지만 그 순간 어떤 버튼을 눌렀는지는 보통 남지 않습니다. NitroGen은 플레이어가 띄운 컨트롤러 오버레이를 행동 레이블의 원천으로 사용합니다.
데이터 생성은 세 단계입니다.
- 약 300개 오버레이 템플릿으로 화면 속 컨트롤러 위치와 형태를 찾습니다.
- 미세 조정한 SegFormer가 버튼 눌림과 조이스틱 방향을 프레임별로 분할합니다.
- 조작이 없는 구간을 걸러 내고, 모델 입력에서는 오버레이 영역을 가립니다.
마지막 마스킹이 중요합니다. 오버레이를 그대로 보여 주면 에이전트는 게임 장면을 이해하지 않고 정답 버튼 표시를 복사할 수 있습니다. 데이터 품질 검사는 버튼 추출 정확도와 마스킹 뒤 남은 화면 손상을 따로 봐야 합니다.
500M 모델이 다음 16프레임 행동을 한 번에 만든다
원문에 따르면 NitroGen은 1천 개가 넘는 게임의 4만 시간, 약 43억 프레임-액션 쌍을 사용한 500M 규모 모델입니다. 256×256 화면은 SigLIP-2 ViT로 인코딩하고, Flow-Matching Transformer가 게임패드 행동의 연속적인 궤적을 생성합니다.
한 프레임마다 버튼 하나를 독립 예측하지 않고 다음 16프레임의 Action Chunk를 함께 냅니다. 짧은 구간의 방향 전환과 버튼 조합을 일관되게 만들려는 선택입니다. 행동 복제이므로 별도 보상 함수로 게임 점수를 최대화하기보다 사람 플레이의 장면-행동 관계를 모방합니다.
구조를 재현할 때는 모델 크기보다 프레임 속도와 16프레임이 실제 몇 초인지, 게임별 컨트롤러 매핑이 같은지, 오버레이 추출 오류가 액션에 얼마나 남았는지를 먼저 고정해야 합니다.
새 게임 성능은 짧은 과제 기준으로 읽는다
연구진은 10개 게임의 30개 과제를 구성해 학습에 없던 게임도 평가했습니다. 원문은 처음부터 학습한 모델보다 태스크 성공률이 최대 52% 향상됐다고 설명합니다.
여기서 “최대”는 모든 게임의 평균이나 게임 전체 완료율과 같지 않습니다. 2D 플랫폼, 3D 전투, 탐험은 필요한 제어가 다르므로 과제별 성공률을 나눠 봐야 합니다. 학습 영상에 같은 장르, 유사한 UI와 컨트롤 문법이 있었는지도 제로샷 해석에 영향을 줍니다.
실제 게임 QA에 쓰려면 성공 여부 외에도 입력 지연, 같은 상황의 재현성, 정지해야 할 때 멈추는 능력, 실패 뒤 회복 경로를 측정해야 합니다.
반사 행동과 장기 계획은 아직 같은 문제가 아니다
16프레임 Action Chunk는 즉각적인 회피와 조작에는 맞지만 퀘스트, 퍼즐, 장기 자원 관리의 목표를 직접 표현하지 않습니다. 256×256 입력은 작은 UI 글자나 먼 물체를 놓칠 수 있습니다.
No-action 구간을 과도하게 제거하면 기다림이 정답인 상황을 덜 배우고, 숙련 스트리머 위주의 자료는 플레이 스타일 편향을 만들 수 있습니다. 인터넷 영상에서 데이터를 수집하는 만큼 사용 권리와 출처도 모델 성능과 별도로 검토해야 합니다.
게임에서 익힌 시각-행동 표현이 로봇 제어에 도움이 될 가능성은 있지만, 게임패드 행동이 실제 로봇 관절과 곧바로 대응하는 것은 아닙니다. NitroGen의 분명한 기여는 범용 로봇을 완성한 데보다, 공개 영상에서 행동 레이블을 확장하는 실용적인 데이터 수집법을 제시한 데 있습니다.
Overlay Label은 영상 Frame과 시간 정렬부터 검사한다
stream encoding 지연이나 overlay animation 때문에 화면 사건과 버튼 표시가 몇 frame 어긋날 수 있습니다. 버튼이 눌린 시작, 끝, stick 방향 변화, game character 반응 시점을 표본으로 확인하고 offset 분포를 기록합니다. action label 정확도가 높아도 timestamp가 늦으면 policy는 상황 뒤에 반응하도록 배울 수 있습니다.
| Data 오류 | 학습에 미치는 영향 | 검수 방법 |
|---|---|---|
| 버튼 오인식 | 잘못된 discrete action | 수동 frame 표본과 비교 |
| stick 각도 오류 | 이동 방향 흔들림 | 연속 trajectory 확인 |
| 시간 offset | 늦은 반응 학습 | 사건, overlay onset 정렬 |
| mask 잔여 | 정답 표시 shortcut | overlay 위치 변경 test |
| 과도한 mask | HUD, 적을 가림 | 원본, mask 입력 성능 비교 |
300개 template 밖의 overlay와 투명도, 색이 다른 방송도 별도 holdout으로 둡니다. segmentation confidence가 낮은 frame을 무리하게 label로 쓰는 것보다 제외하거나 사람이 검수하는 편이 낫습니다. 게임별 controller remapping도 동일 버튼 이름이 같은 행동 의미인지 확인해야 합니다.
No-action 구간은 버릴 Data가 아니다
기다리기, 방어 timing, menu 읽기, cutscene 중 입력하지 않기는 중요한 행동입니다. no-action frame을 지나치게 제거하면 model이 항상 버튼을 눌러야 한다고 배울 수 있습니다. 움직이지 않는 것이 정답인 상황과 단순한 방송 idle을 구분해 sampling 비율을 정합니다.
평가에는 목표 앞에서 멈추기, 위험한 순간 입력 보류, menu에서 잘못된 action을 하지 않기를 넣습니다. action activity가 높다는 이유로 좋은 policy로 보지 않고 불필요한 입력률과 안전한 정지 성공을 함께 측정합니다.
16-frame Chunk는 Control 지연과 Recovery로 평가한다
한 번에 16 frame action을 만들면 조합은 부드러울 수 있지만 첫 action이 틀렸을 때 나머지를 계속 실행할 위험이 있습니다. frame rate를 명시해 chunk가 실제 몇 초인지 계산하고, 매 frame 재계획과 chunk 실행을 같은 latency budget에서 비교합니다. 장애물이 나타나거나 character가 예상과 다르게 움직일 때 남은 chunk를 버리는지도 봅니다.
게임별 성공률을 platform movement, combat reaction, camera control, UI interaction으로 나눕니다. 학습에 없던 game의 짧은 task가 성공했다고 장기 quest까지 일반화했다고 부르지 않습니다. 비슷한 visual style과 control grammar가 training data에 있었는지도 zero-shot 해석에 포함합니다.
장기 목표와 Data 권리는 별도 Gate다
장기 planning을 추가하려면 현재 화면 외에 objective, history, inventory 같은 state를 기억하고 short-horizon controller에 subgoal을 내려야 합니다. NitroGen의 행동 복제 능력과 이 planning layer를 분리해 평가해야 어느 쪽이 실패했는지 알 수 있습니다.
인터넷 방송에서 수집한 video와 overlay는 출처, 사용 조건을 기록해야 합니다. 기술적으로 label을 추출할 수 있다는 사실이 학습 사용 권한을 자동으로 만들지는 않습니다. NitroGen의 실제 기여는 누출을 통제한 overlay labeling이 다양한 게임의 짧은 시각-행동 pair를 얼마나 정확히 확장하는가이며, 장기 agent와 권리 검토는 남은 별도 조건입니다.
함께 읽으면 이해가 이어지는 글
- GameplayQA에서 MLLM이 무너지는 이유: 초당 1.22라벨, Self/Other/World — GameplayQA가 POV 동기화 영상과 Self, Other, World 귀인, 시간, 교차 영상 distractor로 멀티모달 모델의 동적 장면 이해를 시험하는 방식을 설명합니다.
- 도로 위험물 데이터가 없을 때: HazardNet이 합성 장애물을 아무 곳에나 놓지 않은 이유 — 실제 도로 잔해가 드문 상황에서 HazardNet이 3D object randomization과 도로, 차선의 semantic constraint를 결합해 synthetic, real, hybrid 학습 데이터를 만든 방식을…
- CUA-Suite의 600만 프레임이 GUI Agent를 고칠까: 30fps, 궤적, 샘플링 비용 — VideoCUA의 87개 전문 앱, 55시간, 30fps 기록과 GroundCUA의 UI 라벨을 연결해 보고, 프레임 샘플링과 전문 앱 실패를 평가하는 방법을 정리합니다.
자주 묻는 질문
NitroGen은 게임 행동 라벨을 어떻게 얻나요?
스트리머 영상의 controller overlay를 template과 segmentation으로 읽어 버튼 눌림, stick 방향을 frame과 자동 정렬합니다.
Overlay는 모델 입력에도 그대로 남나요?
정답 누출을 막기 위해 입력에서 overlay 영역을 가리지만 잔여 윤곽이나 넓은 mask가 게임 화면을 손상하지 않는지 확인해야 합니다.
16-frame action chunk로 장기 퀘스트도 해결하나요?
짧은 반사 행동과 조합에는 유리할 수 있지만 목표, memory, 자원 관리 같은 장기 planning은 별도 계층과 평가가 필요합니다.
표지 1 —
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.