게임 영상 4만 시간에 버튼 라벨은 어떻게 붙였나: NitroGen의 답
NitroGen이 controller overlay에서 action label을 추출해 4만 시간 gaming data를 만드는 과정과 mask 누출, 16-frame chunk, 장기 계획, 권리 한계를 검증합니다.
NitroGen이 controller overlay에서 action label을 추출해 4만 시간 gaming data를 만드는 과정과 mask 누출, 16-frame chunk, 장기 계획, 권리 한계를 검증합니다.
LTX-2가 14B video, 5B audio stream을 cross-attention과 공유 시간 조건으로 연결하는 구조를 설명하고, 사건별 AV sync, CFG, 19B 비용을 검증합니다.
NextFlow가 raster token 대신 coarse-to-fine Next-Scale prediction으로 이미지를 생성하는 원리와 초기 구도 오류, 통합 학습 간섭, 5초 보고 조건을 검증합니다.
NeoVerse가 pose file과 장면별 최적화 없이 단안 video에서 dynamic 3D Gaussian을 예측하는 구조를 설명하고, 열화, 새 시점, 가림 불확실성을 검증합니다.
VL-LN Bench가 이동 중 질문 액션을 허용해 목표 모호성과 질문 비용을 함께 평가하는 방식과 불완전한 Oracle, 대화 기억, 경로 효율 한계를 설명합니다.
SpaceTimePilot이 animation time τ와 camera ray를 분리해 동작, 시점을 독립 제어하는 원리와 CamxTime 합성 간극, 새 시점 환각, 추론 비용을 검증합니다.
GR-Dexter가 양손 42-DoF 하드웨어, 텔레오퍼레이션, VLA를 묶어 학습하는 구조를 설명하고, 가림, 접촉, 교차 임보디먼트, 안전 실패를 검증합니다.
Self-E가 teacher 없이 local flow matching과 global self-evaluation을 결합해 1~50 step 생성을 지원하는 원리와 학습 비용, step별 품질을 검증합니다.
Act2Goal이 visual world model로 중간 goal frame을 만들고 MSTH로 가까운, 먼 미래를 다르게 읽는 구조를 설명하며, 환각, 재계획, 적응 실패를 검증합니다.
Dream-VL, Dream-VLA가 masked diffusion language model로 vision, language, action chunk를 반복 복원하는 방식과 control 지연, 재계획, 안전 한계를 설명합니다.