VEGA-3D는 비디오 생성 모델이 내부에 품은 공간 피처를 꺼내 MLLM의 장면 이해에 보태는 방식이라 별도 3D 라벨 의존을 줄일 수 있습니다. 하지만 암시적 공간 단서는 센티미터 단위 좌표를 대신하지 않으며, 두 모델을 함께 띄우는 계산 비용도 감수해야 합니다.
3D 라벨 없이 장면의 앞뒤를 읽을 수 있을까: VEGA-3D의 대가
생성 모델에서 공간 단서를 찾는 이유
비디오 생성 모델은 프레임 사이에서 물체와 카메라가 어떻게 변하는지 예측해야 합니다. VEGA-3D는 이 과정의 중간 표현에 깊이와 가림, 시점 변화에 관한 단서가 들어 있다는 가설을 사용합니다. 포인트 클라우드나 3D 바운딩 박스를 입력으로 주는 대신, 사전 학습된 비디오 생성 모델을 동결하고 특정 노이즈 단계의 시공간 피처를 추출합니다.
이 방식은 3D 수집과 라벨링을 완전히 “무료”로 만드는 것이 아닙니다. 학습된 생성 모델의 데이터 분포와 오류를 공간 표현도 이어받을 수 있고, 결과가 실제 거리 센서의 측정값처럼 명시적으로 해석되는 것도 아닙니다. 특히 정밀한 로봇 제어라면 암시적 관계와 계측값을 구분해야 합니다.
어느 노이즈 단계의 피처가 필요한가
비디오 생성 모델의 중간 표현은 모든 단계에서 같은 정보를 담지 않습니다. 잡음이 큰 쪽에서는 장면의 거친 배치가, 복원에 가까운 쪽에서는 표면과 세부가 상대적으로 두드러질 수 있다는 가설을 세울 수 있지만, 어느 단계가 최적인지는 백본과 질문 유형에 따라 검증해야 합니다. VEGA-3D가 선택한 단계의 결과를 그대로 다른 생성 모델에 옮기면 피처의 크기와 의미가 달라질 수 있습니다.
실험에서는 동일한 MLLM과 학습 예산을 유지하고 추출 단계만 바꿔야 합니다. 앞뒤 관계, 가림과 상대 거리에서 각각 어느 단계가 유리한지 보고, 여러 단계의 피처를 함께 쓸 때 정확도 증가가 추가 메모리와 지연을 정당화하는지도 계산합니다. 최고 점수 하나보다 단계 선택이 입력 해상도나 장면 종류가 바뀌어도 유지되는지가 도입에 더 중요합니다.
적응형 게이트로 두 피처를 섞는다
비디오 모델의 피처를 MLLM 토큰에 단순히 이어 붙이면 의미 정보가 흐려지거나 입력 규모가 커질 수 있습니다. VEGA-3D의 적응형 게이트 융합은 공간 피처를 언어 모델 차원으로 투영하고, 각 토큰에서 얼마만큼 받아들일지 게이트 값으로 조절합니다. “컵의 색”을 묻는 토큰과 “컵이 키보드보다 앞인가”를 묻는 토큰이 같은 공간 정보를 요구하지 않는다는 판단입니다.
평가할 때는 게이트를 뺀 단순 결합, 공간 피처를 쓰지 않은 MLLM, 전체 모델을 함께 비교해야 합니다. 질문도 객체 이름, 앞뒤 관계, 가림, 상대 거리처럼 나누어 어떤 범주에서 생성 피처가 실제 이득을 주는지 확인하는 편이 좋습니다.
게이트 값이 크다는 사실만으로 올바른 공간 근거를 썼다고 말할 수는 없습니다. 이미지의 한 객체를 가리거나 위치를 바꾼 대조 입력을 만들어 답과 게이트 반응이 함께 바뀌는지 확인해야 합니다. 색상처럼 공간 피처가 불필요한 질문에서는 게이트를 줄여도 답이 유지되고, 가림 순서를 묻는 질문에서는 피처를 제거했을 때 성능이 떨어지는 패턴이 기대됩니다. 그렇지 않다면 추가 백본이 실제 정보보다 학습 편향을 공급했을 가능성도 살펴봐야 합니다.
상대 관계와 절대 좌표를 구분한다
“의자가 책상 뒤에 있는가”와 “의자가 카메라에서 2.4미터 떨어졌는가”는 같은 3D 과제가 아닙니다. 전자는 여러 영상에서 배운 가림과 배치 단서로 풀 여지가 있지만, 후자는 카메라 내부 파라미터와 물리적 척도가 필요합니다. 모델이 그럴듯한 숫자를 출력하더라도 계측 근거가 없다면 정밀 좌표로 취급하면 안 됩니다.
평가 세트도 관계 분류, 순서 비교와 실제 단위 회귀를 분리합니다. 좌우 반전, 크기 조정과 카메라 시점 변화 후에도 관계 답이 논리적으로 유지되는지 확인하고, 거리 질문은 허용 오차를 미리 정해 채점합니다. 자연어 답안 하나로 세 범주를 합치면 어떤 공간 능력이 향상됐는지 알 수 없습니다.
도메인이 바뀌면 무엇이 무너질까
생성 백본이 자주 본 실내와 일반 물체에서는 공간 단서가 풍부할 수 있지만 투명 용기, 반사면, 산업 부품이나 특수 촬영 영상에서는 피처가 불안정할 수 있습니다. MLLM이 언어 상식으로 빈틈을 메우면 답은 자연스럽지만 실제 이미지와 어긋날 수 있습니다. 학습 분포와 다른 장면을 별도 묶음으로 두고 오류를 공개해야 하는 이유입니다.
실내, 야외만 나누는 데서 그치지 않고 작은 물체, 강한 가림, 동일한 모양의 반복 객체와 비정상 카메라 각도를 포함합니다. 공간 피처를 제거했을 때 오히려 좋아지는 사례도 모아야 합니다. 그 목록은 전체 모델을 항상 호출할지, 어려운 질문에만 라우팅할지 결정하는 근거가 됩니다.
내 데이터로 확인할 최소 시험
RGB 한 장만 입력하는 조건에서 같은 장면의 실제 깊이나 3D 주석을 숨겨 두고, 상대 위치 질문과 정량 거리 질문을 분리해 채점합니다. 실내, 야외, 투명, 반사 물체, 심한 가림처럼 생성 모델이 어려워할 장면도 포함해야 합니다. 답이 맞았더라도 공간 근거가 일관적인지 이미지 변형 전후로 확인합니다.
동시에 기준 MLLM 대비 최고 VRAM, 처리 시간, 배치 처리량을 기록합니다. VEGA-3D는 정교한 센서를 대체한다고 선언하기보다 기존 비디오 모델의 암시적 3D 사전 지식이 어느 장면 이해 과제에서 쓸모 있는지 시험하는 연구로 보는 편이 정확합니다.
운영 판단표는 정확도와 비용을 함께 둔다
정적 이미지의 상대 위치 질의가 핵심이고 GPU 여유가 있다면 전체 구성을 작은 트래픽부터 시험할 수 있습니다. 반대로 빠른 로봇 제어, 모바일 실행이나 절대 거리 보장이 필요한 경우에는 지연과 계측 한계 때문에 보조 신호로 제한하는 편이 맞습니다. 일반 속성 질문이 대부분이라면 공간 질의를 먼저 분류하고 필요한 요청에만 비디오 피처를 계산하는 구조도 비교 대상입니다.
최종 표에는 질문 범주별 정확도, 분포 밖 오류율, 최고 VRAM, 첫 요청과 반복 요청의 지연을 함께 둡니다. 기준 MLLM 대비 개선이 특정 소수 범주에만 있다면 전체 서비스에 상시 비용을 부과할 이유가 약합니다. 공간 질문에서 안정적인 이득이 있고 실패 시 센서나 사람 검토로 넘길 수 있을 때 도입 범위가 명확해집니다.
공간 답변의 확신은 어떻게 보정할까
모델이 “앞에 있다”라고 단정해도 가림이 심한 장면에서는 근거가 부족할 수 있습니다. 정확도 평균만으로는 확신이 높은 오답과 어려운 입력을 구별하지 못합니다. 질문을 쉬운 상대 위치, 모호한 가림, 정량 거리로 나눈 뒤 예측 확신과 실제 정답률이 맞는지 확인해야 합니다. 정밀 제어로 이어지는 요청이라면 낮은 확신을 센서 확인이나 사람 검토로 넘기는 규칙이 필요합니다.
대조 이미지도 유용합니다. 객체 하나를 제거하거나 위치를 바꾼 입력, 시점만 달리한 같은 장면을 묶어 답변의 변화가 기하 변화와 일치하는지 봅니다. 문장 표현만 바꿔도 공간 답이 크게 흔들린다면 MLLM의 언어 편향이 생성 피처보다 강할 수 있습니다. 이런 일관성 시험은 벤치마크 정답률이 운영 장면에서도 유지되는지를 보여 줍니다.
배포 경계는 오답의 비용으로 정합니다. 사진 정리나 장면 검색처럼 사람이 나중에 수정할 수 있는 작업은 상대적으로 넓게 시험할 수 있습니다. 로봇 충돌 회피처럼 한 번의 공간 오판이 물리적 피해로 이어질 수 있는 작업은 암시적 피처만으로 행동하지 않고 센서와 안전 규칙을 함께 써야 합니다. VEGA-3D의 이득이 어느 답변에 적용되고 언제 거부되는지까지 정의해야 실제 의사결정 도구가 됩니다.
함께 읽으면 이해가 이어지는 글
- 카메라가 돌아오면 배경이 바뀌는 AI 영상, Spatia는 3D Memory로 어떻게 막나 — Spatia가 정적 장면을 3D point cloud memory에 저장하고 새 clip에서 얻은 정보를 Visual SLAM으로 갱신해 loop-back 일관성을 유지하려는 구조와 한계를 정리합니다.
- 1분 AI 영상의 Character Drift, Teacher도 5초만 보면 왜 못 고칠까? — Context Forcing이 짧은 context teacher로 긴 rollout student를 가르칠 때 생기는 mismatch를 long-context teacher와 sink, slow, fast KV memory로 고치는…
- LoGeR가 19,000프레임 3D 재구성을 버틸까: TTT, SWA 메모리의 대가 — 128프레임으로 학습한 LoGeR가 TTT 전역 메모리와 SWA 로컬 메모리로 19,000프레임을 처리하는 방식, ATE, 처리량, 업데이트 비용을 점검합니다.
자주 묻는 질문
VEGA-3D가 깊이 센서나 3D 라벨을 완전히 대체하나요?
아닙니다. 생성 모델의 암시적 피처는 상대적 공간 관계에 도움을 줄 수 있지만 실제 거리 센서의 계측값이나 정밀한 3D 좌표와 같지 않습니다.
적응형 게이트의 효과는 어떻게 확인하나요?
공간 피처 없는 MLLM, 단순 연결, 적응형 게이트 구성을 같은 질문 세트로 비교하고 객체 속성, 앞뒤, 가림, 상대 거리별 성능과 지연을 나눠 봐야 합니다.
배포 전에 가장 먼저 측정할 비용은 무엇인가요?
MLLM과 비디오 생성 백본을 함께 올렸을 때의 최고 VRAM, 초기 로딩 시간, 요청 지연과 배치 처리량을 기준 모델과 같은 하드웨어에서 측정해야 합니다.
표지 1 —
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.