멀티샷 영상에서 카메라 움직임을 재현하려면 자연어를 곧바로 렌더링하기보다, 먼저 확인 가능한 3D 궤적으로 바꾸는 편이 낫다는 것이 ShotVerse의 답입니다. 다만 계획된 경로가 물리적으로 타당한지와 피사체가 샷 사이에서 유지되는지는 별도로 검증해야 합니다.
ShotVerse 논문은 “인물을 따라가다 오른쪽으로 돌고, 다음 샷에서 위에서 내려다본다” 같은 지시를 한 번에 영상 모델에 맡길 때 생기는 모호함을 다룹니다. 핵심은 Plan-then-Control, 즉 카메라 계획과 영상 생성을 분리하는 구조입니다.
먼저 VLM 기반 플래너가 텍스트와 궤적 질의 토큰을 읽고, 각 시점의 회전과 이동을 담은 카메라 포즈 배열을 만듭니다. 이 중간 표현은 사람이 눈으로 확인하고 수정할 수 있다는 점이 중요합니다. 결과가 틀렸을 때 프롬프트 해석이 문제인지, 렌더러가 궤적을 따르지 못한 것인지 구분할 수 있기 때문입니다.
다음 단계의 DiT 컨트롤러와 Camera Adapter는 이 궤적을 조건으로 영상을 생성합니다. 4D RoPE는 공간, 시간, 샷 번호를 함께 구분해 여러 장면의 좌표 관계를 유지하려는 장치입니다. 텍스트만 반복 수정하는 방식보다 제어 지점이 명확해지지만, 플래너와 생성기를 연달아 돌리는 만큼 계산량과 지연은 늘어납니다.
단일 클립에서 왼쪽으로 이동했는지만 보는 평가는 샷이 바뀌면 부족합니다. ShotVerse-Bench는 여러 샷의 카메라 궤적을 하나의 전역 좌표계에 맞추고, 캡션, 궤적, 비디오를 함께 평가하도록 구성됩니다. 논문은 Sora 2, Kling 3, VEO 3 등과 비교해 카메라 제어 성능을 제시합니다.
이 수치는 특정 벤치마크와 추정 절차 안에서 읽어야 합니다. 보기 좋은 영상과 지시한 카메라 경로를 정확히 따른 영상은 같은 기준이 아닙니다. 실제 제작에서는 경로 오차, 피사체 일관성, 장면 전환의 자연스러움을 따로 평가해야 합니다.
적용할 때는 먼저 짧은 두 샷으로 시작해 생성된 포즈를 시각화하고, 카메라가 물체를 관통하거나 지나치게 빠르게 회전하지 않는지 확인해야 합니다. 이어 같은 인물과 배경이 샷 사이에서 유지되는지, 긴 시퀀스에서 오차가 누적되는지 측정합니다. 논문 자료는 Hugging Face 페이지에서도 확인할 수 있습니다.
한계도 분명합니다. 자연어가 모호하면 플래너가 그럴듯하지만 의도와 다른 경로를 만들 수 있고, 올바른 궤적이 있어도 생성 모델이 가림이나 빠른 움직임을 안정적으로 표현한다는 보장은 없습니다. ShotVerse는 카메라 제어를 디버깅 가능한 문제로 바꾸지만, 영화 문법과 장면 연속성까지 자동으로 해결하는 편집기는 아닙니다.
“빠르게 돌며 따라간다”는 지시는 회전 방향, 속도, 피사체와 거리, 시작, 종료 시점이 빠져 있습니다. 플래너가 임의로 채운 값을 궤적 파라미터로 보여 주고 사람이 확인할 수 있어야 합니다. 모호한 지시에서는 하나의 경로를 확정하기보다 서로 다른 후보를 제시하거나 필요한 질문을 되묻는 편이 낫습니다.
평가할 때는 의미가 분명한 지시와 의도적으로 모호한 지시를 나눕니다. 방향, 거리, 속도와 샷 전환을 하나씩 바꿔 궤적이 예상대로 변하는지 확인합니다. 표현만 다른 동의 문장에서 경로가 크게 흔들리면 자연어 해석의 안정성이 부족한 것입니다.
연속 프레임의 위치와 회전 변화에서 속도와 가속도를 계산하고 허용 범위를 넘는 구간을 표시할 수 있습니다. 장면의 기하 정보가 있다면 카메라가 벽이나 피사체를 통과하는지, 가까운 면에서 clipping이 생기는지 확인합니다. 피사체가 프레임 밖으로 나가는 시간도 계획 단계에서 시각화하는 것이 좋습니다.
장면 기하가 없으면 완전한 충돌 검사는 어렵습니다. 이 경우 보수적인 이동 범위와 최소 거리 규칙을 두고 생성 결과에서 실패를 다시 확인합니다. 궤적을 수학적으로 매끄럽게 만드는 것과 영화적으로 좋은 샷을 만드는 것도 다르므로 기술 검사와 창작 검토를 분리합니다.
사람이 만든 정답 궤적을 컨트롤러에 넣은 결과와 플래너가 만든 궤적을 넣은 결과를 비교합니다. 정답 궤적에서도 카메라가 어긋나면 컨트롤러가 병목이고, 정답에서는 성공하지만 자연어 계획에서 실패하면 플래너가 병목입니다. 텍스트 직접 생성 기준선도 함께 두면 계획 단계의 추가 가치가 보입니다.
최종 영상의 경로는 카메라 포즈 추정기로 다시 추정해 목표 궤적과 비교할 수 있지만 추정기 자체의 오류가 있습니다. 사람이 본 방향, 속도 준수와 함께 사용하고 불확실한 장면을 표시합니다. 한 종합 점수로 두 모듈의 오류를 섞지 않는 것이 디버깅의 핵심입니다.
플래너 호출, 궤적 검토와 수정, 영상 생성, 실패 재생성을 모두 한 클립의 비용에 포함합니다. 직접 프롬프트 방식은 재시도가 많을 수 있고 계획 방식은 앞 단계 시간이 늘 수 있습니다. 같은 요구 영상을 얻기까지 걸린 총 시간과 사람이 개입한 횟수를 비교해야 합니다.
짧은 두 샷에서 통과한 뒤 샷 수와 길이를 늘리며 오류 누적과 메모리, 지연을 측정합니다. 사람이 이미 3D 카메라 경로를 만드는 파이프라인이 있다면 플래너를 생략한 구성도 비교합니다. 모든 제작 단계에 같은 구조를 쓰기보다 자연어에서 카메라 계획이 필요한 작업에 제한할 수 있습니다.
고정 카메라에서 시작해 직선 이동, 팬, 틸트, 궤도 이동과 빠른 회전을 한 동작씩 추가합니다. 그 다음 두 샷의 방향이 이어지는 경우, 의도적으로 반대 축으로 전환하는 경우, 같은 피사체를 서로 다른 거리에서 보는 경우를 넣습니다. 한 영상에 모든 난이도를 섞기보다 실패 조건을 분리해야 원인을 찾기 쉽습니다.
각 조합에서 목표 궤적 오차, 피사체 화면 내 위치, 샷 경계의 identity와 사람이 본 자연스러움을 기록합니다. 같은 입력을 여러 시드로 생성해 성공이 우연한 한 샘플에 의존하는지도 봅니다. 공개 데모에 가까운 요청과 실제 제작팀이 자주 쓰는 요청을 모두 포함해야 도메인 차이를 알 수 있습니다.
플래너가 만든 경로를 사람이 고친 횟수와 수정한 파라미터를 남기면 자동 계획의 실용성을 평가할 수 있습니다. 방향 반전, 속도 완화, 피사체 거리와 샷 길이 중 어떤 항목이 반복해서 틀리는지 집계합니다. 최종 영상만 저장하면 플래너가 시간을 줄였는지 편집 부담을 늘렸는지 알 수 없습니다.
수정된 궤적을 다시 자연어 계획의 학습 자료처럼 사용할 경우에는 원래 지시와 편집 이유를 함께 보존합니다. 프로젝트 한 장면에 맞춘 수동 보정이 일반 규칙으로 오인되지 않도록 합니다. 사람이 만든 기준 경로가 있으면 플래너를 쓰지 않은 제작 시간과도 비교할 수 있습니다.
보장되지 않습니다. 장면 기하를 충분히 모르면 물체를 관통하거나 지나치게 빠르게 회전하는 경로가 나올 수 있어 렌더링 전에 속도, 충돌, 시야를 검사해야 합니다.
그렇지 않을 수 있습니다. 경로 준수와 인물, 배경 정체성, 가림 복원과 장면 전환은 서로 다른 평가 항목이므로 별도로 측정해야 합니다.
짧은 두 샷에서 생성된 포즈를 시각화하고 사람이 만든 궤적, 텍스트 직접 생성과 비교해 경로 오차, 연속성, 생성 시간과 수정 횟수를 재는 것이 좋습니다.
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.
