Sora가 긴 영상을 만들 수 있어도 물리적으로 항상 맞는 것은 아니며, 핵심은 영상을 압축한 시공간 패치를 Diffusion Transformer로 생성하는 데 있습니다.
Sora는 한 프레임을 잘 그리는 능력과 세계의 상태 변화를 정확히 계산하는 능력을 동시에 보장하지 않습니다. 시공간 patch가 긴 문맥을 다뤄도 충돌, 가림, 인과처럼 학습 영상에 모호하게 나타나는 규칙은 별도의 실패 검사가 필요합니다.
Sora 영상은 왜 물리 법칙을 틀리나: 시공간 패치와 DiT 원리
영상을 픽셀이 아니라 시공간 패치로 본다
이미지는 가로와 세로로 이어지지만 영상에는 시간이 한 축 더 있습니다. Sora의 설명에서 중요한 단위인 Spacetime Latent Patch는 비디오를 낮은 차원의 잠재 표현으로 압축한 뒤, 공간과 시간에 걸친 작은 패치로 나눕니다.
이 방식의 이점은 길이, 해상도, 종횡비가 다른 영상을 공통된 패치 단위로 다룰 수 있다는 점입니다. 텍스트 모델이 문장을 토큰의 연속으로 처리하듯, 영상 생성 모델은 장면의 공간적 모습과 프레임 사이 변화를 함께 담은 패치를 처리합니다. 단순히 DALL-E에 프레임 수만 늘린 구조로 이해하기 어려운 이유입니다.
압축, 노이즈 제거, 복원을 차례로 거친다
리뷰가 정리한 생성 흐름은 세 부분으로 나눠 볼 수 있습니다.
- 비디오 압축 네트워크가 원본 영상을 잠재 공간으로 줄입니다.
- Diffusion Transformer가 텍스트 조건을 받아 노이즈 상태의 잠재 패치를 점진적으로 정리합니다.
- 복원 네트워크가 생성된 잠재 표현을 다시 영상으로 바꿉니다.
압축은 고해상도 비디오를 그대로 계산하는 부담을 줄이고, Transformer는 멀리 떨어진 시공간 패치 사이의 관계를 다룹니다. 공개 당시 Sora가 자연어로 최대 1분 길이의 영상을 생성한다고 소개된 배경도 이 확장 가능한 표현과 연결됩니다. 다만 “1분을 생성한다”와 “1분 내내 모든 객체가 정확히 유지된다”는 서로 다른 주장입니다.
장면 연속성은 프레임 품질과 별개다
한 프레임이 사실적으로 보여도 영상 전체에서는 물체가 갑자기 바뀌거나 비현실적으로 움직일 수 있습니다. 리뷰가 지적한 핵심 한계는 다음과 같습니다.
- 물체가 떠 있거나 움직임의 원인과 결과가 맞지 않는 물리적 오류
- 장면 전환 뒤 같은 캐릭터의 외형이 달라지는 정체성 오류
- 높은 해상도와 긴 길이에서 커지는 추론 비용
따라서 결과를 볼 때는 선명한 대표 프레임보다 동작의 시작과 끝, 가려졌다가 다시 나타난 객체, 인물의 얼굴과 복장이 시간에 따라 유지되는지를 먼저 확인해야 합니다. 시각적 사실성과 세계의 규칙을 이해하는 능력을 같은 것으로 간주하면 품질을 과대평가하게 됩니다.
리뷰의 해결 방향은 구현된 기능이 아니다
리뷰에는 물리 시뮬레이션 데이터 추가, Identity Consistency Loss, MoE와 LoRA를 이용한 최적화 같은 개선 방향이 제시됩니다. 이는 한계를 줄이기 위한 연구 아이디어이지, 당시 공개된 Sora에 모두 적용됐다는 설명은 아닙니다.
실제 활용 여부는 목적에 따라 갈립니다. 스토리보드나 장면 아이디어처럼 여러 후보를 빠르게 보는 작업에는 생성 결과의 변형성이 도움이 됩니다. 반면 동일 캐릭터와 정확한 물리 동작이 이어져야 하는 최종 영상이라면, 생성 후 프레임 전체를 검수하고 수정할 비용까지 포함해 판단해야 합니다.
시공간 Patch가 해결하는 것과 남기는 것
원본 비디오를 그대로 Transformer에 넣으면 해상도와 길이에 따라 token 수가 빠르게 늘어납니다. Sora의 설명은 비디오를 더 작은 latent로 압축하고 공간, 시간에 걸친 patch로 나눠 다양한 해상도와 종횡비, 길이를 공통 단위로 처리하는 방향입니다. 이 선택은 픽셀 전체를 직접 생성하는 것보다 계산을 줄이지만, 압축 단계에서 작은 글자와 빠른 변화가 사라질 수 있습니다.
생성은 noisy latent에서 시작해 prompt 조건에 맞는 video latent로 반복 복원한 뒤 decoder가 화면으로 바꾸는 흐름으로 볼 수 있습니다. 이 과정이 긴 범위의 패턴을 학습한다고 해서 질량, 마찰, 접촉 상태를 명시적인 물리 방정식으로 계산하는 것은 아닙니다. 학습 영상에서 자주 함께 나타난 변화가 그럴듯하게 이어질 뿐, 드문 상호작용에서는 원인과 결과가 어긋날 수 있습니다.
실패를 네 가지 질문으로 분류한다
첫째, 객체가 시작부터 prompt와 다른가를 봅니다. 이는 조건 정렬 문제에 가깝습니다. 둘째, 같은 객체의 모양, 수, 색이 시간에 따라 바뀌는가를 봅니다. 셋째, 손과 물체가 닿는 순간 관통하거나 갑자기 이동하는가를 확인합니다. 넷째, 가려졌다 다시 나타난 대상이 같은 identity를 유지하는지 봅니다.
예를 들어 컵을 탁자 위에서 들어 올리는 장면은 컵 모양, 손가락 접촉, 탁자와 분리되는 시점, 컵 안 내용물의 반응을 따로 채점할 수 있습니다. 전체적으로 자연스럽다는 한 점수만 쓰면 손이 컵을 통과하거나 내용물이 중력과 다르게 움직이는 오류를 놓칩니다. 시작, 접촉 직전, 접촉 직후, 마지막 frame을 나란히 저장하면 어느 시점에 상태가 깨졌는지 찾기 쉽습니다.
같은 prompt를 여러 seed로 반복하는 것도 중요합니다. 한 번 성공한 결과는 우연일 수 있고, 실패 유형이 seed마다 달라지면 제작 과정에서 재생성 비용이 커집니다. 통과율과 평균 생성 시간, 사람이 수정한 시간을 함께 계산해야 실제 사용성을 판단할 수 있습니다.
어떤 작업에는 맞고 어떤 작업에는 위험한가
스토리보드, 분위기 탐색, 짧은 전환 장면처럼 후보를 여러 개 만든 뒤 사람이 고를 수 있는 작업에는 변형성이 도움이 됩니다. 반대로 제품의 정확한 부품, 동일 배우의 장기 연속성, 물리적으로 올바른 교육, 시뮬레이션 영상이 필요하면 생성 결과를 사실 자료로 취급해서는 안 됩니다.
도입 실험에서는 shot 길이와 객체 수를 낮게 시작하고 카메라 이동, 상호작용, 문자 같은 난도를 하나씩 추가합니다. 실패가 늘기 시작한 지점을 기록하면 어느 장면을 생성에 맡기고 어느 장면을 촬영, 3D, 후편집으로 처리할지 결정할 수 있습니다. Sora의 가치는 물리 검수를 없애는 데 아니라 시안 탐색 범위를 넓히는 데 두는 편이 안전합니다.
함께 읽으면 이해가 이어지는 글
- 화질 좋은 AI 영상이 물리 법칙은 틀리는 이유: RISE-Video 467개 Test — RISE-Video가 467개 human-annotated prompt로 영상 생성기의 상식, 공간 변화, 물리, 시간 인과를 평가하고, visual quality와 reasoning score가 갈리는 지점을 보여줍니다.
- 생성 영상의 배경과 움직임이 무너진다면: DreamWorld의 결합 월드 모델링 — DreamWorld가 시간, 공간, 의미 피처를 함께 맞추는 방식, CCA와 다중 소스 가이드, VBench 개선치와 물리 이해 주장 사이의 한계를 짚습니다.
- HunyuanVideo 13B는 어떻게 영상을 만들까: 데이터, 3D VAE, 실행 전제 — HunyuanVideo의 다단계 영상 필터링, Causal 3D VAE 압축, Transformer Diffusion 학습 흐름과 공개 명령을 실행 전에 확인할 조건을 정리합니다.
자주 묻는 질문
시공간 패치는 물리 법칙을 직접 학습하나요?
아닙니다. 공간과 시간에 걸친 비디오 표현 단위이지만 명시적인 물리 시뮬레이터는 아닙니다. 그럴듯한 움직임과 정확한 인과를 구분해야 합니다.
긴 영상을 만들면 정체성도 자동으로 유지되나요?
보장되지 않습니다. 가림 뒤 재등장, 여러 객체의 수와 모양, 의상과 배경이 시작부터 끝까지 유지되는지 별도로 검사해야 합니다.
Sora 결과를 실무에서 어디까지 쓸 수 있나요?
시안과 스토리보드에는 유용할 수 있지만 정확한 제품, 인물, 물리가 필요한 최종 자산은 frame 단위 검수와 후속 편집 비용까지 포함해야 합니다.
장면별 대안을 미리 정한다
물리 오류가 반복되는 shot은 prompt를 계속 늘리기보다 촬영, 3D, 합성, 정지 이미지 animation 중 대안을 정합니다. 물체 충돌과 액체처럼 정확성이 중요한 장면은 생성 후보를 참고하되 최종 움직임을 제어 가능한 방식으로 만드는 편이 낫습니다. 배경 분위기처럼 의미 오류의 영향이 작은 부분은 생성 결과를 더 넓게 활용할 수 있습니다.
검수표에는 실패 영향도도 넣습니다. 작은 texture 변화는 후편집으로 고칠 수 있지만 사람 수가 달라지거나 제품 구조가 틀리면 shot 전체를 다시 만들어야 합니다. 수정 가능성에 따라 생성과 재생성, 대체 제작을 고르면 최고 품질 한 번을 기다리는 것보다 일정과 비용을 예측하기 쉽습니다.
Sora를 평가하는 마지막 질문은 “만들 수 있는가”보다 “통과본을 반복해서 얻을 수 있는가”입니다. 같은 조건의 통과율과 평균 재시도, 수정 시간을 기록하면 demo의 인상과 실제 제작성을 구분할 수 있습니다.
긴 프로젝트에서는 장면마다 prompt 표현을 바꾸지 않고 인물, 장소, 색상에 대한 기준표를 공유합니다. 이전 clip의 마지막 frame을 참고하더라도 조명과 비율이 달라질 수 있으므로 shot 경계에서 연속성을 다시 봅니다. 편집으로 숨길 수 없는 변화는 생성 단계로 돌려보냅니다.
각 shot의 승인, 재생성, 대체 이유를 남기면 다음 프로젝트에서 생성에 맡길 장면을 더 정확히 고를 수 있습니다.
모든 결과에는 생성 사실과 수정 이력을 추적할 수 있는 자산 정보를 남기는 편이 좋습니다. 후보 영상이 실제 촬영본과 섞일 때 출처를 구분하지 못하면 검수와 공개 판단이 어려워집니다.
표지 1 —
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.