대화문을 비디오 모델에 그대로 넣는 것만으로 긴 서사가 유지되지는 않으며, 이 프레임워크의 답은 대화를 먼저 장면별 실행 대본으로 바꾼 뒤 각 클립을 연결하는 것입니다. ScripterAgent와 DirectorAgent는 이 중간 공정을 자동화하지만, 인물 일관성과 영화적 완성도를 생성 모델 자체에서 해결한 것은 아닙니다.
대화문만으로 장편 AI 영상을 만들 수 있을까: ScripterAgent와 VSA의 현실적 한계
대화가 길어질수록 한 프롬프트가 무너지는 이유
5~10초짜리 한 장면과 여러 장면이 이어지는 영상은 제어해야 할 변수가 다릅니다. 긴 대화에는 누가 말하는지뿐 아니라 컷 분할, 카메라 각도, 조명, 인물 동선, 감정의 변화와 장면 사이의 시간 순서가 들어갑니다. 이를 한 문단의 프롬프트로 압축하면 세 문제가 발생합니다.
- 추상적인 대사가 화면의 행동으로 충분히 변환되지 않습니다.
- 다음 장면에서 인물의 옷과 외형, 배경이 달라질 수 있습니다.
- 비디오 모델이 카메라 지시나 작은 손동작을 생략해도 어디서 어긋났는지 찾기 어렵습니다.
“The Script is All You Need”는 더 큰 생성 모델을 제안하기보다, 대화와 생성 모델 사이에 구조화된 시나리오를 둡니다. 즉 성능의 초점은 한 번의 생성이 아니라 작업 순서의 설계입니다.
두 에이전트가 대화를 영상으로 넘기는 과정
ScripterAgent는 거친 대화를 장면 단위로 나누고 각 장면에 캐릭터 외형, 배경, 조명, 카메라 움직임과 논리적 연결을 붙입니다. 결과물은 읽기 좋은 각본을 넘어, 다음 생성 단계가 소비할 수 있는 명세에 가깝습니다.
DirectorAgent는 이 명세를 실제 비디오 모델에 맞게 변환합니다. 원문은 Kling, Luma Dream Machine, Runway Gen-3 Alpha를 실험 모델로 언급합니다. 모델마다 잘 따르는 표현과 제어 항목이 다르기 때문에 같은 장면도 프롬프트를 조정합니다. 장면을 연결할 때는 앞 클립의 마지막 프레임을 다음 클립의 시작점이나 참조로 사용합니다.
흐름을 줄이면 다음과 같습니다.
대화문 → 장면 분할과 시각 요소 명세 → 모델별 프롬프트 → 클립 생성 → 마지막 프레임 참조 → 다음 클립 생성
이 구조는 일관성을 위한 단서를 전달할 뿐, 참조 프레임 하나가 새 각도에서의 얼굴, 의상, 공간을 완벽히 고정하지는 못합니다. 생성 모델이 그 참조를 얼마나 충실히 사용하는지가 여전히 병목입니다.
ScriptBench와 VSA는 무엇을 평가하나
ScriptBench는 대화와 시각 묘사, 영화적 메타데이터가 결합된 평가 자원으로 소개됩니다. 원문은 2,000개 이상의 테스트 사례와 전문가 지침을 반영한 데이터 정제를 언급합니다. ScripterAgent와 DirectorAgent에는 GPT-4o와 Claude 3.5 Sonnet이 사용됐고, 복잡한 영화 구조에서는 Claude 3.5 Sonnet이 조금 높았다는 설명도 있습니다.
CriticAgent는 생성 영상과 대본을 비교하고 Visual-Script Alignment(VSA)를 계산합니다. VSA가 답하기 좋은 질문은 “대본에 적힌 인물, 행동, 카메라 요소가 화면에 나타났는가?”입니다. 반면 다음 질문에는 충분하지 않습니다.
- 영상이 미적으로 좋은가
- 장면의 리듬과 연기가 설득력 있는가
- 대본에 없던 창의적 선택이 결과를 개선했는가
대본 충실도와 작품성은 같은 축이 아닙니다. CriticAgent와 인간 평가의 상관관계를 검증했다는 설명이 있어도, 자동 점수 하나를 최종 품질 판정으로 쓰면 안 되는 이유입니다.
60% 감소라는 수치보다 실패 장면을 보자
원문은 교차 장면 생성 전략으로 복장 변경이나 배경 소실 문제가 60% 이상 줄었다고 설명하고, direct prompting보다 모든 실험 모델의 VSA가 올랐다고 전합니다. 다만 이 글에는 문제의 집계 방식, 절대 실패 건수, 장면 길이별 결과표가 없습니다. 따라서 “긴 영상의 일관성을 해결했다”가 아니라 해당 ScriptBench 설정에서 오류가 감소한 결과로 읽어야 합니다.
흥미로운 결과는 화려함과 지시 준수의 충돌입니다. 예를 들어 Kling은 시각적으로 풍부한 결과를 만들면서도 작은 손동작 같은 지시를 놓칠 수 있다고 설명됩니다. 제작자는 모델을 종합 순위 하나로 고르기보다 장면 성격에 따라 나눠야 합니다.
- 액션과 분위기가 우선인 장면: 시각적 품질을 먼저 비교
- 소품 위치와 동작이 중요한 장면: VSA와 지시 누락률을 먼저 비교
- 인물 대화가 이어지는 장면: 외형, 배경 드리프트를 별도로 기록
실제 제작 전에 계산할 비용과 한계
에이전트 파이프라인은 각 단계마다 LLM 호출과 비디오 생성을 반복합니다. 실패한 클립을 다시 만들면 비용과 대기 시간이 장면 수에 따라 누적되므로 실시간 생성으로 간주하기 어렵습니다. 대본이 너무 엄격하면 생성 모델의 유용한 변형까지 막는 script-locking도 생길 수 있습니다.
도입 시험에서는 한 편의 인상적인 데모보다 다음 기록이 유용합니다.
- 장면당 LLM 호출 수와 비디오 재생성 횟수
- 캐릭터, 배경, 소품별 연속성 실패율
- VSA와 인간 평가가 갈리는 장면
- 화려함이 필요한 장면과 정확한 지시 이행이 필요한 장면의 모델 선택
- 마지막 프레임 참조로 복구되지 않는 각도, 가림, 외형 변화
이 프레임워크의 실용적 가치는 “대본만 있으면 영화가 완성된다”는 데 있지 않습니다. 실패를 장면 단위로 드러내고 수정 가능한 제작 공정으로 바꾼다는 데 있습니다.
장면 명세에는 무엇을 고정하고 무엇을 열어 둘까
모든 문장을 세밀하게 고정하면 생성 모델이 자연스러운 motion을 만들 여지가 줄고, 너무 느슨하면 다음 장면에서 인물과 공간이 바뀝니다. 그래서 명세를 연속성에 필수인 hard constraint와 연출자가 바꿔도 되는 soft preference로 나누는 편이 실용적입니다.
| 항목 | 고정 수준 | 실패 판정 예시 |
|---|---|---|
| 인물 얼굴, 의상, 소지품 | 장면 전체 hard constraint | jacket 색이나 가방이 사라짐 |
| 출입 방향, 소품 위치 | 인접 장면 hard constraint | 왼쪽으로 나간 인물이 오른쪽 공간에서 불연속 등장 |
| 핵심 행동, 대사 타이밍 | 내용상 필수 | cup을 내려놓는 동작이 누락됨 |
| lens, camera movement | 장면 목적에 따라 soft preference | 대체 구도가 의미를 보존하면 허용 |
| 배경의 작은 장식 | 보통 soft preference | 변화가 narrative에 영향 없으면 허용 |
이 정보를 continuity ledger로 남기면 DirectorAgent가 매 장면 전체 대본을 다시 해석하지 않고도 바뀌면 안 되는 state를 참조할 수 있습니다. 예를 들어 coat=red, cup=table right, door=open처럼 장면 시작과 끝 상태를 기록하고, 다음 clip을 만들기 전에 이전 끝 state와 새 시작 state가 충돌하는지 검사합니다. 이는 새 사실을 생성하는 단계가 아니라 대본 안의 약속을 추적하는 단계입니다.
재생성 비용은 어떻게 예측할까
장면 수가 $S$, 장면당 평균 생성 횟수가 $R$, 한 번의 video generation 비용이 $C_v$라면 핵심 비용은 대략 $S\times R\times C_v$로 늘어납니다. 여기에 Scripter, Director, Critic의 LLM 호출과 사람이 검수하는 시간이 붙습니다. 긴 작품에서 첫 성공률이 낮으면 장면 수보다 재시도 횟수가 예산을 더 크게 좌우할 수 있습니다.
따라서 PoC에서는 전체 영화를 한 번에 만들기보다 대화, 빠른 action, camera 전환처럼 실패 특성이 다른 세 장면을 고릅니다. 각 장면에 최대 재생성 횟수를 두고 VSA 실패, continuity 실패, 미적 실패를 분리해 기록합니다. 같은 clip이 VSA는 통과했지만 사람이 연기 때문에 다시 생성했다면 자동 critic이 절약하지 못한 비용으로 계산해야 합니다.
Failure gate도 명확해야 합니다. 필수 소품이나 인물 identity가 틀리면 자동 재생성하고, camera preference만 달라졌지만 의미가 유지되면 사람이 선택할 수 있습니다. 최대 횟수까지 실패하면 다음 장면으로 오류를 전파하지 않고 그 장면을 수동 제작 대상으로 넘깁니다. 마지막 frame이 잘못된 상태인데도 다음 clip의 reference로 쓰면 한 번의 오류가 이후 모든 장면에 복제될 수 있습니다.
최종 편집본에서는 장면별 ledger와 실제 frame을 다시 대조하고, 자동 score가 통과시킨 continuity 회귀도 사람이 확인해야 합니다. 이 마지막 검수가 있어야 agent workflow의 절감 시간과 사람이 떠안은 수정 시간을 공정하게 비교할 수 있습니다.
함께 읽으면 이해가 이어지는 글
- DramaClaw: 파편화된 AI 영상 제작을 하나로 통합하는 오픈소스 파이프라인 — DramaClaw는 텍스트 대본 입력부터 캐릭터 추출, 스토리보드, 더빙, 최종 영상 합성까지 AI 영상 제작의 전 과정을 자동화하는 오픈소스 비디오 엔진입니다. 노드 기반 무한 캔버스와 DAG 병렬 처리 스케줄링을 통해 단방향…
- 12시간 AI 영상은 정말 일관적인가? LoL의 Sink-Collapse와 RoPE Jitter — LoL이 attention sink와 RoPE 주기 때문에 여러 head가 초기 frame에 동시에 쏠리는 sink-collapse를 추론 시 jitter로 완화하는 원리와 12시간 결과의 해석 한계를 정리합니다.
- 화질 좋은 AI 영상이 물리 법칙은 틀리는 이유: RISE-Video 467개 Test — RISE-Video가 467개 human-annotated prompt로 영상 생성기의 상식, 공간 변화, 물리, 시간 인과를 평가하고, visual quality와 reasoning score가 갈리는 지점을 보여줍니다.
자주 묻는 질문
대화문만 넣으면 장편 영상이 자동으로 완성되나요?
아닙니다. agent가 장면 명세와 prompt를 만들 수는 있지만 얼굴, 의상, 공간의 연속성, 편집 리듬과 실패 clip 재생성은 여전히 별도 제작 판단이 필요합니다.
VSA 점수가 높으면 영화적 품질도 높은가요?
VSA는 대본의 인물, 행동, camera 요소가 화면에 반영됐는지를 보는 지표에 가깝고 미적 완성도, 연기와 장면 리듬까지 대신 평가하지는 않습니다.
비용을 줄이려면 무엇부터 고정해야 하나요?
인물, 의상, 소품의 continuity ledger, 장면별 필수 요소와 재생성 상한을 먼저 정하고 실패한 장면만 다시 만드는 방식으로 generation budget을 관리해야 합니다.
표지 1 —
←→ 키와 좌우 스와이프를 지원합니다. 읽던 페이지는 이 기기에 저장됩니다.
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.