영상, 오디오, 편집을 한 모델로 묶으면 뭐가 달라질까: SkyReels-V4

SkyReels-V4는 영상 생성, 오디오 합성, 인페인팅과 편집을 한 아키텍처에서 다뤄 작업 사이의 문맥 손실을 줄이지만, “한 모델”이 곧 한 번의 가벼운 연산을 뜻하지는 않습니다. Dual-Stream MMDiT의 두 분기와 coarse-to-fine 후처리를 함께 보아야 실제 비용과 동기화 품질을 판단할 수 있습니다. 도입 전에는 최종 1080p 화면뿐 아니라 저해상도 계획, 키프레임, 보간, 오디오의 오류를 단계별로 나눠야 합니다.

왜 영상과 소리를 처음부터 함께 만드나요?

영상을 만든 뒤 별도 오디오 모델을 호출하면 입 모양과 발화, 충돌과 효과음의 시작점이 어긋날 수 있습니다. SkyReels-V4는 비디오용 MMDiT 분기와 오디오용 MMDiT 분기를 두고, 두 분기가 공통 MMLM 인코더의 문맥을 사용하도록 설계합니다. 시각과 소리가 같은 지시와 시간 정보를 보게 하려는 선택입니다.

입력도 텍스트 하나로 제한하지 않습니다. 이미지, 비디오 클립, 마스크, 오디오 레퍼런스를 조건으로 받을 수 있어 처음부터 만드는 작업과 기존 소스를 고치는 작업을 같은 계열로 다룹니다. 다만 레퍼런스가 많을수록 무엇을 우선할지 충돌할 수 있으므로, 입력별 영향은 따로 시험해야 합니다.

비디오와 오디오 분기는 같은 지시를 공유하더라도 출력의 시간 단위와 표현이 다릅니다. 화면에서 문이 닫히는 순간과 효과음 시작이 맞아야 하고, 대사는 입 모양뿐 아니라 화자 정체성과도 연결돼야 합니다. 공동 생성의 장점은 이런 관계를 학습 과정에서 볼 수 있다는 데 있지만, 공통 문맥이 있다는 사실만으로 모든 사건이 자동 정렬되지는 않습니다.

Dual-Stream 구조의 결속은 어떻게 평가하나요?

영상 품질과 오디오 품질을 각각 평가한 뒤, 같은 사건의 의미 일치와 시작 시점 오차를 별도로 봅니다. 두 출력이 개별적으로 자연스러워도 화면에 없는 충돌음이나 프롬프트에 없는 물체 움직임이 생길 수 있습니다. 대사, 짧은 효과음, 지속되는 환경음을 나누면 어떤 시간 관계에서 두 분기가 어긋나는지 찾기 쉽습니다.

오디오 조건을 제거했을 때 영상이 얼마나 바뀌고, 비디오 레퍼런스를 제거했을 때 소리가 얼마나 바뀌는지도 확인합니다. 한 분기가 다른 모달리티를 거의 무시한다면 통합 구조의 이점이 제한되고, 반대로 너무 강하게 의존하면 잘못된 레퍼런스가 두 출력 모두를 오염시킬 수 있습니다. 입력별 절제 실험이 필요한 이유입니다.

여러 인물과 여러 음원이 있는 장면에서는 단순한 전체 동기화 점수보다 결속을 봐야 합니다. 어느 목소리가 어느 얼굴에 붙는지, 화면 밖 음원이 화면 안 물체에 잘못 연결되지 않는지를 사례별로 기록합니다. 짧은 데모의 자연스러움만으로 복잡한 음원 분리를 가정하지 않습니다.

서로 다른 편집을 인페인팅으로 어떻게 통일하나요?

SkyReels-V4는 Image-to-Video, 영역 수정, 프레임 확장 같은 작업을 채널 연결과 마스크를 이용한 빈 영역 채우기 문제로 표현합니다. 작업마다 별도 모델을 두는 대신 알려진 부분과 생성할 부분을 같은 입력 형식에 넣는 것입니다.

이 통일은 파이프라인을 단순하게 만들 수 있지만 모든 편집이 같은 난도라는 뜻은 아닙니다. 작은 물체 제거와 장면 전체의 동작 변경은 보존해야 할 정보의 범위가 다릅니다. 실제 평가에서는 마스크 밖 픽셀 보존, 인물 정체성, 오디오 변화 범위를 작업별로 나눠 봐야 합니다.

마스크는 바꿀 영역을 알려 주지만 그 안에서 어떤 시간 변화가 필요한지 모두 설명하지는 않습니다. 한 프레임의 물체 제거는 주변 질감을 채우는 문제에 가깝고, 움직이는 인물을 바꾸는 작업은 여러 프레임에서 모양과 정체성을 유지해야 합니다. 같은 인터페이스를 쓴다는 사실과 같은 난도로 해결된다는 설명을 구분해야 합니다.

여러 조건이 충돌하면 무엇을 우선해야 하나요?

텍스트는 “배경을 밤으로 바꾸라”고 하고 레퍼런스 영상은 낮 장면을 유지할 수 있으며, 오디오 레퍼런스의 길이가 비디오 클립과 다를 수도 있습니다. 제품에서는 텍스트, 마스크, 원본, 레퍼런스 중 우선순위를 정하고 충돌을 사용자에게 보여 줘야 합니다. 모델이 임의로 절충한 결과를 성공으로 처리하면 반복 편집에서 의도가 흔들립니다.

조건 하나씩만 넣은 결과와 모든 조건을 넣은 결과를 비교하면 어느 입력이 지배적인지 알 수 있습니다. 마스크 밖 보존과 오디오 보존도 단순한 품질 점수가 아니라 변경되지 않아야 할 영역의 차이로 측정합니다. 편집 요청이 비디오만 대상으로 할 때 오디오가 불필요하게 변하거나 반대 현상이 생기지 않는지 확인합니다.

마스크 경계에서는 색과 움직임이 튈 수 있고, 시간에 따라 마스크가 이동하면 바뀔 영역이 프레임마다 달라집니다. 경계 픽셀, 가려졌다 다시 나타나는 객체와 빠른 움직임을 별도 실패 유형으로 두면 인페인팅의 시간 일관성을 평가할 수 있습니다.

1080p, 32fps, 15초 출력은 어떤 단계로 만드나요?

원문은 저해상도 전체 시퀀스를 먼저 만든 뒤 고해상도 키프레임을 생성하고, 초해상도와 프레임 보간으로 사이를 채우는 coarse-to-fine 전략을 설명합니다. 보고된 출력 목표는 1080p, 32fps, 15초입니다.

이 구조에서는 저해상도 초안이 잘못되면 후단이 그 오류를 선명하게 만들 수 있습니다. 키프레임 사이의 빠른 손동작이나 입 모양이 보간 과정에서 흐려질 수도 있습니다. 따라서 최종 해상도만 비교하지 말고 저해상도 계획, 키프레임, 보간 결과를 단계별로 확인해야 합니다.

저해상도 계획은 장면 구성과 큰 움직임을 정하고, 키프레임은 선택한 시점의 세부를 높이며, 초해상도와 보간은 최종 공간, 시간 밀도를 채웁니다. 각 단계의 목표가 다르므로 마지막 결과가 틀렸을 때 처음부터 다시 만들기보다 오류가 시작된 지점을 찾아야 비용을 줄일 수 있습니다.

coarse-to-fine 오류는 어디에서 시작됐는지 어떻게 찾나요?

물체 위치나 카메라 경로가 처음부터 틀렸다면 저해상도 계획 오류이고, 구도는 맞지만 얼굴이나 글자가 변하면 고해상도 키프레임 단계를 의심할 수 있습니다. 키프레임은 맞는데 사이 손동작이나 입 모양이 흐려지면 보간 문제에 가깝습니다. 이 분류 없이 최종 영상 점수만 보면 어느 모듈을 고쳐야 할지 알 수 없습니다.

오디오 타임라인도 단계별 영상과 함께 비교해야 합니다. 저해상도 계획에서 사건 시점이 정해졌다면 후단 보간이 그 타이밍을 옮기지 않는지, 프레임률을 높인 뒤 효과음이 한두 프레임 밀리지 않는지 확인합니다. 최종 32fps라는 출력 사양은 사건 정렬 정확도를 보장하지 않습니다.

15초 밖의 길이는 짧은 결과를 이어 붙여 시험할 수 있지만 캐릭터, 배경, 음색 상태가 경계에서 바뀔 수 있습니다. 원문 범위를 넘어 긴 영상 성능을 주장하지 말고, 클립 연결이 필요한 제품에서는 경계 실패율과 사람 수정 시간을 별도로 측정합니다.

단일 모델 도입 전에는 어떤 비용을 따져야 하나요?

비디오와 오디오 분기가 동시에 작동하므로 Dual-Stream MMDiT 자체는 무겁습니다. 여러 API를 하나로 줄여도 GPU 메모리, 생성 지연, 재시도 비용이 자동으로 줄지는 않습니다. 15초 성과를 1분 이상의 캐릭터, 음색 일관성으로 확대해 읽어서도 안 됩니다.

제품 검토에서는 먼저 저해상도 초안을 승인한 뒤 고해상도 단계로 넘어가는 흐름을 시험할 수 있습니다. 이 방식은 실패한 초안을 일찍 버리는 데 유용하지만, 원문에는 실제 서빙 코드나 자원 프로파일이 없습니다. 대상 하드웨어에서 단계별 시간과 최대 메모리를 직접 측정해야 합니다.

생성 비용은 최종 길이와 해상도뿐 아니라 조건 수, 고해상도 단계까지 간 후보 수, 실패 후 다시 실행한 단계에 달려 있습니다. 저해상도 초안을 여러 개 만든 뒤 하나만 고해상도로 올리는 방식과 처음부터 전체 파이프라인을 반복하는 방식을 비교합니다. 초안 승인율이 낮으면 coarse-to-fine 구조가 비용을 일찍 절약할 수 있습니다.

분리형 파이프라인과 비교할 때는 모델 호출 수만 세지 않습니다. 오디오를 뒤에 붙이는 시간, 입 모양과 효과음을 사람이 다시 맞추는 시간, 한 모듈만 재실행할 수 있는지까지 포함합니다. 통합 모델은 문맥을 공유하지만 작은 오디오 수정 때문에 영상 전체를 다시 만들면 운영 비용이 커질 수 있습니다.

도입 기준은 대표 작업별 마스크 밖 보존, A/V 동기화, 15초 안의 일관성, 단계별 p95 지연과 peak VRAM입니다. 이 기준을 같은 입력으로 분리형 도구와 비교할 때 SkyReels-V4의 통합 인터페이스가 실제 제작 이점인지 판단할 수 있습니다.

1080p, 32fps라는 출력 규격은 이 판단표의 한 열일 뿐입니다. 목표 규격을 만들었어도 원본 보존과 사건 타이밍이 기준을 넘지 못하면 제작 가능한 결과로 보지 않아야 합니다. 반대로 낮은 해상도 초안에서 의도를 빠르게 확인하고 승인된 후보만 후단으로 보낼 수 있다면 통합 모델의 단계 구조가 비용 절감에 기여했는지 분명하게 측정할 수 있습니다.

논문 페이지

함께 읽으면 이해가 이어지는 글

• 여러 사람의 얼굴과 목소리가 섞인다면? DreamID-Omni의 이중 결속 — DreamID-Omni가 생성, 편집, 오디오 애니메이션을 한 DiT에 통합하고 Syn-RoPE와 구조화 캡션으로 인물과 음성을 결속하는 방법을 살펴봅니다.
• AI 영상의 소리와 장면이 어긋난다면? JavisDiT++의 시간 정렬 — JavisDiT++가 공유 attention과 모달리티별 FFN, TA-RoPE, AV-DPO로 영상과 오디오를 함께 생성하는 원리와 100만 데이터 결과의 범위를 짚습니다.
• Hyperframes로 HTML 영상을 만들면 재현 가능할까: 프레임, 폰트, FFmpeg 검사 — Hyperframes의 HTML 타임라인과 프레임 캡처 구조를 살펴보고, 같은 영상을 다시 만들기 위해 고정해야 할 입력과 검증 절차를 정리합니다.