AI 영상의 소리와 장면이 어긋난다면? JavisDiT++의 시간 정렬

나중에 오디오를 붙이는 것만으로는 어긋남을 줄이기 어렵습니다. JavisDiT++는 영상과 소리를 같은 모델에서 생성하고, 서로 다른 샘플링 시간축을 TA-RoPE로 맞춰 토큰 수준에서 동기화를 학습합니다.

이 글은 논문, Hugging Face 논문 페이지, 프로젝트 페이지에 공개된 내용을 바탕으로 한 발표 시점의 스냅샷입니다. 코드와 데이터 공개 범위는 프로젝트 설명을 기준으로 하며, 이 글에는 그대로 실행할 수 있는 설치 절차를 싣지 않습니다.

하나의 모델 안에서 무엇을 공유하고 무엇을 나누나요?

오디오와 비디오는 같은 사건을 표현하지만 필요한 세부 특징은 다릅니다. JavisDiT++의 modality-specific mixture of experts, MS-MoE는 attention을 공유해 장면과 소리가 서로를 보게 하고, feed-forward network는 모달리티별 전문가로 나눕니다.

모든 층을 공유하면 두 표현이 간섭할 수 있고, 완전히 분리하면 시간과 의미를 맞추기 어렵습니다. 공유 attention과 분리 FFN은 이 두 극단 사이의 선택입니다. 모델은 Wan2.1-1.3B-T2V를 기반으로 하며, 원문은 약 100만 개의 공개 데이터를 사용했다고 설명합니다.

공유 attention은 오디오 토큰이 영상 사건을, 영상 토큰이 소리 단서를 참고할 경로를 만들지만 두 시퀀스를 함께 처리하는 비용도 늘립니다. 모달리티별 FFN은 각 표현의 변환을 분리해 간섭을 줄이려는 선택이지만 전문가가 실제로 서로 다른 기능을 배웠는지는 별도 확인이 필요합니다. 구조 이름만으로 균형이 증명되지는 않습니다.

공유 attention과 분리 FFN의 기여는 어떻게 나누어 보나요?

attention과 FFN을 모두 공유한 조건, 모두 분리한 조건, 논문처럼 attention만 공유한 조건을 같은 데이터와 계산량에서 비교합니다. 영상 품질, 오디오 품질뿐 아니라 사건-소리 의미 일치와 시간 오차를 각각 봐야 어느 구조가 무엇을 개선했는지 알 수 있습니다. 파라미터 수가 달라진다면 같은 모델 크기 비교와 같은 학습 계산 비교를 구분합니다.

모달리티별 전문가 중 한쪽이 거의 사용되지 않거나 특정 장르에만 활성화될 수도 있습니다. 대사, 음악, 충돌음처럼 소리 유형을 바꾸고 비디오 움직임의 크기를 나눠 전문가 사용과 오류를 살핍니다. 오디오가 없는 장면이나 화면 밖 소리처럼 한 모달리티의 근거가 약한 입력도 포함해야 공유 경로가 억지 상관을 만들지 않는지 볼 수 있습니다.

기반 모델이 원래 가진 영상 표현도 결과에 섞입니다. 작은 기반 모델의 물체 상호작용 오류와 공동 생성 구조의 동기화 오류를 분리하려면 같은 비디오 백본에 오디오 경로만 바꾼 기준선이 필요합니다.

TA-RoPE는 서로 다른 시간 단위를 어떻게 맞추나요?

영상은 프레임 단위, 오디오는 훨씬 촘촘한 시간 단위로 표현됩니다. 인덱스를 그대로 사용하면 같은 순간의 입 모양과 음성이 서로 다른 위치로 인식될 수 있습니다. Temporal-Aligned RoPE는 두 토큰의 위치를 공통 타임라인에 대응시킨 뒤 회전 위치 인코딩을 적용합니다.

이 설계는 시간 대응 관계를 구조에 넣지만 물리적으로 맞는 소리를 자동 보장하지는 않습니다. 프레임 밖에서 난 소리, 여러 음원이 겹치는 장면, 긴 시간 간격처럼 대응이 모호한 경우에는 공통 위치만으로 해결하기 어렵습니다.

공통 타임라인은 토큰 인덱스가 아니라 실제 시간에 가까운 기준으로 두 모달리티를 대응시키려는 장치입니다. 영상 프레임률이나 오디오 토큰화 설정이 학습 때와 달라지면 같은 위치 계산이 유지되는지 확인해야 합니다. 단순히 시퀀스 길이를 비례 조정하면 가변 프레임률이나 잘린 오디오 구간에서 사건 경계가 어긋날 수 있습니다.

시간 정렬은 어떤 사건으로 측정해야 하나요?

립싱크는 눈에 잘 보이는 평가지만 유일한 동기화 문제가 아닙니다. 손뼉, 문 닫힘, 물체 충돌처럼 시작 시점이 분명한 사건과 지속되는 엔진음, 배경음처럼 구간 전체가 중요한 사건을 나눕니다. 시작 오차, 지속 시간과 끝 오차를 따로 재면 한 평균 점수가 숨기는 실패를 찾을 수 있습니다.

긴 영상에서는 초반에는 맞고 뒤로 갈수록 어긋나는 drift를 확인합니다. 짧은 구간 점수만 평균하면 누적 오차가 작아 보일 수 있으므로 타임라인을 여러 구간으로 나눠 사건별 오차를 표시합니다. 두 음원이 동시에 존재할 때 어느 화면 요소와 연결되는지도 별도의 결속 문제입니다.

음원이나 움직임이 화면 밖에 있는 경우에는 정확한 정렬 정답이 하나가 아닐 수 있습니다. 이 사례를 무조건 오류로 채점하기보다 모호한 구간으로 표시하고, 모델이 프롬프트에 없는 화면 원인을 만들어 소리를 정당화하지 않는지 정성 평가합니다.

AV-DPO는 어떤 선호를 함께 최적화하나요?

사전 학습 뒤에는 audio-video direct preference optimization, AV-DPO를 사용합니다. 생성 샘플 쌍을 시각 품질, 청각 품질, 장면과 소리의 의미 일관성, 시간 동기화 관점에서 비교해 사람이 선호하는 방향으로 모델을 조정합니다.

좋은 영상과 좋은 오디오를 각각 고르는 것만으로는 충분하지 않습니다. 둘이 개별적으로 자연스러워도 장면의 사건과 소리가 맞지 않을 수 있어, 교차 모달 일관성과 동기화를 별도 기준으로 둔 점이 중요합니다. 다만 선호 데이터의 구성과 평가자 기준이 좁으면 특정 장르에만 맞는 결과가 나올 수 있습니다.

네 기준은 항상 같은 방향으로 움직이지 않습니다. 영상이 선명한 샘플이 시간 정렬은 나쁠 수 있고, 정확히 동기화된 효과음이 청각적으로 덜 화려할 수 있습니다. 선호 쌍을 만들 때 어떤 기준을 우선했는지와 동률, 충돌 사례를 어떻게 처리했는지 확인하지 않으면 AV-DPO의 이득을 해석하기 어렵습니다.

선호 최적화가 품질을 왜곡하는지는 어떻게 확인하나요?

AV-DPO 전후에 네 평가 축을 각각 비교하고, 한 축이 좋아지는 대신 다른 축이 떨어진 사례를 모읍니다. 평가자가 자주 본 장르와 낯선 장르, 짧은 사건과 긴 사건을 분리하면 특정 스타일 선호를 일반 품질로 오해하는 일을 줄일 수 있습니다. 자동 평가 모델이 선호 데이터를 만들었다면 최종 평가에 같은 모델을 재사용하지 않는 편이 좋습니다.

프롬프트에 없는 음악이나 효과음을 추가해 풍부하게 들리는 샘플이 선호될 수도 있습니다. 생성된 소리의 자연스러움과 지시 충실도를 따로 묻고, 영상에 없는 사건을 암시하는 오디오가 생겼는지 확인해야 합니다. 영상 쪽에서도 소리에 맞추려고 원래 프롬프트에 없던 물체나 움직임을 추가할 수 있습니다.

약 100만 데이터 결과는 어디까지 말해 주나요?

원문은 기존 오픈소스 joint audio-video generation 모델보다 강한 결과와 상용 모델과 좁아진 격차를 제시합니다. 약 100만 개 데이터로 얻은 효율은 주목할 만하지만, 데이터 수만으로 전체 학습 비용이나 재현 난도를 판단할 수는 없습니다. 해상도, 영상 길이, 학습 스텝과 GPU 구성도 함께 봐야 합니다.

실무 검증에서는 평균 선호도 외에 다음 실패 장면을 따로 모아야 합니다.

• 여러 사람이 동시에 말하거나 소리가 겹치는 장면
• 폭발음, 대사, 배경음악이 함께 있는 장면
• 긴 영상에서 시간 오차가 누적되는 구간
• 작은 기반 모델이 물체 상호작용을 잘못 그리는 사례
• 프롬프트에 없는 소리나 화면 요소가 생기는 사례

JavisDiT++는 오픈소스 공동 생성 모델의 설계 선택을 구체적으로 보여 줍니다. 결론은 “Veo3를 대체했다”가 아니라, 공유, 분리, 시간 정렬, 선호 최적화를 한 체계에 넣었을 때 데이터 효율과 A/V 일관성을 함께 개선할 수 있다는 것입니다.

데이터 수에는 영상 길이, 해상도, 오디오 품질과 중복 정도가 드러나지 않습니다. 같은 장면을 여러 클립으로 자른 샘플이 많다면 표면적인 수는 커도 사건 다양성은 제한될 수 있습니다. 학습과 평가에 같은 원본 영상의 구간이 걸치지 않는지, 오디오가 재사용되거나 자동 합성된 비율이 있는지 확인해야 일반화를 해석할 수 있습니다.

재현 비용은 샘플 수 외에 두 모달리티의 디코딩, 공동 attention의 시퀀스 길이와 학습 스텝에 달려 있습니다. 목표 하드웨어에서 생성 길이별 peak VRAM과 처리 시간, 실패한 결과를 다시 만드는 비용을 측정합니다. 분리형 파이프라인과 비교할 때는 오디오 후처리와 동기화 수정에 드는 사람 시간도 포함합니다.

사람 음성과 얼굴이 포함된 학습, 생성 데이터는 사용 권리와 동의를 확인해야 합니다. 오디오, 비디오를 함께 생성하는 모델은 한 모달리티의 허가를 다른 모달리티까지 자동으로 확장하지 않으며, 합성 결과가 실제 기록으로 오해되지 않게 표시할 운영 기준도 필요합니다.

실무에서는 대사 중심, 효과음 중심, 음악이 있는 장면처럼 목표 작업을 나눠 JavisDiT++와 분리형 기준선을 비교하는 것이 출발점입니다. 같은 품질에서 동기화 실패율과 총 생성, 검수 시간을 줄일 때 통합 구조의 이점이 확인됩니다.

함께 읽으면 이해가 이어지는 글

• DramaClaw: 파편화된 AI 영상 제작을 하나로 통합하는 오픈소스 파이프라인 — DramaClaw는 텍스트 대본 입력부터 캐릭터 추출, 스토리보드, 더빙, 최종 영상 합성까지 AI 영상 제작의 전 과정을 자동화하는 오픈소스 비디오 엔진입니다. 노드 기반 무한 캔버스와 DAG 병렬 처리 스케줄링을 통해 단방향…
• 영상과 소리를 따로 만들면 왜 어긋날까: MOVA의 동시 생성 구조 — MOVA가 32B MoE 중 18B를 활성화해 영상, 음성을 함께 생성하는 방식, 보고된 동기화 개선과 배포 판단 기준을 설명합니다.
• 12시간 AI 영상은 정말 일관적인가? LoL의 Sink-Collapse와 RoPE Jitter — LoL이 attention sink와 RoPE 주기 때문에 여러 head가 초기 frame에 동시에 쏠리는 sink-collapse를 추론 시 jitter로 완화하는 원리와 12시간 결과의 해석 한계를 정리합니다.