10초 학습으로 5분 영상의 소리를 만들 수 있나: MMHNet 길이 일반화

MMHNet은 짧은 고정 길이 데이터로 학습한 Video-to-Audio 모델을 5분 이상의 영상에 적용하는 길이 일반화를 보여주지만, 긴 구간 전체의 모든 효과음이 정확하다는 뜻은 아닙니다. 비인과 Mamba와 계층적 라우팅은 긴 흐름을 유지하는 장치이며, 짧은 사건의 발생 시점과 화자, 음원의 일관성은 별도로 평가해야 합니다. 전체 영상이 준비된 오프라인 Foley 후보로는 검토할 수 있지만 실시간 생성이나 정확한 대본 음성까지 같은 결과로 확대하면 안 됩니다.

짧게 학습한 모델은 왜 길어지면 무너지나

짧은 클립에 맞춘 위치 표현과 어텐션은 학습 범위를 벗어난 시간에서 반복되거나 불안정해질 수 있습니다. 영상을 잘라 각각 오디오를 만든 뒤 붙이면 경계에서 음색과 배경음이 끊기고, 앞 장면의 맥락도 사라질 수 있습니다.

연구는 MMAudio의 위치 임베딩을 제거하거나 조정했을 때 시간 흐름과 음질 사이에 생기는 문제를 분석합니다.

비인과 Mamba와 두 라우팅의 역할

MMHNet은 flow-matching 기반 생성 위에 비인과 Mamba를 사용해 현재 시점의 앞뒤 문맥을 함께 보고, 계층 구조로 긴 시퀀스를 처리합니다. Temporal Routing은 시간 구간의 정보를, Multimodal Routing은 비디오, 텍스트, 오디오 표현의 결합을 다룹니다.

원문의 Python 클래스는 Dynamic Chunking과 smoothing을 포함해 흐름을 설명한 의사 코드입니다. 실제 라우터, Mamba 블록, 학습 설정이 없으므로 실행 가능한 MMHNet 구현이 아닙니다.

5분 결과는 무엇으로 확인했나

연구는 기존 V2A 모델과 비교해 5분 이상의 생성에서도 품질과 정렬을 유지한다고 보고합니다. UnAV100의 스펙트로그램 비교는 긴 시간 동안 오디오 패턴이 유지되는 정성 근거를 제공합니다.

하지만 스펙트로그램이 매끄럽다고 특정 프레임의 사건과 소리가 정확히 맞는 것은 아닙니다. 5분 평균 점수와 함께 충돌, 문 닫힘, 발화처럼 짧은 사건의 시작 오차, 반복음, 장면 전환 경계를 따로 평가해야 합니다.

어떤 영상에서 먼저 시험할까

배경 환경음이나 완만하게 변하는 장면은 긴 문맥의 이점을 확인하기 좋습니다. 반대로 화자가 여러 명이고 수백 개의 미세 Foley가 들어가는 영상은 더 엄격한 실패 세트가 필요합니다. 비인과 구조는 뒤 문맥도 보기 때문에 전체 영상을 확보한 오프라인 생성에는 맞지만 실시간 스트리밍에는 그대로 적용하기 어렵습니다.

긴 페어 데이터가 덜 필요하다는 장점과 장시간 추론의 메모리, 지연은 별개입니다. 대상 길이를 30초, 1분, 5분으로 늘리며 동기화와 비용이 어떻게 변하는지 확인해야 합니다.

arXiv 논문, 프로젝트 페이지, 논문 페이지

길이 일반화는 무엇을 보존해야 하나

긴 오디오의 성공은 파일이 끝까지 생성됐다는 사실보다 여러 시간 규모의 일관성으로 판단해야 합니다. 수 초 단위에서는 충돌과 발걸음 같은 사건이 영상에 맞아야 하고, 수십 초 단위에서는 배경음과 공간의 음색이 갑자기 바뀌지 않아야 합니다. 수 분 단위에서는 같은 사건이 기계적으로 반복되거나 앞 장면의 소리가 뒤 장면에 남지 않는지 봐야 합니다.

짧은 창을 독립적으로 생성해 이어 붙이는 방식은 각 창 안의 품질이 좋아도 경계가 들릴 수 있습니다. 반대로 긴 문맥을 한 번에 처리하면 흐름은 부드러워질 수 있지만 중간 오류를 고치기 어렵고 계산량이 늘어납니다. MMHNet의 가치는 이 두 문제 사이에서 짧은 학습 데이터로 더 긴 추론을 시도한다는 데 있으며, 모든 시간 규모의 정답을 자동으로 보장하는 데 있지 않습니다.

평가할 때는 같은 영상을 짧은 창 방식과 긴 생성 방식으로 모두 만들어 비교할 수 있습니다. 경계 잡음, 사건 시작 오차, 반복 패턴, 전체 음색의 변화를 각각 기록하면 어느 방식의 이득인지 설명하기 쉽습니다. 평균 품질 점수 하나로 합치면 짧은 중요 사건의 실패가 긴 배경음에 묻힐 수 있습니다.

라우팅은 어떤 정보를 나누는가

Temporal Routing은 긴 시퀀스에서 어느 시간 구간의 정보를 전달할지 다루고, Multimodal Routing은 영상, 텍스트, 오디오 표현의 결합을 다룹니다. 둘을 구분하면 실패 원인도 나눌 수 있습니다. 장면 전환 뒤 이전 소리가 남는다면 시간 정보 전달을, 화면 사건과 전혀 다른 소리가 나면 모달리티 정렬을 먼저 의심할 수 있습니다.

비인과 Mamba는 한 시점의 앞뒤 문맥을 볼 수 있어 이후 장면을 고려한 음향을 만들 여지가 있습니다. 하지만 미래 프레임을 기다려야 하므로 라이브 입력에서는 지연 없이 같은 구조를 사용할 수 없습니다. 오프라인 영화 후반 작업과 실시간 회의 음향처럼 요구가 다른 작업을 한 기준으로 평가해서는 안 됩니다.

Dynamic Chunking과 smoothing이라는 이름만으로 경계가 사라졌다고 판단할 수도 없습니다. 원문 의사 코드에는 실제 chunk 분포와 겹침 길이, smoothing 함수의 구체 구현이 없습니다. 재현할 때는 논문과 공개 구현의 설정을 확인하고, 창 길이를 바꿨을 때 품질과 메모리가 어떻게 변하는지 기록해야 합니다.

영상 종류별로 어떤 실패를 예상할까

바람이나 도로 소음처럼 완만한 배경은 장기 일관성을 보기 좋지만 사건 정렬 능력을 충분히 시험하지 못합니다. 문 닫힘, 공 충돌, 발화 시작처럼 짧고 위치가 분명한 사건은 시간 오차를 드러냅니다. 여러 사람이 빠르게 번갈아 행동하거나 화면 밖 음원이 등장하는 장면은 영상만으로 소리를 결정하기 어려운 조건입니다.

같은 시각 장면에도 가능한 소리는 여러 개일 수 있습니다. 모델이 그럴듯한 소리를 만들었지만 정답 녹음과 다르다고 해서 모두 실패는 아니며, 반대로 자연스럽게 들려도 영상 사건과 충돌하면 사용 목적에 따라 실패입니다. 자동 지표와 함께 사람이 사건 적합성, 음질, 장기 피로도를 따로 판정해야 하는 이유입니다.

장면 전환에서 음향이 갑자기 끊기면 시간 경계 처리 문제를, 비슷한 효과음이 일정 간격으로 반복되면 긴 시퀀스 패턴의 붕괴를 의심할 수 있습니다. 길이가 늘수록 음량이나 고주파가 서서히 변한다면 구간별 통계도 기록해야 합니다. 처음 10초와 마지막 10초만 비교하는 것보다 일정 간격의 표본과 중요한 사건 구간을 함께 듣는 편이 정확합니다.

도입 시험은 어떤 단계로 진행할까

먼저 30초 영상에서 사건 목록과 시작 시점을 사람이 표시합니다. 생성 결과의 사건 누락, 추가, 시간 오차와 음질을 기록한 뒤 1분, 5분으로 길이를 늘립니다. 같은 영상의 앞부분을 반복 사용하면 길이가 늘어날 때만 생기는 품질 저하를 분리할 수 있습니다.

그다음 생성 시간, peak memory, 중간 결과 저장 가능 여부와 실패 후 재시작 범위를 측정합니다. 5분 파일 하나가 완성돼도 중간 오류 때문에 전부 다시 만들어야 한다면 후편집 비용이 커질 수 있습니다. 장면 단위 수정이 필요한 제작 환경에서는 긴 문맥을 유지하면서 일부 구간만 다시 만드는 절차가 있는지 확인해야 합니다.

마지막으로 사용 목적의 합격선을 정합니다. 배경 환경음 초안은 사람이 후편집할 수 있어 약간의 사건 오차를 허용할 수 있지만, 안전 경보나 정확한 대사 전달에는 맞지 않을 수 있습니다. 데이터와 코드의 이용 조건, 생성 음향 표시와 원본 영상의 권리도 배포 전에 함께 검토해야 합니다.

사람 평가에서는 한 번에 “좋다/나쁘다”만 묻기보다 영상 정렬, 음질, 장기 일관성, 편집 가능성을 나눠 점수를 받는 편이 좋습니다. 평가자가 원본 음향을 알고 있는지에 따라 판단이 달라질 수 있으므로 생성 결과만 듣는 조건과 영상을 함께 보는 조건도 구분해야 합니다.

평가 기록에는 model checkpoint, 영상 길이, chunk와 smoothing 설정, seed를 함께 남깁니다. 같은 장면에서 마지막 구간만 반복 생성해 보면 장시간 누적 오류인지 단일 구간의 어려움인지도 분리할 수 있습니다.

함께 읽으면 이해가 이어지는 글

• LTX-2는 영상과 소리를 어떻게 맞추나: 14B, 5B 듀얼 스트림 — 비디오 14B와 오디오 5B 스트림을 교차 연결해 함께 노이즈를 제거하는 구조, 동기화 평가와 실행 비용
• 영상과 소리를 따로 만들면 왜 어긋날까: MOVA의 동시 생성 구조 — MOVA가 32B MoE 중 18B를 활성화해 영상, 음성을 함께 생성하는 방식, 보고된 동기화 개선과 배포 판단 기준을 설명합니다.
• 영상, 오디오, 편집을 한 모델로 묶으면 뭐가 달라질까: SkyReels-V4 — SkyReels-V4의 Dual-Stream MMDiT, 통합 인페인팅 인터페이스와 1080p 생성 전략을 살피고 단일 모델이라는 표현의 비용, 길이 한계를 짚습니다.

자주 묻는 질문

10초 데이터로 학습하면 어떤 5분 영상도 처리할 수 있나요?

논문이 보여 주는 것은 짧은 학습 구간에서 더 긴 추론으로 일반화할 가능성입니다. 장면 종류와 사건 밀도, 영상 길이가 달라지면 동기화, 반복, 음색 일관성을 대상 데이터에서 다시 측정해야 합니다.

스펙트로그램이 자연스러우면 영상과 소리가 잘 맞는 건가요?

반드시 그렇지는 않습니다. 전체 음향이 매끄러워도 충돌이나 문 닫힘 같은 짧은 사건의 시작 시점이 어긋날 수 있으므로 사건별 시간 오차와 누락을 별도로 평가해야 합니다.

MMHNet을 실시간 스트리밍에 바로 쓸 수 있나요?

비인과 구조는 현재 시점 뒤의 문맥도 사용하므로 전체 영상을 확보한 오프라인 생성에 더 가깝습니다. 스트리밍에는 미래 정보 없이 동작하는 별도 설계와 지연 평가가 필요합니다.