Post

개발자 일자리 위협? ElevenLabs를 대체할 미친 AI 에이전트 등장 🤯

Posted
Voicebox-The-Local-ElevenLabs-Killer
Voicebox-The-Local-ElevenLabs-Killer
By
13 min read
개발자 일자리 위협? ElevenLabs를 대체할 미친 AI 에이전트 등장 🤯

최근 AI 음성 합성 기술이 비약적으로 발전하면서 ElevenLabs와 같은 서비스가 큰 주목을 받고 있습니다. 하지만 클라우드 기반 서비스는 구독 비용 문제와 데이터 프라이버시 우려가 항상 존재했죠.

그런데 여기, 모든 것을 내 컴퓨터에서 무료로, 그것도 인터넷 연결 없이 처리할 수 있는 오픈소스 프로젝트가 등장했습니다. 바로 Voicebox입니다.

이 글에서는 Voicebox의 기능부터 설치, 내부 아키텍처, 그리고 실제 활용법까지 완벽하게 파헤쳐 보겠습니다.

🎙️ Voicebox란 무엇인가요?

Voicebox는 Jamie Pine이 개발한 로컬 우선(Local-first) 음성 복제 및 합성 스튜디오입니다.

쉽게 말해, ElevenLabs의 강력한 기능들을 내 PC에 설치해서 사용하는 무료 오픈소스 대안이라고 보시면 됩니다. 알리바바의 최신 Qwen3-TTS 모델을 기반으로 하여, 단 몇 초의 목소리 샘플만 있으면 놀라운 퀄리티로 목소리를 복제해냅니다.

왜 Voicebox인가요?

  1. 완전 무료 & 오픈소스: 구독료가 없습니다. MIT 라이선스로 자유롭게 사용 가능합니다.
  2. 완전한 프라이버시: 목소리 데이터와 생성된 오디오가 클라우드로 전송되지 않고 내 컴퓨터에만 저장됩니다.
  3. 전문가용 도구: 단순한 텍스트 변환을 넘어, 타임라인 에디터와 다중 트랙 믹싱 등 DAW(Digital Audio Workstation) 수준의 기능을 제공합니다.

✨ 핵심 기능 (Key Features)

Voicebox는 단순한 TTS 도구가 아닙니다. 전문적인 음성 작업을 위한 종합 스튜디오를 지향합니다.

1. 초고속 음성 복제 (Instant Voice Cloning)

  • 단 몇 초의 오디오 샘플만 있으면 즉시 음성 프로필을 생성합니다.
  • 직접 마이크로 녹음하거나 기존 오디오 파일을 업로드하여 복제할 수 있습니다.
  • 여러 개의 샘플을 조합(Multi-sample support)하여 더 자연스럽고 정교한 목소리를 만들 수 있습니다.

2. 강력한 음성 합성 (Speech Generation)

  • Qwen3-TTS 모델을 사용하여 텍스트를 입력하면 고품질 음성으로 변환해줍니다.
  • 영어, 중국어 등 다국어를 지원하며(모델 업데이트에 따라 확장), 감정과 억양을 자연스럽게 살려냅니다.
  • 생성된 음성의 히스토리가 저장되어 언제든 다시 찾아볼 수 있습니다.

3. 스토리 & 타임라인 에디터 (Story Editor)

  • 여러 목소리를 하나의 프로젝트에서 관리할 수 있습니다.
  • 대화 모드(Conversation Mode)를 통해 여러 화자가 대화를 나누는 팟캐스트나 게임 대사를 쉽게 제작할 수 있습니다.
  • 오디오 클립을 드래그 앤 드롭으로 배치하고, 자르고, 편집하는 DAW 스타일의 인터페이스를 제공합니다.

4. 자동 자막 & 트랜스크립션 (Whisper Integration)

  • OpenAI의 Whisper 모델이 내장되어 있어, 업로드한 오디오를 자동으로 텍스트로 변환해줍니다.
  • 변환된 텍스트를 기반으로 음성을 수정하거나 재생성하는 워크플로우가 가능합니다.

5. 압도적인 성능 최적화

  • Apple Silicon (M1/M2/M3): Apple의 MLX 프레임워크를 사용하여 GPU 가속을 지원합니다. (기존 대비 5배 이상 빠름)
  • Windows/Linux: PyTorch 기반으로 NVIDIA GPU 가속을 지원합니다.
  • Electron이 아닌 Tauri(Rust)로 제작되어 메모리를 적게 차지하고 매우 가볍습니다.

🏗️ 딥다이브: 아키텍처 (Architecture)

개발자라면 이 프로젝트가 어떻게 돌아가는지 궁금하실 겁니다. Voicebox는 최신 기술 스택을 매우 우아하게 결합했습니다.

  • Frontend: React, TypeScript, Tailwind CSS로 구축된 UI입니다. 상태 관리는 Zustand와 React Query를 사용합니다.
  • Desktop App: Tauri (Rust)를 사용하여 웹 기술을 데스크탑 앱으로 패키징했습니다. Electron보다 훨씬 가볍고 빠릅니다.
  • Backend: Python (FastAPI) 서버가 로컬에서 실행되며 핵심 AI 로직을 처리합니다.
    • AI Models: 음성 합성은 Qwen3-TTS, 텍스트 변환은 Whisper를 사용합니다.
    • Inference: macOS에서는 MLX, 그 외 플랫폼에서는 PyTorch를 자동으로 선택하여 하드웨어 성능을 극대화합니다.
  • Database: 모든 설정과 생성된 데이터는 SQLite에 로컬로 안전하게 저장됩니다.
  • API-First: 데스크탑 앱은 사실 로컬 API를 호출하는 클라이언트일 뿐입니다. 즉, 여러분이 만든 다른 프로그램에서 Voicebox의 로컬 API(REST API)를 호출하여 음성 합성 기능을 연동할 수도 있습니다.

🚀 설치 및 설정 가이드 (Installation)

설치 방법은 운영체제에 따라 다릅니다. 사전 준비물로 Python 3.11 이상, Rust, Git, 그리고 Bun이 설치되어 있어야 합니다.

🍎 macOS / 🐧 Linux (권장)

터미널에서 Makefile을 이용해 아주 간단하게 설치할 수 있습니다.

  1. 레포지토리 클론
    1
2

    git clone https://github.com/jamiepine/voicebox.git
cd voicebox
  2. 설치 및 실행
    1
2

    make setup  # 의존성 설치 (Python 가상환경, Node 모듈 등)
make dev    # 백엔드와 프론트엔드 동시에 실행
    • make setup 과정에서 필요한 Python 패키지와 모델 관련 라이브러리가 자동으로 설치됩니다.

🪟 Windows (수동 설정)

윈도우에서는 수동으로 환경을 잡아주어야 합니다. 터미널 2개를 사용합니다.

  1. 기본 설정 및 JS 의존성 설치
    1
2
3

    git clone https://github.com/jamiepine/voicebox.git
cd voicebox
bun install
  2. Python 백엔드 설정 (터미널 1)
    1
2
3
4
5
6
7
8
9
10
11
12

    cd backend
python -m venv venv
# 가상환경 활성화 (PowerShell)
.\venv\Scripts\activate 
    
# 필수 패키지 설치
pip install -r requirements.txt
# Qwen3-TTS 설치
pip install git+https://github.com/QwenLM/Qwen3-TTS.git
    
# 서버 실행
uvicorn main:app --reload --port 17493
  3. 데스크탑 앱 실행 (터미널 2)
    1
2

    # 프로젝트 루트 폴더에서
bun run dev

    이제 앱이 실행되면서 로컬 백엔드 서버(포트 17493)와 연결됩니다.

💡 사용 가이드 (Usage Guide)

설치가 완료되면 다음과 같은 흐름으로 작업을 시작해보세요.

  1. 음성 프로필 생성 (Voice Cloning)
    • ‘Voices’ 탭으로 이동하여 ‘New Voice’를 클릭합니다.
    • 10~30초 분량의 깨끗한 목소리 파일(WAV, MP3 등)을 업로드하거나 직접 녹음합니다.
    • Voicebox가 즉시 목소리 특징을 분석하여 프로필을 만듭니다.
  2. 음성 생성 (Generation)
    • 생성된 목소리를 선택하고 텍스트를 입력합니다.
    • ‘Generate’ 버튼을 누르면 로컬 GPU/CPU를 사용하여 음성이 생성됩니다.
    • 생성된 오디오는 바로 들어보거나 다운로드할 수 있습니다.
  3. 스토리 모드 활용 (Story Mode)
    • 긴 대본이나 대화가 필요하다면 ‘Story’ 탭을 이용하세요.
    • 여러 개의 텍스트 블록을 만들고, 각 블록마다 다른 화자(Voice)를 지정할 수 있습니다.
    • 타임라인에서 각 클립의 간격을 조절하여 자연스러운 대화 흐름을 만듭니다.

🔮 활용 사례 (Use Cases)

  • 인디 게임 개발: 성우를 고용할 예산이 부족할 때, NPC들의 다양한 목소리를 직접 생성할 수 있습니다.
  • 유튜브/콘텐츠 제작: 내 목소리를 노출하기 싫거나, 다양한 캐릭터의 내레이션이 필요할 때 유용합니다.
  • 팟캐스트 프로토타이핑: 실제 녹음 전에 대본이 오디오로 어떻게 들릴지 미리 시뮬레이션해볼 수 있습니다.
  • 접근성 도구: 시각 장애인을 위한 맞춤형 화면 낭독기 음성을 만들 수 있습니다.

⚖️ 장단점 비교

구분Voicebox (오픈소스)Cloud Services (ElevenLabs 등)
비용무료 (하드웨어 비용 제외)월 구독료 발생 (사용량 비례)
프라이버시완벽함 (로컬 처리)서버 전송 필요 (유출 위험 존재)
속도내 컴퓨터 사양에 비례인터넷 속도 및 서버 상태 의존
설치다소 복잡 (개발 지식 필요)가입 후 즉시 사용 가능
품질매우 우수 (Qwen3-TTS)최상급 (SOTA 모델)

📝 결론: 개발자라면 꼭 써봐야 할 툴

Voicebox는 단순히 ‘공짜 툴’이라는 점을 넘어, 로컬 AI의 가능성을 보여주는 훌륭한 프로젝트입니다. 특히 Rust와 Python, React를 결합한 아키텍처는 기술적으로도 배울 점이 많습니다.

나만의 데이터를 지키면서 무제한으로 고품질 음성을 생성하고 싶다면, 지금 바로 설치해보세요. 로컬 LLM에 이어 로컬 TTS의 시대가 열리고 있습니다.

🔗 참고 링크

References

  • https://github.com/jamiepine/voicebox
  • https://github.com/QwenLM/Qwen3-TTS
  • https://voicebox.metademolab.com
Tech
This post is licensed under CC BY 4.0 by the author.