메모리 30MB로 V8을 돌린다고? 러스트(Rust)가 낳은 괴물 브라우저 'Obscura' 심층 해부

Posted Apr 28, 2026

Running V8 on 30MB RAM? A Deep Dive into 'Obscura', the Monster Rust-built Headless Browser

21 min read

The Hook: 퍼페티어로 밤새우며 쌍욕 해본 당신에게

솔직히 까놓고 말해봅시다. 현업에서 퍼페티어(Puppeteer)나 플레이라이트(Playwright)로 크롤러, 혹은 AI 에이전트 인프라 구축하면서 쌍욕 안 해본 분 계신가요?

간단한 데이터 좀 긁어오겠다는데 수백 메가바이트짜리 크로미움(Chromium) 바이너리를 통째로 다운로드해야 하죠. 서버에 올려놓고 동시성 탭 10개만 띄워도 EC2 인스턴스의 메모리 경고 알림이 미친 듯이 울리기 시작합니다. OOM(Out of Memory) 킬러가 프로세스를 무자비하게 죽여버리는 꼴을 밤새 지켜보다 보면, “도대체 왜 기계가 읽을 데이터를 수집하는데 인간을 위해 만들어진 무거운 렌더링 엔진을 통째로 띄워야 하는가?”라는 근본적인 회의감이 들기 마련입니다.

요즘 AI 에이전트다, 실시간 RAG(Retrieval-Augmented Generation) 파이프라인이다 말들은 많지만, 정작 그 밑바닥을 들여다보면 다들 뚱뚱하고 느려터진 헤드리스 크롬(Headless Chrome)을 덕지덕지 테이프로 이어 붙여 쓰고 있는 게 우리의 서글픈 현실입니다. 저 역시 이 아키텍처의 비효율성 문제로 진절머리가 나 있던 찰나, 최근 깃허브(GitHub) 트렌딩에서 묘한 프로젝트 하나를 발견했습니다.

이름하여 Obscura.

러스트(Rust)로 밑바닥부터 다시 짠 AI 에이전트 및 웹 스크래핑 전용 헤드리스 브라우저라고 하더라고요. 처음엔 “또 그저 그런 크롬 래퍼(Wrapper)겠지” 하고 코웃음을 쳤습니다. 그런데 바이너리 크기 70MB, 메모리 점유율 30MB, 게다가 CDP(Chrome DevTools Protocol) 완벽 호환이라는 벤치마크 스펙을 보고는 등골이 서늘해졌습니다. 당장 로컬로 클론(Clone)을 받아서 내부 코드를 뜯어보지 않을 수 없었죠.

TL;DR: 핵심 요약

Obscura는 크로미움의 비대한 렌더링 파이프라인을 걷어내고, 러스트(Rust) 환경에 V8 엔진을 직접 결합하여 만든 ‘기계(AI)만을 위한 초경량 헤드리스 브라우저 엔진’입니다. 기존 크롬 대비 메모리 사용량을 1/7 수준으로 압축하면서도 Playwright와 완벽히 호환되는, 웹 자동화 생태계의 거대한 패러다임 시프트입니다.

Deep Dive: Under the Hood (엔진 룸 파헤치기)

이 녀석의 진짜 가치는 README.md 파일에 적힌 화려한 벤치마크 숫자가 아니라, 아키텍처의 설계 철학 그 자체에 있습니다. 단순히 기능을 나열하는 건 기계나 할 짓이니, 기존 헤드리스 크롬과 Obscura가 아키텍처 레벨에서 어떻게 다른지 10년 차의 깐깐한 시선으로 밑바닥부터 파헤쳐 보겠습니다.

기존 크로미움의 헤드리스 모드는 사실상 “화면에 픽셀만 안 그릴 뿐” 내부적으로는 무거운 작업들을 거의 다 수행합니다. IPC(Inter-Process Communication) 통신, 샌드박스 초기화, 쓸데없는 GPU 가속 모듈 스캐닝 등 기계가 텍스트와 DOM을 추출하는 데 전혀 필요 없는 오버헤드가 덕지덕지 붙어 있죠.

반면 Obscura는 과감하게 ‘Blink 렌더링 엔진의 무거운 짐’을 버렸습니다. 대신 V8 엔진을 러스트 애플리케이션 내부에 직접 임베딩(Embedding)해버렸습니다. 러스트의 강력한 FFI(Foreign Function Interface)를 통해 V8과 직접 메모리를 주고받으며, DOM 트리를 파싱하고 자바스크립트를 실행합니다.

비교 항목	기존 Headless Chrome (Puppeteer)	Obscura Engine
메모리 점유율 (1 탭 기준)	200MB ~ 350MB	30MB ~ 40MB
바이너리 크기	300MB+	70MB (컴파일 후 단일 실행 파일)
초기 구동 시간 (Startup)	1.5s ~ 2.0s	Instant (< 85ms)
통신 프로토콜	CDP (Chrome DevTools Protocol)	CDP 완벽 지원 (Drop-in Replacement)
스텔스(안티봇) 우회	플러그인 필요 (puppeteer-extra 등)	엔진 레벨에서 스텔스 및 트래커 차단 기능 내장

이 아키텍처의 백미는 바로 CDP(Chrome DevTools Protocol) API를 러스트로 직접 구현했다는 점입니다. 즉, 프론트엔드 개발자들이 이미 짜놓은 Node.js 기반의 Playwright나 Puppeteer 스크립트를 한 줄도 수정할 필요 없이, 브라우저 접속 엔드포인트만 Obscura로 바꿔주면 그대로 동작한다는 뜻입니다.

특히나 흥미로운 부분은 메모리 라이프사이클 관리입니다. 구글 크롬은 인간의 쾌적한 웹서핑을 위해 뒤로 가기(Back/Forward Cache)나 막대한 양의 이미지, 네트워크 응답을 메모리에 공격적으로 캐싱합니다. 하지만 Obscura는 러스트의 소유권(Ownership) 모델과 Drop 트레이트를 활용하여, 페이지 컨텍스트가 종료되는 즉시 연관된 V8 메모리 힙(Heap)과 네트워크 버퍼를 가비지 컬렉터(GC)에 의존하지 않고 즉각적으로 해제해버립니다. 이 덕분에 며칠씩 프로세스를 띄워두어도 메모리 누수(Memory Leak) 현상 없이 30MB의 안정적인 상태를 유지할 수 있는 것입니다.

실제 러스트 환경에서 Obscura를 빌드하고 띄우는 코드를 보실까요?

  
// Cargo.toml
// [dependencies]
// obscura = { version = "1.0", features = ["stealth"] }

use obscura::{Browser, LaunchOptions};

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 안티 탐지(Anti-detection) 기능이 엔진 레벨에서 켜진 브라우저 인스턴스 생성
    let options = LaunchOptions::builder()
        .headless(true)
        .stealth_mode(true) // Cloudflare, Datadome 등 안티봇 우회 로직 활성화
        .port(9222) // CDP 포트 개방
        .build();

    let mut browser = Browser::launch(options).await?;
    let page = browser.new_page().await?;
    
    page.goto("https://bot.sannysoft.com").await?;
    
    // V8 엔진을 통해 즉각적인 JS 컨텍스트 실행
    let result: String = page.evaluate("navigator.userAgent").await?;
    println!("Spoofed User Agent: {}", result);

    Ok(())
}

보이시나요? 저 stealth_mode(true) 한 줄이면, 과거 우리가 puppeteer-extra-plugin-stealth를 붙이느라 똥꼬쇼를 했던 navigator.webdriver 속성 우회, Canvas 핑거프린트 노이즈 추가 기능이 러스트의 압도적인 속도로 처리됩니다. (참고로 첫 빌드 시 V8 소스 코드를 통째로 컴파일하느라 약 5분 정도 멍때려야 하지만, 컴파일 캐싱 이후에는 경이로운 속도를 보여줍니다.)

Pragmatic Use Cases: 실무 적용 시나리오

현업에서 이 기술을 어떻게 써먹을 수 있을까요? 뻔한 ‘네이버 뉴스 크롤링’ 같은 예시는 집어치우겠습니다. 진짜 실무에서 피눈물을 흘려본 아키텍처 시나리오에 적용해 보죠.

1. AWS Lambda / Serverless 환경에서의 실시간 AI 에이전트 구동 AI 기반의 자율 에이전트(Autonomous Agent)가 사용자 대신 웹을 실시간으로 탐색하며 데이터를 모으는 서비스를 만든다고 가정해 봅시다. 트래픽 스파이크에 민첩하게 대응하려면 AWS Lambda 같은 서버리스 환경이 필수입니다. 하지만 AWS Lambda의 최대 용량 제한(250MB)이나 콜드 스타트 시간 때문에 300MB짜리 Chromium을 패키징해서 올리는 건 사실상 자해 행위나 다름없었습니다.

하지만 Obscura의 70MB짜리 단일 바이너리라면? Lambda 환경에 가뿐하게 쏙 들어가는 것은 물론이고, 페이지 로딩 속도가 85ms 수준으로 극단적으로 짧아 API Gateway에 물려서 실시간 동기 API처럼 활용할 수 있습니다. 사용자가 쿼리를 날리는 즉시 Lambda가 깨어나 Obscura로 대상 사이트의 JS를 렌더링하고 DOM을 파싱해 LLM에게 넘겨주는 궁극의 파이프라인이 완성되는 겁니다.

2. 기존 Node.js 기반의 레거시 자동화 서버 연동 회사에 이미 Playwright로 떡칠된 수십 개의 마이크로서비스가 돌아가고 있다고 칩시다. 이 코드를 하루아침에 러스트로 재작성할 수는 없겠죠. 이때 Obscura의 진가가 발휘됩니다. Obscura를 별도의 경량 도커(Docker) 컨테이너로 띄워두고, 기존 Node.js 코드에서는 CDP 엔드포인트만 살짝 비틀어주면 됩니다.

  
// 기존 Node.js 기반 Playwright 코드에서 Obscura로 연결하는 예시
const { chromium } = require('playwright-core');

(async () => {
    // 로컬에서 9222 포트로 띄운 Obscura(Rust) 엔진으로 원격 접속!
    // 무거운 크롬 실행 파일 다운로드나 심각한 메모리 낭비가 전혀 없습니다.
    const browser = await chromium.connectOverCDP('http://localhost:9222');
    const context = await browser.newContext();
    const page = await context.newPage();
    
    await page.goto('https://example.com');
    console.log(await page.title());
    await browser.close();
})();

이런 식으로 아키텍처를 분리하면, 크롤링 로직 자체는 기존 Node.js 개발자들이 그대로 유지보수하면서, 인프라의 메모리 사용량과 서버 비용은 1/7 수준으로 대폭 삭감하는 마법을 부릴 수 있습니다.

3. 대용량 동시성 크롤링에서의 TLS/네트워크 핑거프린트 우회 클라우드플레어(Cloudflare)나 아카마이(Akamai) 같은 최신 안티봇 솔루션은 단순히 JS 레벨의 navigator 조작만 잡는 게 아닙니다. 이들은 네트워크 계층의 TLS Handshake(JA3 핑거프린트)나 HTTP/2 멀티플렉싱 패턴까지 딥 패킷 인스펙션(DPI)으로 집요하게 뜯어봅니다. Node.js 기반 툴들은 V8과 libuv에 종속되어 이 네트워크 스택을 변조하기가 극도로 까다롭습니다. 하지만 러스트로 작성된 Obscura는 커스텀 네트워크 스택을 사용하므로, 엔진 레벨에서 일반적인 macOS Safari나 Windows Chrome의 TLS 핑거프린트를 완벽하게 모방하도록 바이너리를 제어할 수 있습니다. 이건 단순히 빠르다는 걸 넘어, 기존 웹 스크래핑 생태계에서 번번이 가로막혔던 견고한 벽을 뚫어내는 치명적인 무기입니다.

Honest Review & Trade-offs: 시니어의 비판적 시선

자, 여기까지 들으면 당장 내일 출근해서 회사의 크롤링 서버를 다 러스트로 갈아엎고 싶으시겠지만, 10년 차 개발자로서 찬물 한 바가지 붓고 가겠습니다. 세상에 공짜 점심은 없죠. 이 눈부신 혁신 이면에도 도입 시 감당해야 할 뚜렷한 트레이드오프와 리스크가 존재합니다.

첫째, 완벽한 화면 렌더링(Visual Rendering)의 부재입니다. Obscura는 철저히 DOM 파싱과 V8을 통한 JS 실행에 최적화되어 있습니다. 만약 여러분의 테스트 시나리오가 “실제 브라우저 화면을 픽셀 단위로 캡처(Screenshot)하여 시각적 회귀 테스트(Visual Regression Test)를 수행”하는 거라면, Obscura는 끔찍한 선택입니다. 복잡한 CSS Flexbox나 Grid 레이아웃의 기하학적 계산을 완전히 생략하고 넘어가기 때문에 스크린샷 기능이 제대로 동작하지 않거나 완전히 깨진 렌더링 트리를 뱉어낼 확률이 몹시 높습니다.

둘째, 에지 케이스(Edge Case)에서의 V8 호환성 문제와 초기 버그입니다. 최신 크롬은 수많은 독자적인 Web API(WebGPU, WebBluetooth 등)를 지원하지만, Obscura는 뼈대만 남긴 커스텀 엔진이므로 일부 극악의 SPA(Single Page Application)나 고도로 난독화된 JS 프레임워크가 특정 DOM API를 호출할 때 런타임 에러를 뿜으며 뻗어버릴 수 있습니다. ‘진짜 완전한 크롬’이 아니기 때문에 발생하는 필연적인 괴리율이죠. 도입을 고려한다면 대상 사이트의 복잡도를 먼저 철저히 테스트해야만 합니다.

셋째, 가파른 러닝 커브와 디버깅의 고통입니다. 노드(Node.js) 진영에서 콘솔 로그나 찍으며 편하게 개발하던 스크립터들에게 러스트의 엄격한 컴파일러와 소유권(Ownership) 개념은 거대한 장벽입니다. 런타임에 브라우저 프로세스가 크래시라도 나면, 친절한 JS 에러 스택 대신 자비 없는 시뻘건 러스트 패닉(Panic) 로그를 마주해야 합니다. 사내에 러스트 생태계를 트러블슈팅할 수 있는 인력이 없다면 유지보수는 곧 재앙이 될 수 있습니다.

Closing Thoughts: 껍데기를 버리고 본질로

이런 치명적인 한계점들에도 불구하고, 제가 Obscura에 이토록 열광하는 이유는 단 하나입니다. “브라우저의 목적이 인간의 눈에서 기계의 두뇌로 이동했다”는 시대적 흐름을 가장 완벽하고 날카롭게 꿰뚫어 본 기술이기 때문입니다.

우리는 지금까지 AI 에이전트라는 최첨단 기술을 구동하기 위해, ‘인간이 눈으로 보기 위해 만든 크롬’이라는 무겁고 거대한 유산(Legacy)을 억지로 짊어지고 헉헉대고 있었습니다. Obscura는 그 사슬을 과감히 끊어냈습니다. 당장 내일 모든 프로덕션의 인프라를 대체할 순 없겠지만, 수년 내에 서버 사이드 웹 자동화와 AI 데이터 수집 파이프라인의 표준은 이런 ‘경량화된 기계 전용 헤드리스 엔진’으로 완전히 기울어질 것이라 굳게 확신합니다.

동료 개발자 여러분, 여전히 새벽에 크롤링 서버 메모리 누수 잡느라 OOM 에러 로그만 뒤적이고 계신가요? 이번 주말에는 차가운 맥주 한 캔 따놓고 Obscura의 깃허브 저장소를 한번 클론해 보시길 강력히 권합니다. 우리가 잊고 지냈던 ‘극한으로 최적화된 시스템 소프트웨어’의 묵직한 손맛을 오랜만에 느껴보실 수 있을 겁니다.

References

https://github.com/h4ckf0r0day/obscura
https://phemex.com/news/rust-developer-unveils-obscura

Tech

This post is licensed under CC BY 4.0 by the author.