TimesFM으로 수천 예측 모델을 하나로 합쳐도 될까: 제로샷 기준선
TimesFM 1.0의 patch 기반 zero-shot forecasting을 rolling backtest, seasonal baseline, quantile calibration, data leakage, drift, serving 비용 기준으로 평가합니다.
TimesFM은 수많은 시계열마다 별도 모델을 학습하는 부담을 줄일 수 있지만, 곧바로 기존 예측기를 폐기할 만능 대체재가 아니라 먼저 비교해 볼 제로샷 기준선에 가깝습니다. 같은 rolling backtest에서 계절 반복값과 운영 모델을 이기고, 분위수 calibration, 추론비, 구조 변화 대응까지 통과한 시계열에만 적용하는 편이 안전합니다.
원문이 다루는 대상은 TimesFM 저장소와 TimesFM 1.0 200M 체크포인트입니다. 따라서 아래 수치와 제약은 이 버전의 스냅샷으로 읽어야 하며, 현재 배포판의 인터페이스를 보장하는 실행 안내는 아닙니다.
시계열을 패치로 읽는 이유
TimesFM은 연속된 관측값을 한 점씩 처리하지 않고, 예를 들어 32개 시점을 하나의 패치로 묶어 디코더 전용 Transformer에 넣습니다. 긴 시계열의 토큰 수를 줄이면서 패치 내부의 짧은 패턴을 표현하려는 선택입니다. 모델은 과거 패치에서 다음 패치를 자기회귀적으로 예측하고, 이를 이어 붙여 미래 구간을 만듭니다.
원문과 논문은 약 1,000억 개 시점으로 사전학습한 2억 파라미터 모델을 소개합니다. 핵심 가치는 새 데이터셋마다 재학습하지 않는 제로샷 예측입니다. 다만 학습 규모나 파라미터 수는 정확도를 자동으로 보증하지 않습니다. 데이터 주기, 결측, 구조 변화가 배포 환경과 다르면 단순한 계절 기준선보다 못할 수도 있습니다.
패치 길이는 계산량을 줄이지만 패치 경계보다 짧은 급격한 변화를 흐릴 수 있습니다. 예측 horizon도 patch를 이어 생성하는 동안 오차가 누적될 수 있으므로 1일, 1주, 1개월처럼 실제 의사결정 구간별 성능을 나눠 봅니다. 긴 history를 넣었다는 사실만으로 오래된 계절성이 현재에도 유효하다는 보장은 없습니다.
서로 단위가 다른 시계열을 공통 model에 넣으려면 scaling과 역변환이 일관돼야 합니다. 매출액이 큰 항목이 평균 오차를 지배하지 않도록 series별 metric과 가중 business metric을 함께 씁니다. 0이 많은 간헐 수요에서는 비율 오차가 불안정할 수 있으므로 절대 오차와 재고 부족, 과잉 비용을 별도로 봅니다.
Backtest에서 미래 정보 누출을 어떻게 막을까
한 번의 train, test split은 계절과 구조 변화를 우연히 잘 맞힐 수 있습니다. 여러 기준 시점을 앞으로 이동시키는 rolling-origin 평가를 사용하고, 각 시점에서는 당시까지 알 수 있었던 값만 전처리에 사용합니다. 결측값을 전체 기간 평균으로 채우거나 전체 데이터에서 scale을 계산하면 미래가 history에 섞입니다.
| 시계열 집단 | 반드시 포함할 기준선 | 집중해서 볼 실패 |
|---|---|---|
| 안정적 수준 | 마지막 값, 이동 평균 | 작은 개선에 비해 큰 추론 비용 |
| 강한 계절성 | 직전 주기 같은 값 | 휴일, 윤년, calendar 이동 |
| 간헐 수요 | 0 또는 간헐 수요 기준 | peak 누락과 과잉 재고 |
| 구조 변화 | 최근 짧은 창 model | 변화 뒤 오래된 패턴 고집 |
평가 구간마다 입력 길이, horizon, 결측 정책을 고정해 model별로 같은 정보를 줍니다. 현재 운영 모델만 행사, 가격 같은 외생 변수를 받고 TimesFM은 받지 못한다면 그 차이도 결과에 명시합니다. 비교 목적이 “모델 자체”인지 “현재 전체 pipeline 대체”인지에 따라 공정한 입력 조건이 달라집니다.
통합 효과는 모델보다 운영에서 확인한다
점포, 상품, 센서별로 서로 다른 모델과 재학습 일정을 관리하던 조직이라면 하나의 체크포인트와 공통 전처리 경로가 매력적입니다. 원문의 예시는 과거 길이 512와 예측 길이 128을 사용하며, 중앙값뿐 아니라 분위수 예측도 다룹니다. 수요 예측에서는 단일 숫자보다 상방과 하방 범위를 함께 보는 편이 재고 판단에 유용합니다.
그러나 통합의 단위는 모델 파일일 뿐입니다. 각 시계열의 시간 간격, 결측 처리, 이상치 정책과 평가 창은 여전히 명시해야 합니다. 서로 다른 빈도를 억지로 같은 배열에 넣거나 미래 정보를 전처리에 섞으면 제로샷이라는 장점과 무관하게 평가가 무너집니다.
예를 들어 점포별 일매출을 하나의 batch로 처리해도 폐점일, timezone과 환불 반영 시점은 점포 metadata에서 관리해야 합니다. 값이 없는 날을 매출 0으로 볼지 missing으로 볼지에 따라 history가 달라집니다. 공통 model을 쓴다는 이유로 업무 정의까지 하나로 합치면 오차 원인을 찾기 어려워집니다.
통합 효과는 model artifact 수뿐 아니라 신규 series가 production forecast를 내기까지 걸린 시간, pipeline failure, 담당자 유지보수 시간을 전후로 비교합니다. model은 하나여도 GPU serving과 대용량 batch queue가 새로운 단일 장애 지점이 될 수 있으므로 기존 단순 기준선으로 돌아갈 경로를 둡니다.
도입 전에는 같은 백테스트를 통과시킨다
먼저 대표 시계열을 안정형, 강한 계절형, 간헐형, 구조 변화형으로 나눕니다. 각 집단에서 동일한 시점 분할과 동일한 예측 길이를 적용해 TimesFM, 계절 반복값, 현재 운영 모델을 나란히 비교합니다. 평균 오차만 보지 말고 피크 구간, 결측 직후, 긴 예측 구간에서 실패가 커지는지도 확인해야 합니다.
평균 MAE가 좋아도 재고가 부족한 peak를 반복해서 놓치면 업무 결과는 나빠질 수 있습니다. 과소 예측과 과대 예측의 비용이 다르면 그 가중치를 반영한 metric을 추가합니다. 전체 평균과 함께 series별 승률, 가장 나쁜 5~10%의 오차와 현재 model보다 크게 악화된 항목 수를 봅니다.
그다음 추론 시간과 메모리, 배치 처리량까지 기록합니다. Transformer의 계산비가 단순 기준선보다 큰 만큼, 정확도 차이가 작은 저가치 시계열에는 기존 방식이 더 합리적일 수 있습니다. 분위수의 실제 포함률도 확인해야 예측 구간을 의사결정에 쓸 수 있습니다.
예컨대 90% 구간을 제시했다면 충분한 rolling window에서 실제값이 그 안에 약속한 비율로 들어오는지 확인합니다. 전체 포함률이 맞아도 저판매 상품에서는 너무 넓고 고판매 상품에서는 좁을 수 있으므로 규모, 계절, horizon별 calibration을 나눕니다. 구간이 넓기만 해서 포함률을 맞춘 model은 의사결정에 유용하지 않으므로 평균 폭도 함께 기록합니다.
1.0 스냅샷에서 남는 한계
원문 기준 TimesFM 1.0은 단변량 시계열 중심이며 외생 변수 활용에 제약이 있습니다. 가격, 행사, 날씨처럼 미래를 좌우하는 설명 변수가 핵심이라면 이 한계는 큽니다. 문맥 길이도 고정된 창으로 잘라 쓰므로 장기 이력이 항상 온전히 반영되는 것은 아닙니다.
배포 뒤에는 input 빈도, 결측률, scale과 오차를 backtest 기준 분포와 비교합니다. 갑작스러운 정책 변경이나 신상품처럼 history가 의미 없는 series는 model confidence와 무관하게 별도 규칙이나 사람 검토로 보냅니다. 실제값이 늦게 확정되는 업무라면 빠른 proxy 경보와 월간 확정 평가를 나눕니다.
따라서 가장 안전한 시작점은 ‘모든 파이프라인 통합’이 아니라 읽기 전용 그림자 평가입니다. 기존 예측을 유지한 채 같은 입력에 TimesFM 결과를 저장하고, 충분한 기간 동안 정확도, 지연, 비용을 비교한 뒤 승자만 제한적으로 교체하는 순서가 맞습니다.
그림자 평가에서는 TimesFM 결과가 실제 발주나 staffing을 바꾸지 않게 분리합니다. 최소 한두 계절을 관찰하기 어렵다면 과거 rolling backtest의 여러 시점을 늘리고 구조 변화 기간을 의도적으로 포함합니다. 승격 뒤에도 집단별 기준을 벗어나면 기존 model로 자동 fallback하고 어떤 forecast version이 의사결정에 쓰였는지 남깁니다.
원문과 버전 확인
함께 읽으면 이해가 이어지는 글
- Kronos: 금융 캔들스틱 데이터를 언어로 이해하는 파운데이션 모델 심층 분석 — 칭화대학교 연구진이 개발한 Kronos는 전 세계 45개 거래소의 120억 개 K선(OHLCV) 데이터를 자연어처럼 토큰화하여 학습한 최초의 오픈소스 시계열 파운데이션 모델입니다. 연속적인 수치 데이터를 이산적인 토큰으로 변환하는…
- ai-hedge-fund에 실제 돈을 맡기기 전에: 멀티에이전트 구조와 검증 함정 — ai-hedge-fund의 분석, 투자자, 리스크, 포트폴리오 에이전트 흐름과 설치 스냅샷, 실제 투자에 쓰기 전 검증할 오류와 백테스트 한계를 정리합니다.
- TurboDiffusion 100~200배 가속은 어떻게 나왔나? Attention, rCM, W8A8 조건 — TurboDiffusion이 attention 최적화, rCM 단계 증류, W8A8 양자화를 결합한 구조와 100~200배 보고값을 재현할 때 확인할 조건을 정리합니다.
자주 묻는 질문
TimesFM 하나로 기존 시계열 모델을 모두 대체할 수 있나요?
아닙니다. 제로샷 기준선으로 같은 backtest에 넣고, 시계열 유형, 예측 구간별로 현재 모델보다 나은 경우만 제한적으로 교체해야 합니다.
제로샷이면 전처리와 재학습 파이프라인이 필요 없나요?
모델별 재학습은 줄 수 있지만 빈도 정렬, 결측, 이상치 처리, scale, 평가 창과 구조 변화 감시는 여전히 필요합니다.
분위수 예측은 그대로 안전재고 계산에 써도 되나요?
먼저 실제값이 예측 구간에 들어온 비율을 집단별로 확인해 calibration이 맞는지 검증한 뒤 의사결정 비용과 연결해야 합니다.