작동 원리 심층 분석 (Under the Hood)
이제 모델의 내부 구조를 좀 더 기술적인 관점에서 단계별로 파헤쳐 보겠습니다. Kronos는 크게 데이터 파이프라인, 전용 토크나이저, 그리고 자기회귀 트랜스포머 모델로 구성됩니다.
%%{init: {"theme":"base","themeVariables":{"primaryColor":"#F0EEE9","primaryBorderColor":"#2a78d6","primaryTextColor":"#2b2926","secondaryColor":"#e8f0fb","secondaryBorderColor":"#4a3aa7","secondaryTextColor":"#2b2926","tertiaryColor":"#eafaf3","tertiaryBorderColor":"#1baf7a","tertiaryTextColor":"#2b2926","lineColor":"#8a8578","textColor":"#2b2926","edgeLabelBackground":"#F0EEE9","noteBkgColor":"#F0EEE9","noteTextColor":"#2b2926","noteBorderColor":"#8a8578","clusterBkg":"#faf9f6","clusterBorder":"#d8d4c8","fontFamily":"Pretendard, sans-serif"}}}%%
flowchart TD
A["전 세계 45개 거래소 120억 개 K선 데이터"]
B["Kronos 전용 토크나이저 (KronosTokenizer)"]
C["계층적 이산 토큰 (Hierarchical Discrete Tokens)"]
D["자기회귀 트랜스포머 모델 (Autoregressive Transformer)"]
E["사전 학습된 가중치 (Pre-trained Foundation Model)"]
F["다운스트림: 수익률 및 가격 추세 예측"]
G["다운스트림: 시장 변동성(Volatility) 예측"]
H["다운스트림: 금융 시뮬레이션용 합성 데이터 생성"]
A --> B
B --> C
C --> D
D --> E
E --> F
E --> G
E --> H
1. 전용 토크나이저: 거시에서 미시로 (Coarse-to-Fine)
가장 중요한 혁신은 KronosTokenizer에 있습니다. 단순히 연속된 값을 일정한 간격의 바구니에 담는(Binning) 수준을 넘어섭니다. K선 데이터 하나를 단일 토큰으로 압축하면 정보 손실이 크기 때문에, Kronos는 계층적 토큰 구조를 도입했습니다.
먼저 전체적인 가격의 움직임(수익률, 시가-종가 비율 등)을 나타내는 큰 단위의 ‘거시 토큰’을 생성하고, 그 안에서 고가와 저가의 그림자(꼬리) 비율, 거래량의 미세한 변화 등을 나타내는 ‘미시 토큰’을 순차적으로 생성합니다. 이를 통해 거시적인 시장 트렌드를 놓치지 않으면서도 캔들스틱 내부의 세밀한 움직임까지 모두 포착합니다.
%%{init: {"theme":"base","themeVariables":{"primaryColor":"#F0EEE9","primaryBorderColor":"#2a78d6","primaryTextColor":"#2b2926","secondaryColor":"#e8f0fb","secondaryBorderColor":"#4a3aa7","secondaryTextColor":"#2b2926","tertiaryColor":"#eafaf3","tertiaryBorderColor":"#1baf7a","tertiaryTextColor":"#2b2926","lineColor":"#8a8578","textColor":"#2b2926","edgeLabelBackground":"#F0EEE9","noteBkgColor":"#F0EEE9","noteTextColor":"#2b2926","noteBorderColor":"#8a8578","clusterBkg":"#faf9f6","clusterBorder":"#d8d4c8","fontFamily":"Pretendard, sans-serif"}}}%%
classDiagram
class KRONOS_BASE_MODEL {
+int vocab_size
+int hidden_size
+forward(input_ids)
}
class KRONOS_TOKENIZER {
+encode(ohlcv_array)
+decode(token_ids)
}
class KRONOS_PREDICTOR {
+predict_returns(hidden_states)
+predict_volatility(hidden_states)
}
KRONOS_BASE_MODEL <|-- KRONOS_TOKENIZER : "입출력 의존성"
KRONOS_BASE_MODEL <|-- KRONOS_PREDICTOR : "은닉 상태 공유"
2. 압도적인 규모의 자기회귀 사전 학습
토큰화된 데이터는 자연어 처리에서 흔히 쓰이는 자기회귀(Autoregressive) 방식의 트랜스포머에 입력됩니다. 즉, 이전까지의 주가 흐름(토큰들)을 보고 다음 시점의 주가 흐름(다음 토큰)이 무엇일지 확률 분포를 맞추는 훈련을 끝없이 반복합니다.
학습 데이터의 규모가 방대합니다. 미국 주식 시장뿐만 아니라 전 세계 45개 주요 거래소에서 수집된 120억 개 이상의 K선 기록을 학습했습니다.
%%{init: {"theme":"base","themeVariables":{"primaryColor":"#F0EEE9","primaryBorderColor":"#2a78d6","primaryTextColor":"#2b2926","secondaryColor":"#e8f0fb","secondaryBorderColor":"#4a3aa7","secondaryTextColor":"#2b2926","tertiaryColor":"#eafaf3","tertiaryBorderColor":"#1baf7a","tertiaryTextColor":"#2b2926","lineColor":"#8a8578","textColor":"#2b2926","edgeLabelBackground":"#F0EEE9","noteBkgColor":"#F0EEE9","noteTextColor":"#2b2926","noteBorderColor":"#8a8578","clusterBkg":"#faf9f6","clusterBorder":"#d8d4c8","fontFamily":"Pretendard, sans-serif"}}}%%
erDiagram
GLOBAL_EXCHANGE {
string exchange_id
string market_type
}
KLINE_DATASET {
float open_val
float high_val
float low_val
float close_val
float volume_val
}
QUANTIZED_TOKEN {
int token_id
string hierarchy_level
}
GLOBAL_EXCHANGE ||--o{ KLINE_DATASET : "provides"
KLINE_DATASET ||--o{ QUANTIZED_TOKEN : "encoded_to"
이러한 광범위한 다중 시장(Multi-market) 코퍼스를 통해 Kronos는 특정 국가나 자산군에 종속되지 않은, 시장 전반을 관통하는 보편적인 교차 자산(Cross-asset) 표현력을 획득했습니다.