퀀트 트레이딩을 위한 NLP 감성 분석: 사전 기반에서 트랜스포머까지

텍스트 데이터는 퀀트 금융의 최신 알파 원천입니다

월스트리트 저널의 단일 칼럼이 다음 날 주식 수익률을 예측하였습니다. Tetlock (2007)은 WSJ의 "Abreast of the Market" 칼럼에서 부정적 단어의 비율이 다우존스 산업 평균에 대한 1~2거래일 내 하방 압력을 예측한다는 것을 보여주었습니다. 이 효과는 통계적으로 유의하고 경제적으로 의미 있었으며, 가격과 거래량 데이터만 보는 사람에게는 완전히 보이지 않는 것이었습니다. 이 논문은 단순한 단어 빈도 계산에서 워드 임베딩, 트랜스포머 기반 언어 모형에 이르는 연구 프로그램의 시작점이 되었으며, 각 세대는 동일한 텍스트에서 더 많은 신호를 추출하였습니다. 누적된 증거는 명확합니다. 텍스트 데이터에는 전통적인 퀀트 팩터로 포착되지 않는 미래 수익률에 관한 정보가 포함되어 있습니다.

텍스트에 알파가 포함된 이유

금융시장은 가격을 통해 정보를 처리하지만, 모든 정보가 수치 형태로 도착하는 것은 아닙니다. 실적 발표 전사 기록, 규제 공시, 애널리스트 보고서, 뉴스 기사, 소셜 미디어 게시물 모두 기업의 전망, 경영 품질, 시장 심리에 관한 정보를 담고 있습니다. 효율적 시장 가설에 따르면 이 정보는 빠르게 가격에 반영되어야 하지만, 실제로 텍스트 정보는 느리고 불균등하게 흡수됩니다.

이에는 세 가지 이유가 있습니다. 첫째, 텍스트는 비정형이고 고차원적이어서 인간 분석가가 대규모로 처리하기에 비용이 많이 듭니다. 분기별 실적 발표 시즌만 해도 수천 건의 전사 기록이 생성되며, 어떤 애널리스트 팀도 이를 모두 읽을 수 없습니다. 둘째, 언어와 자산 가격 간의 관계는 비선형적이고 맥락에 따라 달라집니다. "부채(liability)"라는 단어는 법적 문서에서와 재무제표에서 전혀 다른 의미를 가지며, 이 점은 금융 특화 사전 개발의 핵심이 되었습니다. 셋째, 텍스트 내 신호의 상당 부분은 미묘합니다. 이는 명시적인 예측이 아니라 어조, 헤징 언어, 경영진이 말하지 않기로 선택한 내용에 존재합니다.

사전 시대: Loughran과 McDonald (2011)

금융 텍스트에서 감성을 측정하려는 초기 시도는 심리학과 의견 채굴을 위해 개발된 범용 사전에 의존하였습니다. 하버드 제너럴 인콰이어러와 유사한 도구들은 일상적인 용법에 기반하여 단어를 긍정적 또는 부정적으로 분류하였습니다. 결과는 실망스러웠으며, Loughran과 McDonald (2011)이 그 이유를 설명하였습니다.

핵심적인 통찰은 하버드 사전이 부정적으로 분류한 단어의 거의 4분의 3이 금융 맥락에서는 부정적이지 않다는 것이었습니다. "세금(tax)," "비용(cost)," "자본(capital)," "부채(liability)," "위험(risk)" 같은 단어는 SEC 공시에서 빈번하게 등장하지만 부정적 감성을 전달하지 않습니다. 이들은 단순히 표준적인 금융 어휘입니다. 이러한 범용 사전을 사용하면 텍스트 감성과 수익률 간의 진정한 관계를 가리는 체계적 측정 오류가 발생하였습니다.

Loughran과 McDonald는 1994년부터 2008년까지 SEC에 제출된 10-K 공시에 등장하는 단어를 수작업으로 분류하여 금융 특화 감성 사전을 구축하였습니다. 이 사전에는 부정적, 긍정적, 불확실성, 소송, 강한 양태, 약한 양태의 여섯 가지 감성 범주가 포함됩니다. 부정적 단어 목록만으로도 금융 담론에 특화하여 보정된 약 2,300개의 용어가 수록되어 있습니다.

개선 효과는 상당하였습니다. 금융 특화 사전을 사용하면 10-K 공시의 부정적 단어 비율이 공시일 전후의 비정상 수익률, 공시 후 수익률 추세, 거래량, 수익률 변동성을 예측하였습니다. Loughran-McDonald 지표를 통제한 후에는 범용 사전이 그러한 예측력을 보여주지 못하였습니다.

단어 빈도 계산을 넘어서: 임베딩과 맥락

사전 기반 방법은 각 단어를 독립적으로 처리하여 어순, 부정, 맥락을 무시합니다. "회사는 손실을 보고하지 않았다"라는 문장에는 "손실"이라는 단어가 포함되어 있어 부정적으로 점수가 매겨질 수 있지만, 이 문장은 사실 긍정적입니다. Word2Vec (Mikolov et al. 2013)과 GloVe (Pennington et al. 2014)를 통해 도입된 워드 임베딩은 단어를 의미적 유사성이 기하학적 근접성에 매핑되는 연속 공간의 밀집 벡터로 표현함으로써 이 한계를 부분적으로 해결하였습니다.

연구자들은 이러한 기법을 금융 코퍼스에 적용하여 유망한 결과를 얻었습니다. 실적 발표 전사 기록에 대해 Word2Vec를 훈련시키면 도메인 특화 관계가 포착됩니다. "매출(revenue)"에 대한 벡터는 "판매(sales)"와 "상단선(top-line)"에 가깝고, "구조조정(restructuring)"은 "해고(layoffs)"와 "손상(impairment)"과 함께 클러스터링됩니다. 이러한 임베딩은 문서 전체에 걸쳐 평균을 내어 단순한 단어 빈도 계산보다 더 많은 뉘앙스를 포착하는 문서 수준의 감성 점수를 생성할 수 있습니다.

Ke, Kelly, Xiu (2019)는 텍스트 데이터를 이용한 수익률 예측에 관한 영향력 있는 논문에서 이를 더 발전시켰습니다. 이들은 감성 사전 구축이라는 중간 단계를 우회하고, 신문 기사 텍스트와 후속 주식 수익률 간의 관계를 직접 추정하는 지도 학습 접근법을 개발하였습니다. 임베딩과 유사한 텍스트 표현과 벌점 회귀를 결합한 이 방법은 기존 자산 가격 결정 팩터를 넘어서는 유의미한 설명력을 추가하는 표본 외 수익률 예측을 생성하였습니다. 핵심 발견은 텍스트 기반 수익률 예측이 1일에서 5일 기간에서 가장 강하며, 더 긴 기간에서는 크게 감소한다는 것이었습니다.

트랜스포머 혁명: FinBERT와 대규모 언어 모형

BERT (Devlin et al. 2019)로 시작된 트랜스포머 아키텍처의 도입은 질적인 도약을 의미하였습니다. 임베딩과 달리, 트랜스포머는 전체 시퀀스를 처리하여 장거리 의존성, 부정, 조건문, 복잡한 수사적 구조를 포착합니다. 트랜스포머는 전체 맥락 창을 처리하기 때문에 "우리는 강한 성장을 기대한다"와 "우리는 강한 성장을 기대하지 않는다"를 구분할 수 있습니다.

FinBERT (Araci 2019)는 BERT 아키텍처를 금융 텍스트에 특화하여 적응시켰습니다. 대규모 금융 뉴스 및 커뮤니케이션 코퍼스에서 사전 훈련된 FinBERT는 사전 기반 방법과 범용 BERT 모두에 비해 금융 감성 분류 작업에서 상당히 높은 정확도를 달성합니다. 금융 구문 은행 데이터를 사용한 표준 벤치마크에서 FinBERT는 합의 임계값에 따라 85~97% 범위의 정확도를 달성하며, 사전 기반 접근법의 약 70%와 비교됩니다.

블룸버그의 독점적 BloombergGPT (Wu et al. 2023)는 범용 및 금융 텍스트의 혼합으로 훈련되어, 대규모 언어 모형이 특화 모형과 동등하거나 그 이상의 수준으로 금융 NLP 작업을 수행할 수 있으면서도 훨씬 더 광범위한 작업을 처리할 수 있음을 입증하였습니다. 최근에는 금융 코퍼스에서 미세 조정된 오픈소스 LLM이 감성 작업에서 FinBERT 수준의 성능에 근접하거나 이를 달성하면서도 더 큰 유연성을 제공하고 있습니다.

실질적인 결과는 정확도와 비용 간의 트레이드오프입니다. FinBERT는 단일 GPU에서 10-K 공시를 수 초 만에 처리합니다. 동일한 공시를 대규모 언어 모형으로 처리하면 연산 비용이 10~100배 더 들고 시간이 상당히 더 걸리지만, FinBERT가 놓치는 복잡한 서사 구조에서 추가적인 신호를 추출할 수 있습니다. 대부분의 프로덕션 시스템은 계층적 접근법을 사용합니다. 전체 유니버스에 대해 빠른 사전 또는 FinBERT 스크리닝을 수행한 후, 높은 확신 신호의 하위 집합에 대해 더 깊은 LLM 분석을 수행합니다.

데이터 원천과 특성

텍스트 원천의 선택은 모형 선택만큼 중요합니다. 각 원천은 적시성, 커버리지, 신호 강도, 노이즈 간에 서로 다른 트레이드오프를 제공합니다.

뉴스 피드는 가장 높은 빈도를 제공하지만 가장 어려운 신호 추출 문제를 제시합니다. 뉴스 기사가 발행될 때까지 정보 내용의 상당 부분이 이미 가격에 반영되어 있을 수 있으며, 특히 광범위한 애널리스트 커버리지를 가진 대형주의 경우 더욱 그러합니다. 잔여 신호는 헤드라인 사실이 아니라 언어의 미묘한 차이에 존재하는 경향이 있습니다.

실적 발표 전사 기록은 NLP 기반 알파의 가장 풍부한 원천 중 하나로 부상하였습니다. Q&A 섹션은 경영진의 애널리스트 질문에 대한 응답이 준비된 발언보다 덜 대본화되어 있고 기업 전망에 대한 진정한 정보를 공개할 가능성이 더 높기 때문에 특히 가치가 있습니다. 연구에 따르면 경영진 응답의 언어적 복잡성, 헤징 언어 사용, 전형적인 표현 패턴으로부터의 이탈이 모두 후속 수익률과 실적 서프라이즈를 예측합니다.

Reddit의 r/wallstreetbets와 StockTwits 같은 플랫폼의 소셜 미디어 데이터는 실시간 소매 감성을 제공하지만 심각한 노이즈 문제가 있습니다. 신호 대 노이즈 비율이 낮고, 조작이 빈번하며, 커버리지가 인기 있는 종목의 하위 집합에 크게 편향되어 있습니다. 그럼에도 불구하고 집계된 소셜 미디어 감성은 소매 거래 흐름이 전체 거래량의 더 큰 비중을 차지하는 중소형주 공간에서 단기 수익률에 대한 예측력을 보여주었습니다.

알파 생성에 관한 실증적 증거

누적된 증거는 텍스트 기반 신호를 진정한 알파의 원천으로 지지하지만, 기간, 용량, 소멸에 관한 중요한 단서가 있습니다.

Tetlock (2007)은 기초적인 결과를 확립하였습니다. 미디어의 비관주의가 일별 빈도에서 시장 수익률에 대한 하방 압력을 예측한다는 것입니다. Tetlock, Saar-Tsechansky, Macskassy (2008)는 이를 개별 종목으로 확장하여, 기업별 뉴스 기사에서 부정적 단어의 비율이 실적과 수익률 모두를 예측한다는 것을 보여주었습니다.

Ke, Kelly, Xiu (2019)는 지도 학습 기반 텍스트 예측이 개별 종목에 대해 월별 표본 외 R-제곱 값 1~2%를 생성한다는 것을 입증하였으며, 이는 경제적으로 큰 규모입니다. 이들의 텍스트 팩터는 롱-숏 포트폴리오에서 연간 약 0.7의 샤프 비율을 기록하였으며, 이는 전통적인 퀀트 팩터와 비교하여 유리한 수치입니다. 결정적으로, 텍스트 팩터는 기존 팩터와 대체로 직교하여, 진정으로 새로운 정보를 포착한다는 것을 의미합니다.

Jiang, Kelly, Xiu (2023)는 텍스트 데이터가 기대 수익률의 횡단면과 어떻게 관련되는지를 측정함으로써 뉴스에서 정보를 재추출하는 텍스트 기반 접근법을 확장하였으며, 텍스트 데이터에 적용된 신경망 모형이 수익률 예측을 상당히 개선할 수 있음을 발견하였습니다.

신호 기간은 일반적으로 짧습니다. 텍스트 기반 수익률 예측은 1~5일 기간에서 가장 강하며, 예측력의 대부분은 발표 후 첫 1~3일에 집중됩니다. 1주일을 넘어서면 정보가 가격에 반영되면서 신호가 급속히 감소합니다. 이러한 빠른 소멸은 텍스트 기반 전략이 저지연 구현을 요구하고 상대적으로 높은 회전율을 생성한다는 것을 의미합니다.

신호 소멸과 용량 제약

텍스트 기반 신호의 단기적 특성은 용량과 구현에 관한 중요한 질문을 제기합니다.

뉴스 기반 감성의 신호 소멸이 가장 빠른데, 이는 뉴스가 가장 널리 배포되고 빠르게 처리되는 텍스트 원천이기 때문입니다. 로이터 헤드라인에서 도출된 감성 신호는 대형주의 경우 수 분에서 수 시간의 반감기를 가질 수 있으며, 이는 알고리즘 트레이딩 시스템이 뉴스 감성을 추출하고 거래하도록 특별히 설계되어 있기 때문입니다. 소형주와 유동성이 낮은 시장에서는 소멸이 더 느려 체계적 전략이 신호를 포착할 더 많은 시간을 제공합니다.

실적 발표 감성은 콜 전사 기록이 지연되어 제공되고(통상 콜 후 30분에서 수 시간) 신호가 헤드라인 사실이 아닌 언어적 뉘앙스에 내재되어 있기 때문에 더 느리게 소멸합니다. 그러나 분기별 빈도는 거래 가능한 신호의 총 수를 제한합니다.

텍스트 기반 전략의 용량 추정은 정확히 산정하기 어렵지만, 일반적으로 이러한 전략이 중간 규모에서 가장 잘 작동한다는 것을 시사합니다. 미국 대형주에서의 순수 뉴스 감성 전략은 수억 달러 규모의 용량을 가질 가능성이 높으며, 수십억 달러는 아닙니다. 이는 신호가 단기적이고 특정 시점에서 상대적으로 적은 수의 종목에 집중되기 때문입니다. 여러 텍스트 원천을 장기 기간 신호와 결합하는 전략은 더 큰 규모로 확장할 수 있습니다.

경쟁 환경이 중요합니다. 더 많은 퀀트 운용사가 NLP 모형을 배치함에 따라, 새로운 텍스트 처리에서의 선발자 이점이 줄어들고 있습니다. 군비 경쟁은 NLP 사용 여부에서 모형이 얼마나 빠르고 정확하게 신호를 추출할 수 있는지로 이동하였습니다. 수 초 단위의 지연 시간 이점이 의미 있는 성과 차이로 전환될 수 있습니다.

프로덕션 NLP 파이프라인 구축

퀀트 트레이딩을 위한 프로덕션급 NLP 파이프라인은 일반적으로 여러 단계를 포함합니다. 첫째, 데이터 수집: 선택한 텍스트 원천에 대해 신뢰할 수 있고 저지연의 피드를 확보합니다. 둘째, 전처리: 텍스트를 정제, 토큰화, 정규화합니다. 셋째, 특성 추출: 선택한 모형(사전, 임베딩 또는 트랜스포머)을 적용하여 텍스트를 수치적 특성으로 변환합니다. 넷째, 신호 구성: 텍스트 특성을 다른 알파 원천과 결합하고, 소멸 함수를 적용하며, 거래 가능한 신호를 구성합니다. 다섯째, 포트폴리오 통합: 전통적인 퀀트 팩터와 함께 포트폴리오 최적화기에 신호를 공급합니다.

모형 선택은 사용 사례에 따라 달라집니다. 지연 시간이 중요한 실시간 뉴스 처리의 경우 사전 기반 방법이나 전용 GPU에서 실행되는 경량 FinBERT 모형이 선호됩니다. 수 시간의 처리 시간이 허용되는 분기별 공시나 실적 발표의 심층 분석에는 더 큰 트랜스포머 모형이나 LLM이 더 미묘한 신호를 추출할 수 있습니다.

텍스트 기반 전략의 위험 관리에는 여러 특정 실패 모드에 대한 주의가 필요합니다. 감성 모형은 풍자, 아이러니, 시간이 지남에 따라 변화하는 도메인 특화 전문 용어에 의해 오도될 수 있습니다. 텍스트 이벤트(실적 발표, 뉴스 속보) 주변의 시장 미시구조는 이론적 알파를 잠식하는 역선택과 슬리피지를 야기할 수 있습니다. 그리고 규제 변화에 따른 보다 신중한 기업 커뮤니케이션으로의 전환과 같은 언어 패턴의 레짐 변화는 모형 저하를 초래할 수 있습니다.

프론티어: 멀티모달 및 실시간 LLM 분석

퀀트 금융에서 NLP의 현재 프론티어는 세 가지 발전을 포함합니다. 첫째, 텍스트를 다른 데이터 유형과 결합하는 멀티모달 분석입니다. 실적 발표의 음성 특성(성대 스트레스, 발화 속도), 자연어로 기술된 위성 이미지, 재무제표의 정형 데이터가 이에 해당합니다. 둘째, 속보, 규제 공시, 소셜 미디어 게시물을 발행 수 초 내에 처리할 수 있는 실시간 LLM 기반 분석이며, 더 느린 인간 주도 프로세스가 반응하기 전에 실행 가능한 트레이딩 신호를 생성합니다. 셋째, 감성 점수 매김뿐 아니라 비정형 텍스트에서 정형 정보를 추출하기 위한 LLM의 활용입니다. 공급망 관계 식별, 기업 네트워크 매핑, 공시 언어에서의 규제 위험 탐지가 이에 포함됩니다.

이러한 발전은 퀀트 트레이딩에서 NLP의 역할이 계속 확대될 것임을 시사하지만, 근본적인 도전은 변하지 않습니다. 텍스트 기반 신호는 텍스트가 읽히고 행동하기 위해 설계되었기 때문에 본질적으로 단기적입니다. NLP 감성 분석의 알파는 공개된 정보 자체가 아니라, 그것을 추출하고 정량화하며 거래하는 속도와 정확도에서 나옵니다.