퀀트 투자에서의 머신러닝: 진정한 엣지인가, 과적합인가?

너무 많이 알아버린 알고리즘

2017년, 한 유명 시스템 헤지펀드가 15억 달러의 자본금과 최고 기술 기업에서 영입한 머신러닝 박사급 인력, 그리고 저절로 완성되는 투자 제안서를 앞세워 출범했습니다. 딥 뉴럴 네트워크가 기존 퀀트 모델로는 포착할 수 없는 수익 예측 패턴을 발견하겠다는 것이었습니다. 18개월 만에 이 펀드는 자산의 3분의 1을 잃었습니다. 시장 폭락 때문이 아니라, 시장을 학습하는 대신 훈련 데이터를 암기해 버린 모델의 느린 출혈 때문이었습니다. 모델이 감지한 패턴은 허상이었습니다. 과거 데이터에서만 존재하고 실제 매매에 접촉하는 순간 사라지는 통계적 인공물이었습니다.

이 이야기는 특별한 사례가 아닙니다. 대부분의 업계 추정에 따르면, 2015년 이후 출시된 ML 기반 퀀트 펀드의 대다수가 폐쇄되었거나 벤치마크를 크게 하회했습니다. 그러나 자산 가격 결정에서 머신러닝에 대한 학술적 증거는 그 어느 때보다 강력합니다. Gu, Kelly, Xiu(2020)는 뉴럴 네트워크가 표본 외 R-제곱 0.40%로 개별 주식 수익률을 예측하고, 샤프 비율 1.8 이상의 롱-숏 포트폴리오를 생성할 수 있음을 입증했습니다. Kelly, Malamud, Zhou(2024)는 모델의 복잡성이 일반화의 적이 아니라, 신호 환경에 약한 예측 변수가 다수 포함된 경우 오히려 예측을 향상시킬 수 있음을 보여주었습니다.

이 두 가지 현실을 어떻게 조화시킬 수 있을까요? 답은 머신러닝이 투자에 효과가 있는지 여부에 있지 않습니다. 증거는 효과가 있다고 말합니다. 핵심은 ML이 진정한 신호를 포착한다는 사실을 아는 것과 노이즈에 과적합하지 않으면서 그것을 수행하는 시스템을 구축하는 것 사이의 깊은 간극에 있습니다. 이 구별이 현대 퀀트 금융의 핵심 과제입니다.

ML의 증거가 가장 강력한 영역

수익률 예측에서 머신러닝의 논거는 특정한 실증적 발견에 기반합니다. 주식 수익률은 수백 개의 특성 간 비선형 상호작용에 의해 결정되며, 이러한 상호작용은 시장 상황에 따라 변합니다. CAPM에서 파마-프렌치 5요인 모델에 이르는 전통적 선형 팩터 모델은 각 예측 변수를 독립적으로 처리하고 고정된 계수를 추정합니다. 1차 효과는 포착하지만, 추가 예측 내용을 담고 있는 조건부 구조는 놓칩니다.

Gu, Kelly, Xiu는 1957년부터 2016년까지의 전체 CRSP 데이터에서 900개 이상의 기업 수준 및 거시경제 예측 변수를 사용하여 모든 주요 ML 기법을 테스트했습니다. 3층 뉴럴 네트워크가 가장 높은 표본 외 R-제곱을 달성했으며, 최고의 선형 대안 대비 위험 조정 성과가 약 2배에 달하는 롱-숏 포트폴리오를 생성했습니다. 이 우위의 원천은 이국적인 알파가 아니라 조건부 팩터 상호작용이었습니다. 모멘텀은 고변동성 구간에서 안정적인 시장과 다르게 작동하고, 가치의 예측력은 경기 주기에 따라 변동하며, 유동성은 기업 규모와 고정 계수 모델로는 표현할 수 없는 방식으로 상호작용합니다.

이 발견은 독립적인 연구에 의해 확증되었습니다. Israel, Kelly, Moskowitz(2020)는 ML 기법이 완전히 새로운 예측 변수를 발견하는 것이 아니라, 비선형 상호작용을 모델링하는 능력을 통해 주로 가치를 더한다는 것을 확인했습니다. 가장 중요한 입력 변수인 모멘텀, 가치, 기업 규모, 수익성은 전통적인 팩터 투자가 수십 년 동안 식별해 온 것과 동일합니다. 머신러닝의 기여는 새로운 변수를 찾는 것이 아니라, 기존 변수가 조건부로 어떻게 상호작용하는지를 모델링하는 데 있습니다.

금융 ML에서의 과적합 문제

신호가 실재한다면, 왜 대부분의 ML 펀드가 실패할까요? 답은 금융 예측이 머신러닝에 극도로 적대적인 환경이며, 이미지 분류, 자연어 처리, 단백질 접힘에서 뛰어난 성과를 보이는 도구들이 수익률 예측에 적용될 때 질적으로 다른 도전에 직면한다는 것입니다.

미시적 신호, 막대한 노이즈

표본 외 R-제곱 0.40%는 개별 주식 수익률 변동의 99.6%가 예측 불가능한 노이즈임을 의미합니다. 컴퓨터 비전에서 잘 훈련된 모델은 95% 이상의 정확도로 이미지를 분류합니다. 자연어 처리에서 대형 언어 모델은 많은 벤치마크에서 인간 수준의 성과를 달성합니다. 금융에서는 문헌상 최고의 모델이 수익률 변동의 0.5%도 설명하지 못합니다. 이처럼 극도로 낮은 신호 대 잡음 비율은, 이를 방지하기 위한 특별한 주의를 기울이지 않으면 충분한 용량을 가진 모든 모델이 노이즈에서 패턴을 찾게 된다는 것을 의미합니다.

비정상성

금융 시장은 비정상적입니다. 데이터 생성 과정이 시간에 따라 변합니다. 변동성 체제가 전환되고, 위기 시 상관관계가 붕괴되며, 규제 변화가 시장 미시 구조를 변경하고, 다른 참여자들의 전략이 관찰된 패턴에 대응하여 진화합니다. 2010-2020년 데이터로 훈련된 모델은 2025년에 학습했던 것과 근본적으로 다른 시장에 직면합니다. 표준 ML 관행은 훈련 데이터와 테스트 데이터의 분포가 동일한 과정에서 추출된다고 가정하는데, 이 가정은 금융에서 일상적으로 위반됩니다.

적대적 역학

자연 현상과 달리, 금융 시장에는 여러분의 예측에 적극적으로 대항하는 참여자들이 존재합니다. 수익성 있는 ML 신호가 널리 알려지면 다른 트레이더들이 이를 활용하고, 쏠림 현상으로 거래 비용이 상승하며, 신호가 약화됩니다. McLean과 Pontiff(2016)는 발표된 학술 이상 현상이 연구가 공개된 후 수익 프리미엄의 약 4분의 1을 잃으며, 이후 데이터 마이닝으로 인한 추가 감소가 발생한다는 것을 기록했습니다. 백테스팅의 함정은 ML 영역으로 직접 확장됩니다. 과거 데이터에서 패턴을 감지한 모델은 실시간 시장에서 가장 빠르게 소멸하는 종류의 신호를 정확히 감지하고 있을 수 있습니다.

교차검증의 실패

기술적으로 가장 치명적인 문제는 ML 모델 평가의 초석인 표준 교차검증이 시계열 자기상관이 존재할 때 실패한다는 것입니다. 금융 시계열은 자기상관되어 있습니다. 오늘의 수익률은 내일에 대한 정보를 담고 있습니다. 표준 k-겹 교차검증은 데이터를 무작위로 훈련 세트와 검증 세트로 섞는데, 이는 검증 관측치와 시간적으로 인접한 훈련 관측치가 모델 평가에 미래 정보를 누출한다는 것을 의미합니다. k-겹 방식에서 일반화가 잘 되는 것처럼 보이는 모델은 진정한 표본 외 신호가 아니라 시간적 근접성을 이용하고 있을 수 있습니다.

López de Prado(2018)는 이를 대부분의 ML 펀드가 실패하는 10가지 이유 중 하나로 분류하며, 금융 업계가 금융과 비금융 예측 문제 간의 구조적 차이를 고려하지 않은 채 기술 기업의 ML 기법을 그대로 도입한다고 주장했습니다. 해결책은 검증 세트에 인접한 관측치를 훈련에서 제거하는 정제 및 금수 교차검증으로, 개념적으로 단순하지만 실무에서는 거의 적용되지 않습니다.

엄격한 ML 실무의 모습

실패한 ML 펀드와 학술적 증거 사이의 간극은 대부분 방법론의 간극입니다. 지속적인 ML 기반 알파를 달성하는 실무자들은 과적합하는 대다수와 구별되는 공통된 규율을 공유하는 경향이 있습니다.

정제된 워크포워드 검증

단일 보류 테스트 세트에서 모델 성과를 평가하는 대신, 엄격한 실무자들은 롤링 워크포워드 검증을 사용합니다. 모델은 시점 t까지의 데이터로 훈련되고, t+1부터 t+k까지의 데이터에서 테스트된 후 윈도우가 전진합니다. 결정적으로, 자기상관된 관측치로 인한 정보 누출을 방지하기 위해 훈련 기간과 테스트 기간 사이에 완충 기간(금수 기간)이 삽입됩니다. Arnott, Harvey, Markowitz(2019)는 이를 ML 시대를 위해 특별히 설계된 백테스팅 프로토콜로 공식화하며, 표준 훈련-테스트 분할이 체계적으로 성과를 과대 평가한다는 것을 입증했습니다.

경제적 사전 지식을 활용한 정규화

금융에서 가장 성공적인 ML 구현은 문제를 블랙박스로 취급하지 않습니다. 경제적 구조를 귀납적 편향으로 통합합니다. 원시 수익률 대신 팩터 모델 잔차를 타겟으로 사용하고, 알려진 위험 구조를 존중하도록 네트워크 아키텍처를 제약하며, 비현실적인 회전율을 요구하는 예측에 페널티를 부과합니다. 이 접근법은 ML을 금융 이론의 대체제가 아니라, 이론이 놓치는 비선형 잔차를 포착하는 도구로 취급합니다.

Israel, Kelly, Moskowitz는 금융에서의 ML 모델이 "경제 이론을 대체하는 것이 아니라 이론에 의해 안내되어야 한다"고 강조했습니다. 그들의 실험은 팩터 구조로 제약된 ML 모델이 표본 외 테스트에서 비제약 모델을 능가한다는 것을 보여주었으며, 이는 더 많은 유연성이 항상 더 낫다는 순진한 가정을 직접적으로 반박합니다.

현실적인 비용 모델링

ML이 식별한 알파의 상당 부분은 실행 비용이 가장 높은 소형주 및 비유동 증권에 존재합니다. 학술 문헌은 일반적으로 비용 차감 전 수익률을 보고합니다. 현실적인 거래 비용을 적용하면, 즉 평균 일일 거래량 대비 거래 규모에 비례하는 시장 충격을 포함하면, 소형주 ML 알파의 상당 부분이 증발합니다. 엄격한 실무자들은 비용 차감 후 성과를 평가하고, 포트폴리오 회전율 제약을 명시적으로 최적화하여 실행 가능한 전략을 위해 낮은 총 알파를 수용합니다.

다중 검정 보정

Harvey와 Liu(2021)는 겉보기에 유의미한 많은 ML 신호가 광범위한 사양 탐색의 인공물인 "행운의 팩터"임을 입증했습니다. 연구자가 수백 가지 모델 구성(네트워크 깊이, 학습률, 특성 부분 집합, 훈련 윈도우)을 시도하고 최상의 결과만 보고하면, 허위로 유의미한 신호를 발견할 확률이 극적으로 증가합니다. 디플레이티드 샤프 비율과 관련 보정은 평가된 총 구성 수를 조정하며, 엄격한 실무자들은 모델에 예측력이 있다고 선언하기 전에 이러한 조정을 적용합니다.

Bailey, Borwein, López de Prado, Zhu(2017)는 이 문제를 정밀하게 정량화하여, 백테스트 과적합의 확률이 테스트된 전략 변형 수에 따라 급격히 상승함을 보여주었습니다. 수백 가지 구성을 평가하는 전형적인 연구 파이프라인에서, 최고 성과 모델이 진정으로 양의 기대 수익률을 가질 확률은 표본 내 성과가 탁월해 보이더라도 50% 이하로 떨어질 수 있습니다.

복잡성의 역설

최근 ML 연구에서 가장 직관에 반하는 발견 중 하나는 횡단면 수익률 예측이라는 특정 영역에서 더 복잡한 모델이 더 나쁘게가 아니라 더 잘 일반화할 수 있다는 것입니다. Kelly, Malamud, Zhou는 훈련 관측치보다 훨씬 많은 파라미터를 가진 과매개변수화된 뉴럴 네트워크가 간결한 모델을 능가한다는 것을 입증했습니다. 이는 암묵적 정규화 메커니즘으로 작용하기 때문입니다. 경사 하강법이 찾는 최소 노름 해는 추정 위험을 많은 파라미터에 분산시켜, 단일 예측 변수가 지배하는 것을 방지하고 수백 개의 특성에 걸쳐 약하지만 진정한 신호를 집계할 수 있게 합니다.

이 "이중 하강" 현상은 모델을 단순하게 유지하라는 고전적 조언이 주식 수익률 예측이라는 특정 환경에서, 즉 신호가 진정으로 많은 약한 예측 변수에 분산되어 있는 환경에서 오히려 성과를 저해할 수 있음을 의미합니다. 그러나 이 결과는 특정 조건에서만 성립합니다. 모델이 적절한 정규화(명시적 또는 암묵적)로 훈련되고, 엄격한 표본 외 프로토콜로 검증되며, 현실적인 비용 가정으로 평가되어야 합니다. 복잡성은 과적합의 면허가 되는 것을 방지하는 규율이 동반될 때에만 미덕이 됩니다.

실무적 함의는 미묘합니다. 과적합에 대한 고전적 우려가 틀린 것이 아니라, 단지 불완전할 뿐입니다. 금융에서 위험은 복잡성 그 자체가 아니라 비규율적 복잡성입니다. 적절한 검증, 경제적 사전 지식, 비용 인식 평가라는 가드레일 없이 크고 유연한 모델이 바로 그것입니다.

ML 퀀트 전략 평가 방법

ML 기반 전략에 대한 배분을 고려하는 투자자에게, 연구는 구체적인 평가 프레임워크를 제시합니다.

첫째, 검증 방법론을 이해해야 합니다. 신뢰할 수 있는 모든 ML 전략은 금수 기간이 포함된 정제된 워크포워드 검증을 사용해야 합니다. 성과 기록이 단순한 80/20 훈련-테스트 분할에 기반한다면, 보고된 수치는 거의 확실히 과대 평가되어 있습니다. 훈련 데이터의 시계열 자기상관이 어떻게 처리되는지 구체적으로 질문해야 합니다.

둘째, 비용 차감 후 성과를 요구해야 합니다. 비유동 증권에서 빈번하게 거래하는 전략의 경우 총 샤프 비율은 무의미합니다. 관련 지표는 현실적인 매수-매도 스프레드, 실제 포트폴리오 규모에 비례한 시장 충격 추정치, 그리고 숏 포지션의 차입 비용을 차감한 후의 순 알파입니다. 총 1.8의 샤프 비율이 순 0.6이 될 수 있으며, 여전히 양수이지만 근본적으로 다른 제안이 됩니다.

셋째, 레짐 견고성을 검토해야 합니다. 추세 시장에서 뛰어난 성과를 보이지만 변동성 급등 시 붕괴되는 모델은 스트레스 기간에 반전되는 모멘텀 신호를 포착하고 있을 가능성이 높습니다. 진정한 ML 알파는 다양한 시장 환경에서 이진적인 온/오프 행동을 보이기보다 점진적으로 저하되어야 합니다. 변동성 체제, 시장 방향, 유동성 조건별로 분류된 성과 귀속을 요청해야 합니다.

넷째, 모델 해석 가능성에 대해 질문해야 합니다. 모델이 작동하기 위해 해석 가능성이 필수는 아니지만, 자신의 모델이 무엇을 포착하고 있는지 최소한 높은 수준에서라도 설명할 수 없는 팀은 모델이 언제, 왜 실패할지 이해하지 못하고 있을 수 있습니다. 최고의 ML 실무자들은 자신의 모델이 활용하는 경제적 메커니즘을 명확히 설명할 수 있습니다. 조건부 팩터 상호작용, 시변 위험 프리미엄, 또는 미시 구조 기반 신호가 그것입니다. 경제적 내러티브가 전혀 없는 순수한 블랙박스는 높은 수준의 회의를 받아 마땅합니다.

앞으로의 길

머신러닝은 투자에서 인간 판단의 종말도 아니고 보장된 우위도 아닙니다. 학술적 증거는 ML 기법이 횡단면 수익률에서 예측 신호를 진정으로 포착한다는 것을 확립합니다. 이 신호는 이국적인 새 변수가 아니라 조건부 비선형 팩터 상호작용에서 나옵니다. 그러나 이 학술적 발견과 수익성 있고 지속 가능한 투자 전략 사이의 거리는 막대합니다. 비정상적이고 시계열 자기상관이 있으며 적대적인 데이터를 위해 설계된 검증 방법, 모델이 노이즈에 적합하는 것을 방지하는 경제적 사전 지식, ML 알파의 비유동성 프리미엄을 인정하는 현실적인 비용 모델링, 그리고 모든 ML 연구 파이프라인에 내재된 다중 검정에 대한 정직한 회계가 필요합니다.

이 난관을 통과하는 펀드들은 실리콘밸리 데이터 사이언스 조직보다는, ML을 여러 도구 중 하나로 통합한 전통적 시스템 퀀트 기업에 더 가까운 모습을 보이는 경향이 있습니다. 그들은 뉴럴 네트워크를 사용하여 조건부 팩터 노출을 모델링하지만, 모델을 경제 이론에 기반합니다. 증거가 뒷받침하는 곳에서 복잡성을 수용하지만, 금융 외부의 대부분의 ML 실무자들이 과도하다고 여길 수준의 엄격함으로 검증합니다. 그들은 0.40%의 R-제곱이 반올림 오차가 아니라 진정한 성취임을 인정하고, 과잉 거래로 파괴하지 않으면서 그 얇은 우위에서 가치를 추출하는 인프라를 구축합니다.

문제는 머신러닝이 퀀트 투자에서 효과가 있느냐가 아닙니다. 증거는 효과가 있다고 말합니다. 문제는 구현이 0.40%의 신호를 99.6%의 노이즈에서 분리할 만큼 충분히 엄격한지, 그리고 시장이 진화하고 경쟁이 심화됨에 따라 그 엄격함이 유지될 수 있는지입니다.

이 글은 투자에서의 ML 응용에 관한 학술 연구를 검토합니다. 논의된 어떤 전략에 대한 투자 권고가 아닙니다. 모델링된 성과 지표는 특정 학술 연구 조건을 반영하며, 대부분의 개인 투자자에게는 재현이 불가능합니다.