주식의 자율주행 - 강화학습을 활용한 투자

 주식시장에서 정보의 불균형을 활용한 수법들은 쉽게 공개되지 않는다. 말 그대로, 정보의 불균형 자체가 수익을 낳기 때문에, 인터넷에서 해당 정보를 공개할 경우 불균형이 깨지면서 수익 창출이 어려워지기 때문이다. 

---

 그럼에도 불구하고, 세상에는 다양한 사람들이 있어서 그런 금쪽같은 정보들을 공개하는 사람들이 많다. 물론 개중에는 정보의 균형을 꾀하는 척하며 자신의 이익을 챙기는 사람들도 있다. 이번에 문제가 되었던, 아프리카 개인 방송을 통해 특정 암호화폐를 홍보하는 활동들이 이에 해당할 것이다. 

 

프로게이머들의 암호화폐 투자 홍보

 

 하지만 머신러닝을 활용한 투자의 경우, 학계에서 활발하게 투자법에 대한 논문을 발표하기도 한다. 말 그대로, 금쪽같은 정보들의 공개인 셈이다. "정보의 불균형을 깨뜨리지 말라" 라는 투자업계의 불문율을 비웃기라도 하듯, 이런 논문들이 쏟아지는 까닭은, 논문으로의 유입이 잘 되기 때문이다. 정보에 민감한 투자업계 사람들이 해당 논문을 읽지 않을리가 없고, 그만큼 논문의 작성자는 유명해진다. 

 

 강화학습에 대해 공부했던 내용이 서서히 흐릿해져가는 것을 느끼며, 다른 방식으로라도 공부를 이어나가야겠다 마음을 먹었다. 그리고 찾아낸 "다른 방식"이 투자를 공부하는 것이었다. 논문을 찾아가며 강화학습 활용 투자를 공부한 내용을 글로 정리해 보았다.

---

Columbia University 통계학과, 전기과 학생들이 쓴 논문

 처음으로 찾아낸 논문은, Ensemble Strategy를 활용한 강화학습 기반 투자법에 관련한 것이다. 강화학습에도 상당히 다양한 종류가 있다. 하나만 쓰기 아쉬우니, 모두 섞어서 조금씩 써보자~ 하는 것이 Ensemble Strategy의 핵심이다. 달걀을 여러 바구니에 나눠 담는다는 뜻인데, 잘은 모르지만 그만큼 효율은 떨어질 수 있을 것이다. 

 

 

 Ensemble Strategy의 후보군 안에 들어간 강화학습 방법들은 PPO, A2C, DDPG인데, 현재 강화학습에서 가장 성능이 좋은 알고리즘만 모아놨다고 봐도 무방하다. 강화학습이 이뤄지는 방식은 자율주행과 동일하다고 생각하면 편하다. 테슬라 자동차가 장애물이 나타났을 때 핸들을 어떻게 꺾어야하는지 결정하는 것처럼, 주가 / 종목별 비율 / 총 재고 등과 같은 상황이 변함에 따라 주식을 사야 하는지 팔아야 하는지 결정하는 것이다.

학습 결과

 

 학습 결과를 보면 PPO의 총 수익률이 제일 좋고, 그 다음이 Ensemble method를 활용한 방식이다. 그렇담 굳이 Ensemble method를 활용할 필요가 있을까 싶지만, Sharpe Ratio를 보면 ensemble method가 좀 더 우월한 전략이다. Sharpe Ratio란, 투자 대상의 표준편차 대비 수익률을 나타낸 것인데, 쉽게 말해 동일한 수익률을 얻는 것에 어떤 방식이 더 안전한 것인지 비교할 수 있는 지표이다.

 

---

S&P 500의 5년 수익률 (103%)

DJIA의 5년 수익률 (91.84%)

 해당 논문의 한계라고 한다면, 그냥 시장 ETF에 비해서 그다지 뛰어난 수익률을 보이지 못했다는 점이다. 비교 대상으로 쓴 DJIA (다우존스 산업평균지수)는 38%의 수익률을 보이는데 그쳤다고 나와있지만, 코로나로 시장이 바닥을 치기 전까지는 얼추 비슷한 수익률을 보이고 있음을 알 수 있다. 게다가 코로나 쇼크가 끝나고 주식 호황이 찾아온 지금, DJIA는 91%가 넘는 수익률을 보이고 있다. 다른 시장 지표인 S&P500는 한술 더 떠서 103% 이다. 논문에서 거래비용을 고려했다고는 하지만, 단순히 DJIA와 S&P 500을 붙들고만 있어도 그럭저럭 괜찮다는 말이 된다.

 

 하지만 반대로 말하자면, 코로나 같은 대 위기에 빠지더라도 주식 수익률을 선방해냈다는 의미도 될 수 있으므로 그렇게 나쁜 투자 방식은 아닐 것 같다. 좀 더 재미를 위해서는 한 달 간의 수익률 비교 같은 자극적인 방식을 사용했더라도 괜찮았을 거라는 생각이 든다.

---

 이 방식을 실제 개발해보고 투자한다면 강화학습 공부에 아주 좋은 소스가 될 것 같은데, 쉽사리 시작하지를 못하겠다. 나를 기다리는 수많은 시행착오가 내 발목을 붙잡는다. 좀 더 찾아보고 한결 쉬운 방식이 있다면 그 방식을 택해서 공부해봐야겠다.