내일 주가 방향은 왜 맞히기 어려운가 — 세 번 재 본 결과

이 서비스는 종목마다 다음 날과 열흘 뒤의 가격을 예측하는 모델을 돌립니다. 그리고 그 예측이 맞았는지 매일 채점해 공개합니다. 채점 결과를 요약하면 이렇습니다. 다음 날 오를지 내릴지를 맞히는 능력은 무작위와 구분되지 않습니다.

처음에는 모델이 부족해서라고 생각했습니다. 그래서 가설을 세우고 직접 재 보았습니다.

기존 모델은 종목마다 따로 학습합니다. 한 종목의 일봉은 3년치라도 700개 남짓입니다. 복잡한 패턴을 배우기에는 턱없이 적습니다. 그렇다면 200개 종목의 데이터를 한데 모아 하나의 모델을 학습시키면 어떨까요. 표본이 200배로 늘어납니다.

여기에 종목 하나만 봐서는 알 수 없는 정보도 추가했습니다. 시장 대비 얼마나 강한지, 같은 업종 안에서 몇 등인지, 모멘텀과 변동성이 전체 종목 중 어느 위치인지입니다.

기존 방식 (종목별 학습, 표본 약 700)

49.60%

200종목 통합 학습 (표본 144,080)

49.56%

통합 학습 + 종목 간 비교 정보

49.66%

표본을 206배로 늘려도, 새로운 종류의 정보를 넣어도 세 결과 모두 50% 아래였고 서로 구분되지 않았습니다. 그 이전에 했던 별도의 검증(예측대로 매매했을 때의 위험 대비 수익이 모델 0.74, 무작위 0.73)까지 합치면 독립된 측정 세 번이 같은 답을 냈습니다.

이런 실험은 조금만 부주의하면 "성공"하기 쉽습니다. 실제로 조심한 것들입니다.

날짜로 자른다

학습과 검증을 종목 기준으로 나누면, 검증 종목과 같은 날의 다른 종목이 학습에 들어갑니다. 같은 날 종목들은 함께 움직이므로 모델은 사실상 답을 미리 본 셈이 됩니다. 반드시 날짜 기준으로 앞은 학습, 뒤는 검증으로 자릅니다.

유의성은 날짜 단위로 잰다

14만 건을 독립된 표본으로 세면 50.3%도 "통계적으로 매우 유의"하게 나옵니다. 하지만 같은 날의 예측들은 서로 묶여 있습니다. 하루의 적중률을 하나의 관측으로 보면 표본은 수백 개로 줄고, 유의해 보이던 결과는 사라집니다.

움직이지 않는 종목을 뺀다

거래가 거의 없어 가격이 그대로인 날이 많은 종목은 "변동 없음"을 맞히는 것만으로 적중률이 올라갑니다. 한 종목은 750일 중 46%가 무변동이었습니다.

이유는 단순합니다. 다음 날 방향을 알려 주는 공개 정보가 있다면, 그것을 먼저 본 누군가가 이미 그 방향으로 매매했고 그 결과가 오늘 가격에 들어 있습니다. 일봉 가격과 거래량에서 계산한 지표는 누구나 볼 수 있는 가장 흔한 정보입니다. 거기서 하루짜리 우위가 남아 있기를 기대하기는 어렵습니다.

그렇다고 가격이 완전히 무작위라는 뜻은 아닙니다. 알려진 예외들이 있습니다.

• 변동성은 뭉쳐서 나타납니다. 크게 움직인 날 다음에는 크게 움직일 가능성이 높습니다. 방향은 몰라도 크기는 어느 정도 예측됩니다.
• 긴 구간의 상대 강도. 지난 1년간 강했던 종목들이 다음 한 달도 상대적으로 강한 경향은 여러 시장에서 보고되었습니다. 이 서비스의 자체 측정에서도 부호는 기대한 방향이었지만, 4년치 데이터로는 통계적으로 확정할 수 없었습니다. 이런 효과를 확정하려면 10년 단위의 표본이 필요합니다.

"12일 모멘텀으로 내일을 맞히지 못했다"는 결과가 "모멘텀은 통하지 않는다"를 뜻하지는 않습니다. 잰 것은 하루짜리 방향이었습니다. 결론의 범위는 실험의 범위를 넘지 못합니다.

이 결과를 받아들인 뒤 이 서비스의 예측은 방향이 아니라 범위를 보여 주는 쪽으로 바뀌었습니다. 예측 차트의 중심선보다 그 주위의 띠가 중요합니다. 띠는 "앞으로 열흘 동안 가격이 이 범위 안에 있을 확률이 80%"라는 식의 진술이고, 이것은 변동성 예측에서 나오므로 실제로 검증할 수 있습니다.

• 손절선이 80% 띠 안쪽에 있다면, 아무 일이 없어도 그 손절선은 자주 닿습니다.
• 목표가가 95% 띠 바깥에 있다면, 그 기간 안에 도달할 가능성은 낮습니다.
• 띠가 갑자기 넓어졌다면 최근 변동성이 커졌다는 뜻이고, 같은 금액을 걸어도 위험이 커진 것입니다.

방향 예측의 성적은 지금도 매일 채점되어 성적표 화면에 공개됩니다. "항상 상승이라고 찍는 전략"과 "항상 하락이라고 찍는 전략"을 비교 기준으로 나란히 놓습니다. 모델이 그 둘을 이기지 못하는 기간에는 그렇게 표시됩니다.

1. 적중률을 몇 건으로 쟀는지 묻습니다. 100건 미만이면 의미가 없습니다.
2. 비교 기준이 있는지 묻습니다. 상승장에서는 "항상 상승"만 외쳐도 55%를 맞힙니다.
3. 예측이 사전에 기록되었는지 묻습니다. 지나간 뒤에 고른 사례는 증거가 아닙니다.
4. 틀린 예측도 공개하는지 봅니다. 맞힌 것만 보여 준다면 그것은 성적이 아니라 홍보입니다.