승률 70%를 믿기 전에 — 표본 크기와 우연

어떤 전략의 승률이 70%라고 합시다. 이 숫자만으로는 아무것도 알 수 없습니다. 20번 중 14번 이긴 70%와 400번 중 280번 이긴 70%는 같은 글자이지만 담고 있는 정보의 양이 스무 배 다릅니다.

통계에서는 이 차이를 신뢰구간으로 나타냅니다. "관측된 승률이 70%일 때, 실제 실력이 있을 법한 범위"입니다. 95% 수준으로 계산하면 다음과 같습니다.

20건 중 14승 (70%)

실제 승률 48% ~ 85%

100건 중 70승 (70%)

실제 승률 60% ~ 78%

400건 중 280승 (70%)

실제 승률 65% ~ 74%

20건짜리 70%의 아래쪽 끝은 48%입니다. 즉 동전 던지기보다 못한 전략이 운 좋게 14번을 이겼을 가능성을 배제하지 못합니다. 400건이 되어야 비로소 "적어도 65%는 된다"고 말할 수 있습니다.

반대 방향에서도 확인할 수 있습니다. 실력이 전혀 없는 전략, 즉 승률이 정확히 50%인 동전 던지기를 20번 했을 때 14번 이상 앞면이 나올 확률은 약 5.8%입니다. 10번 던져 7번 이상 나올 확률은 17%나 됩니다.

5.8%는 작아 보이지만 함정이 있습니다. 전략을 하나만 시험하는 사람은 없습니다. 이동평균 기간을 바꿔 보고, 지표를 바꿔 보고, 종목군을 바꿔 봅니다. 스무 가지 규칙을 시험하면 그중 적어도 하나가 우연히 "5% 안쪽의 좋은 성적"을 낼 확률은 64%입니다. 그리고 사람은 바로 그 하나를 골라 "찾았다"고 말합니다.

규칙을 여러 개 시험한 뒤 가장 좋은 것을 고르면, 그 규칙의 성적은 항상 실제보다 좋아 보입니다. 고르는 행위 자체가 우연히 잘 나온 것을 뽑는 일이기 때문입니다.

이것은 교과서 이야기가 아닙니다. 이 서비스의 예측 모델에는 "과거에 방향을 얼마나 맞혔는가"를 재는 내부 점수가 있고, 그 점수가 모델 가중치와 신뢰도에 들어갑니다. 2026년 8월 점검에서 이 점수의 표본을 세어 보니 480일치 이력 중 실제로 집계에 남는 표본이 종목당 0건에서 4건이었습니다.

한 대형주는 네 번을 모두 맞혔다는 이유로 적중률 100%가 되어 가중치가 최대로 올라갔습니다. 하루치 데이터가 더해지자 그 값은 67%가 되었고, 또 하루 뒤에는 0%로 뒤집혔습니다. 모델이 달라진 것이 아니라 표본이 네 개였을 뿐입니다.

원인은 "모델이 자신 있어 한 날만 세는" 필터였습니다. 표본을 걸러 내는 조건을 없애자 표본은 465건으로 늘었고, 엿새 사이 점수의 변동폭은 66.67%p에서 2.58%p로 줄었습니다. 같은 필터는 또 다른 문제도 만들고 있었습니다. 자신 있는 날만 남기면 "정확도"가 아니라 "자신 있을 때의 정확도"를 재게 되어 숫자가 위로 치우칩니다. 한 종목에서는 56.8%로 보이던 값이 전체 표본으로는 52.3%였습니다.

정답은 "무엇을 구분하고 싶은가"에 달려 있습니다. 승률 55%와 50%를 구분하려면 수백 건이 필요하고, 70%와 50%를 구분하는 데는 수십 건이면 됩니다. 효과가 작을수록 표본이 많이 필요합니다. 그리고 시장에서 살아남는 우위는 대개 작습니다.

이 서비스는 화면마다 최소 표본을 정해 두고, 그에 못 미치면 판정하지 않습니다.

전략별 실현 성적으로 순위 갱신

전략당 왕복 30건

진입 게이트가 제 역할을 하는지 판정

20일 채점 30건

예측이 매매 성과에 기여하는지 판정

왕복 300건

실적 발표일의 평소 변동폭

과거 발표 4회 이상

리스크 추정(VaR·최대낙폭)

최소 3년 이력

표본이 모자란 화면은 0점이나 빈 카드가 아니라 "판정 불가"와 그 이유를 보여 줍니다. 0점은 "나쁘다"는 뜻이지 "모른다"는 뜻이 아니기 때문입니다.

같은 날의 표본은 독립이 아니다

하루에 200종목의 방향을 맞혔다면 표본이 200건처럼 보입니다. 하지만 같은 날 종목들은 시장을 따라 함께 움직입니다. 시장이 오른 날에는 "상승" 예측이 한꺼번에 맞습니다.

한계 이 서비스가 14만 건짜리 실험의 유의성을 날짜 단위로 다시 잰 이유입니다. 하루를 하나의 관측으로 보면 표본은 수백 개로 줄고, 터무니없이 커 보이던 통계량은 0 근처로 돌아옵니다.

쪼갤수록 칸은 약해진다

국면별·요일별·섹터별로 나눈 표는 읽기 좋습니다. 하지만 300건을 12칸으로 나누면 칸마다 25건입니다. 각 칸의 승률은 위에서 본 "20건짜리 70%"와 같은 처지가 됩니다.

복제된 표본

휴장일에는 직전 거래일의 값이 그대로 복사되어 저장되는 데이터가 많습니다. 이것을 걸러 내지 않으면 같은 사건을 두 번 세게 됩니다.

한계 이 서비스에서는 복제된 날을 채점에 넣는 바람에 하루치 예측 32건 중 30건이 "변동 0%"로 굳어 버린 적이 있습니다. 표본을 늘리는 것보다 가짜 표본을 빼는 것이 먼저입니다.