성적 좋은 전략만 쓰면 생기는 일 — 탐색과 활용

이 서비스의 자동매매에는 여러 전략이 있습니다. 추세 추종, 스윙, 돌파, 눌림목, 가치 등입니다. 어떤 전략을 쓸지는 봇이 고르는데, 처음에는 백테스트에서 나온 기대값 순서대로 골랐습니다. 그런데 백테스트 값은 고정된 상수라서 순위가 영원히 같았습니다. 그래서 실제 거래 성적으로 순위를 갱신하도록 바꿨습니다. 실전에서 잘 되는 전략을 더 쓰고, 안 되는 전략을 덜 쓴다. 합리적으로 들립니다.

몇 주 뒤 기록을 보니 이랬습니다.

30일 동안의 매수

86건

그중 추세 추종 전략

79건

최근 5일의 매수

전부 추세 추종

다른 전략들의 실현 표본

0건

원리는 이렇습니다. 순위 1위인 가치 전략은 밸류에이션 조건에 걸려 대부분 탈락합니다. 그러면 2위인 추세 추종이 선택됩니다. 추세 추종만 거래되니 추세 추종만 실현 성적이 쌓입니다. 다른 전략은 표본이 0이라 순위가 갱신될 재료가 없습니다. 실현 성적으로 순위를 바꾸는 장치를 만들었지만, 그 장치는 구조적으로 켜질 수 없었습니다.

이것은 잘 알려진 문제입니다. 슬롯머신이 여러 대 있고 기계마다 당첨 확률이 다른데 그 확률을 모릅니다. 지금까지 가장 잘 나온 기계만 당기는 것(활용)이 당장은 최선처럼 보입니다. 하지만 다른 기계를 충분히 당겨 보지 않았다면 그 판단은 근거가 약합니다. 가끔은 덜 좋아 보이는 기계를 당겨 보는 것(탐색)에 비용을 써야 합니다.

투자에서도 같습니다. 한 가지 방식으로 몇 번 성공한 사람은 그 방식만 반복합니다. 그 방식이 정말 우월한지, 그 시기에 우연히 맞았는지는 다른 방식과 비교해 본 적이 없어서 알 수 없습니다.

탐색을 넣기 전에 고칠 것이 있었습니다. 실현 성적을 어떻게 읽느냐입니다.

평균 대신 중앙값

거래 십수 건의 평균은 큰 거래 하나로 정해집니다. 같은 전략의 성적이 한 계좌에서는 평균 +0.09R에 중앙값 +0.76R, 다른 자료에서는 평균 +0.53R에 중앙값 −0.52R이었습니다. 평균과 중앙값의 부호가 반대입니다. 전략을 고르는 기준으로는 중앙값이 덜 흔들립니다.

절벽 대신 축소

처음 규칙은 "표본 30건 이상이면 실현 성적, 미만이면 백테스트 값"이었습니다. 29건과 30건 사이에서 순위가 한꺼번에 뒤집힙니다. 지금은 표본 수에 비례해 섞습니다. 실현 성적의 비중을 n ÷ (n + 30) 으로 두면 5건일 때 14%, 30건일 때 50%, 100건일 때 77%가 됩니다.

한계 표본이 적을 때는 사전 지식(백테스트)을 믿고, 쌓일수록 실제 성적으로 옮겨 갑니다. 30이라는 상수도 가정이지만, 절벽보다는 덜 해롭습니다.

오염된 표본 제외

가격 데이터 사고로 세 종목이 같은 가격 1.85달러에 매수된 것으로 기록된 적이 있습니다. 그 거래의 성적은 +480%, 68R로 계산되었습니다. 이런 표본 하나가 평균을 지배합니다. 성적 화면은 이미 이것을 걸러 내고 있었는데, 전략을 고르는 경로만 거르지 않고 있었습니다.

오염은 매수 기록에 있고 성적은 매도 기록에 붙습니다. 매도 기록만 검사하면 하나도 걸러지지 않습니다. 잘못된 진입가가 어느 청산에 쓰였는지를 따라가야 합니다.

탐색은 위험을 늘리는 방향으로 넣으면 안 됩니다. 이 서비스가 정한 규칙입니다.

• 매수 네 건마다 한 번, 표본이 10건 미만인 전략에게 차례를 줍니다.
• 탐색 대상은 모든 안전 조건을 통과한 후보 중에서만 고릅니다. 시장 국면, 기대값, 리스크 계량, 밸류에이션 조건을 그대로 거칩니다. 탐색은 "순위를 무시하는 것"이지 "규칙을 무시하는 것"이 아닙니다.
• 수량 계산과 손절·목표가 계획은 평소와 같습니다.
• 모든 전략의 표본이 10건을 채우면 저절로 멈춥니다.
• 차례를 셀 수 없으면(조회 실패) 탐색하지 않습니다.

이 규칙을 넣고 나흘 뒤 확인하니 탐색 매수가 0건이었습니다. 그 사이의 매수 18건은 여전히 전부 추세 추종이었습니다.

"네 건마다 한 번"을 오늘 낸 주문 수로 세고 있었기 때문입니다. 오늘의 네 번째 주문에 탐색 차례가 옵니다. 그런데 계정당 하루 매수는 한두 건이었습니다. 네 번째 주문이 오는 날이 없었습니다. 지금은 누적 체결 매수 수로 셉니다. 하루에 한 건씩 사더라도 나흘에 한 번은 반드시 차례가 옵니다.

장치를 만드는 것과 그 장치가 실제로 작동하는 것은 다른 일입니다. 새 규칙을 넣었으면 "이 규칙이 발동한 횟수"를 며칠 뒤에 세어 봐야 합니다. 0이라면 규칙이 필요 없었거나, 발동 조건이 현실과 맞지 않는 것입니다.

1. 한 가지 방식의 성공을 과신하지 않습니다. 열 번의 성공은 그 방식이 지난 몇 달의 시장에 맞았다는 뜻일 뿐, 다른 방식보다 낫다는 증거가 아닙니다.
2. 다른 방식은 작게 시험합니다. 탐색의 비용은 작아야 합니다. 새 방식에 평소의 절반 이하 금액으로, 같은 손절 규칙을 적용해 시도합니다.
3. 방식별로 따로 기록합니다. 모든 거래를 한 표에 섞으면 무엇이 통했는지 알 수 없습니다. 단기 매매와 장기 보유의 성적을 나눠 적습니다.
4. 몇 건으로 방식을 버리지 않습니다. 새 방식이 세 번 연속 실패했다고 버리면, 애초에 탐색하지 않은 것과 같습니다. 시작하기 전에 "몇 건까지 보겠다"를 정합니다.
5. 성적이 너무 좋은 거래는 기록부터 의심합니다. 한 건이 전체 수익의 대부분이라면 그 방식의 실력이 아니라 그 한 건의 이야기입니다.