무엇과 비교해야 하는가 — 벤치마크를 고르는 법

올해 수익률이 +12%입니다. 잘한 것일까요. 같은 기간 지수가 +25% 올랐다면 절반도 따라가지 못한 것이고, 지수가 −10%였다면 뛰어난 성적입니다. 예금 금리가 4%였다면 위험을 감수한 대가는 8%p입니다. 수익률이라는 숫자는 비교 대상이 있어야 성적이 됩니다.

그래서 모든 평가에는 벤치마크가 필요합니다. 문제는 벤치마크를 어떻게 고르느냐에 따라 같은 성적이 훌륭해 보이기도 하고 초라해 보이기도 한다는 것입니다. 이 서비스가 종목 발굴 기능의 성적을 채점하면서 겪은 일들이 좋은 예입니다.

발굴 기능은 수백 개 후보에서 조건을 통과한 종목을 추리고 점수를 매깁니다. 처음의 채점은 점수가 높은 종목의 수익률을 "그날 발굴된 종목 전체의 평균"과 비교했습니다. 점수가 의미 있는지를 보려는 의도였습니다.

이 비교에는 구조적인 맹점이 있습니다. 발굴의 가치는 두 단계에서 나옵니다. 수백 개에서 수십 개를 걸러 내는 단계, 그리고 그 안에서 순위를 매기는 단계입니다. 뽑힌 종목끼리 비교하면 두 번째 단계만 평가됩니다. 걸러 내는 단계가 훌륭해서 뽑힌 종목 전체가 시장을 이겼더라도, 그 공은 정의상 보이지 않습니다. 반대로 뽑힌 종목 전체가 시장보다 나빴더라도 그것 역시 보이지 않습니다.

지금은 같은 기간의 시장 지수(국내는 코스피, 미국은 S&P 500 ETF, 암호화폐는 비트코인) 대비 성적을 함께 냅니다. "점수가 높은 픽이 낮은 픽보다 나은가"와 "픽을 따라 사는 것이 지수를 사는 것보다 나은가"는 다른 질문이고, 사용자에게 중요한 것은 뒤쪽입니다.

같은 채점에서 국내 주식, 미국 주식, 암호화폐 픽이 하나의 기준 풀에 들어 있었습니다. 어느 날 0.001달러짜리 코인이 사흘 만에 +31,234%를 기록하자 그날의 기준 수익률이 +602%가 되었습니다. 같은 날의 국내·미국 주식 픽은 전부 "기준 대비 −300%p"로 표시되었습니다.

이것은 극단적인 경우이지만, 평소에도 같은 문제가 작게 일어나고 있었습니다. 암호화폐의 일상적인 변동은 주식의 서너 배입니다. 암호화폐가 크게 오른 날에는 주식 픽이 전부 못해 보이고, 크게 내린 날에는 전부 잘해 보입니다. 주식 픽의 평가가 주식과 무관한 요인에 흔들린 것입니다. 벤치마크는 같은 시장, 같은 통화, 같은 종류의 자산이어야 합니다.

픽 300건이 평균적으로 기준을 1%p 이겼고 통계적으로 유의하다고 나왔습니다. 그런데 그 300건은 30일에 걸쳐 하루 10건씩 나온 것입니다. 같은 날의 10종목은 그날의 시장을 함께 탑니다. 시장이 오른 날에는 10종목이 함께 좋고 내린 날에는 함께 나쁩니다. 이것은 300번의 독립된 실험이 아니라 30번에 가까운 실험입니다.

표본을 300으로 세면 통계적 유의성이 부풀려져, 없는 실력이 있는 것처럼 보입니다. 지금은 하루를 하나의 관측으로 묶은 유의성을 함께 냅니다. 대부분의 경우 이렇게 세면 유의성이 크게 줄어듭니다.

방향 예측

"항상 상승"이라고만 말하는 예측과 비교합니다. 상승장에서는 그것만으로 적중률 55~60%가 나옵니다. 적중률 57%인 모델이 "항상 상승"의 58%보다 낮다면 그 모델은 아무 정보도 더하지 못한 것입니다. 이 서비스의 모델 성적표는 "항상 상승"과 "항상 하락"을 나란히 보여 줍니다.

매매 전략

같은 횟수만큼 무작위로 진입한 결과와 비교합니다. 이 서비스의 시점 정합 백테스트에서 모델 기반 전략의 위험 조정 수익률은 0.74, 무작위 진입은 0.73이었습니다. 0.74만 보면 나쁘지 않은 숫자이지만 옆에 0.73을 놓으면 결론이 달라집니다.

한계 상승장에서는 무작위로 사도 돈을 법니다. 전략의 공이 아니라 시장의 공입니다.

개인 계좌

같은 기간에 지수 ETF를 사서 들고 있었을 때의 수익률. 입금과 출금이 있었다면 그 시점까지 맞춰야 공정합니다. 매매에 들인 시간과 스트레스까지 고려하면 기준은 더 높아집니다.

섹터·테마

그 섹터의 지수. 다만 어떤 방식으로 만든 지수인지 봐야 합니다. 이 서비스의 섹터 수익률은 종목들의 단순 평균(동일 가중)이라, 대형주 비중이 큰 시가총액 가중 지수와 값이 다릅니다. 화면에 그 차이를 적어 둡니다.

지수를 5%p 이겼더라도 그 과정에서 계좌가 한때 −40%였다면, 지수(−15%)보다 훨씬 큰 위험을 진 대가로 얻은 5%p입니다. 같은 위험을 지려면 지수를 빚내서 사도 됩니다. 비교는 위험을 맞춘 뒤에 해야 합니다.

• 최대 낙폭(MDD)을 함께 봅니다. 이 서비스의 모의투자 리그가 수익률이 아니라 낙폭 1%p당 수익률로 순위를 매기는 이유입니다.
• 변동성 대비 수익(샤프 비율)을 함께 봅니다.
• 기간을 맞춥니다. 내 최고의 석 달과 지수의 1년을 비교하지 않습니다.
• 비용과 세금을 뺀 뒤에 비교합니다. 지수 ETF는 매매 비용이 거의 없습니다.

벤치마크는 사전에 정해야 합니다. 결과를 본 뒤에 고르면 언제나 이길 수 있는 비교 대상이 하나쯤은 있습니다. 기술주 위주의 계좌가 나스닥보다 못했던 해에는 코스피와 비교하고, 코스피보다 못했던 해에는 예금 금리와 비교하는 식입니다. 펀드의 홍보 자료가 비교 지수를 슬쩍 바꾸는 것도 같은 일입니다.

이 서비스가 기존 통계를 고칠 때 옛 기준을 지우지 않고 새 기준을 옆에 덧붙이는 이유이기도 합니다. 기준을 갈아치우면 성적이 좋아진 것이 실력 때문인지 자를 바꿨기 때문인지 알 수 없게 됩니다.