백테스트 처음이라면,
수익률보다 먼저 볼 것들

백테스트를 처음 돌리면 수익률부터 눈에 들어온다.

나는 6주 동안 백테를 돌리며 내 코드가 틀린 걸 다섯 번 찾았다.

첫 백테 전에 어디부터 의심해야 하는지, 체크리스트는 끝에 정리했다.

백테스트는 예언이 아니라 검산이다

백테스트로 "이 룰이 앞으로도 통한다"를 증명할 수는 없다.

대신 내 코드가 내 룰대로 도는지는 알려준다.

학부 때 동역학과 물리학은 역대 최초 만점자였다.

비결은 검산이었다.

얼른 다 풀고 처음부터 싹 다시 풀다가 실수를 찾아 고친 적도 있다.

그렇게 만점을 맞았다.

백테도 똑같다.

연 30%가 나와도 처음부터 다시 따라가 봐야 한다.

목표는 좋은 숫자가 아니라 믿을 수 있는 숫자다.

아래는 주변에 퀀트 투자로 파이어(경제적 자유를 이루고 일찍 은퇴하는 것)한 분께 얻은 팁을 바탕으로 정리했다.

초보가 어디서 많이 틀리는지 짚어주셨다.

데이터부터 의심한다

증권사 API는 지금 상장된 종목만 준다.

그걸로 돌리면 살아남은 종목만 고르는 셈이다.

이걸 생존편향이라고 한다.

신고가 전략은 특히 심하다.

신고가를 찍다가 무너져 상폐된 종목이 꽤 많기 때문이다.

트레이딩 모임에서 알게 된 퀀트하시는 분께 물어봤더니 답은 딱 한 줄이었다.

"상폐 데이터는 꼭 넣으세요. 넣고 안 넣고랑 결과가 아예 다릅니다."

데이터에서 자주 틀리는 자리는 이렇다.

정리매매 땐 거래도 유동성도 보장되지 않으니, 첫날 시가 청산이 보수적이라고 장담할 순 없다.

신호와 체결은 다르다

종가로 확정한 신호를 쓰는 이번 백테스트에서는 다음 거래일 시가에 진입한다.

장중 돌파를 바로 사는 전략이라면 체결 방식이 달라진다.

스톱이 10,000원인데 시가가 9,000원에 열리면 9,000원에 팔린다.

그래서 장중 손절은 먼저 그날 손절이 났는지 판정하고, 체결가는 시가가 이미 스톱 아래면 시가, 아니면 스톱으로 둔다.

슬리피지와 거래정지는 따로 반영하고, 종가로 판정하는 청산 룰엔 이 가정을 그대로 쓸 수 없다.

연간 거래비용은 거래 횟수보다 계좌 대비 총 거래금액에 좌우된다.

매수와 매도를 한 쌍으로 센 1년 왕복 거래금액이 계좌의 10배이고 왕복 비용이 0.3%라면, 비용은 대략 계좌의 3%다.

결과는 점이 아니라 분포다

슬롯은 5개인데 신호가 12개 떴다면, 뭘 먼저 사느냐가 결과를 바꾼다.

같은 룰을 돌린 내 백테스트 결과는 이렇게 갈렸다.

"우리 전략은 연 9%"가 아니라 "연 6~11%, 중앙 9%"가 정직한 표현이다.

내가 겪은 사고

에러는 안 났고 숫자는 그럴싸했는데, 내 백테스트 코드엔 이런 버그가 숨어 있었다.

어떻게 찾았냐고?

다른 AI가 같은 룰을 새로 짜게 하고 날짜별 후보를 맞춰봤다.

처음엔 70%만 같았고, 12라운드 만에 99.5%가 됐다.

백테 코드는 자기가 짜고 자기가 검사하면, 틀린 자리를 거의 반드시 그냥 지나친다.

첫 백테스트 전 체크리스트

돌리기 전에 하나씩 확인해 본다.

첫 백테의 숫자는 거의 확실히 틀려 있다.

그걸 알고 돌리는 것과 모르고 돌리는 것의 차이가 결국 실전 계좌에 나타난다.