【รอบที่ 13】การทดสอบย้อนหลังจะพังเมื่อ “ทำให้ดีเกินไป”
เมื่อปรับปรุงตรรกะ จะมีช่วงเวลาที่น่าประหลาดใจ
เพียงเพิ่มเงื่อนไขเดียว ผลการทดสอบย้อนหลังกลับดีขึ้นอย่างมาก
อัตราการชนะสูงขึ้น
การลดลงของ drawdown
กราฟกำไรขาดทุนก็จะมีทิศทางขวาขึ้นที่สวยงามยิ่งขึ้น
ดูเผินๆ แล้วเป็นความสำเร็จอย่างมาก
แต่เมื่อฉันตรวจสอบด้วยข้อมูลดอลลาร์/เยน 22 ปี ฉันจึงระมัดระวังผลลัพธ์เหล่านี้มาก
ฉันสงสัยตรรกะที่ผลลัพธ์ดีเกินไป
การทดสอบย้อนหลังเป็นการต่อสู้กับ “อดีต”
มีสิ่งที่ไม่ควรลืมตรงนี้
สิ่งที่การทดสอบย้อนหลังเห็นไม่ได้คือ อนาคต
เป็นกราฟราคาในอดีต
ด้วยเหตุนี้ ยิ่งเพิ่มเงื่อนไขมากเท่าไร ก็ยิ่งทำให้ค่าผลตอบแทนสอดคล้องกับการเคลื่อนไหวในอดีตมากขึ้นเท่านั้น
จริงๆ แล้ว หากดูเฉพาะในอดีต ก็สามารถปรับค่าตัวเลขให้เรียงได้เรื่อยๆ
อย่างไรก็ดี การปรับปรุงนั่นไม่ได้หมายความว่าจะใช้ได้ในอนาคตเสมอไป
“การปรับปรุง” กับ “การสอดคล้องกับอดีต” ไม่ใช่สิ่งเดียวกัน
เมื่อฉันสร้างตรรกะ หลังจากเพิ่มเงื่อนไข ฉันจะถามตัวเองเสมอ
“นี่เป็นการปรับปรุงจริงหรือไม่”
หรือว่า
“เป็นการสอดคล้องกับภาพในอดีตเท่านั้น”
ความต่างนี้มีความสำคัญมาก
เพราะตรรกะที่ปรับให้เหมาะกับอดีตเท่านั้น อาจทำให้คาดหวังผิดเพียงแค่เปลี่ยนสภาพตลาดเล็กน้อย
ตัวเลขดูดีภายนอก แต่มักขาด “ความเหลือเฟือสำหรับอนาคต” ที่ซ่อนอยู่ด้านหลัง