【รายงาน技術】เปรียบเทียบความแตกต่างในการทดสอบ forward ของตรรกะการ overfitting และตรรกะผ่าน WFA ── กลยุทธ์รอดชีวิตจากการออกแบบกระบวนการ

ระบบอัตโนมัติการซื้อขาย (EA) และกลยุทธ์แบบควอนทส์ในการดำเนินการ เผชิญกับความท้าทายที่ร้ายแรงและทั่วไปที่สุดคือ “ความแตกต่างระหว่าง backtest และ forward test” ในการตรวจสอบย้อนหลัง ระบบที่เคยพล็อตกราฟทรัพย์สินที่ขึ้นอย่างมีเสถียรภาพในช่วงเวลาที่ผ่านมามักถูกปรับปรุง drawdown ต่อเมื่อเริ่มใช้งานจริง ทำไมถึงเป็นเช่นนั้น

เรา Semura Lab. ในฐานะวิศวกรออกแบบกระบวนการในระบบการค้า ได้ออกแบบและวินิจฉ Structures ของระบบ เพื่อกำจัดความแตกต่างนี้อย่างถล่มทลาย ในรายงานฉบับนี้ จะอธิบายเชิงเทคนิคถึงสาเหตุที่ใหญ่ที่สุดของความแตกต่าง คือ “การเรียนรู้มากเกินไป (curve fitting)” และความแตกต่างของการกำจัดมันอย่างเป็นโครงสร้างด้วย “WFA (Walk-Forward Analysis)” โดยใช้ตารางเปรียบเทียบ

1. เปรียบเทียบแนวคิด: โมเดลการเรียนรู้มากเกินไป (overfitting) vs โมเดล WFA

ก่อนอื่น เราจะสรุปความแตกต่างในการจัดการข้อมูลในกระบวนการพัฒนา โดยทั่วไป นักพัฒนาจับต้องกับวิธีการเรียนรู้มากเกินไป ในขณะที่แนวทาง WFA ที่เรา Lab ใช้เป็นบรรทัดฐาน จะมีพื้นฐานกระบวนการออกแบบที่ต่างออกไป

โมเดลการเรียนรู้มากเกินไปเปรียบได้กับการท่องจำข้อสอบในอดีตเฉพาะหน้า ในขณะที่โมเดล WFA จะต้องการให้ระบบสามารถค้นหากฎจากแนวโน้มในอดีตและมีความสามารถในการแก้ปัญหาที่เจอใหม่ (ตลาดที่ไม่รู้จัก) ได้

2. โครงสร้างความแตกต่างของการทดสอบ Forward

ต่อไปนี้จะแสดงถึงความแตกต่างด้านประสิทธิภาพที่จะเกิดขึ้นเมื่อทั้งสองแบบเริ่มใช้งานจริง (Forward test) พร้อมกับโครงสร้างที่ทำให้เกิดความแตกต่าง

เหตุผลที่ระบบที่เรียนรู้มากเกินไปจะถูกปรับเข้าไปในโน้ตราเป็นเสน่ห์ของเสียง โน้าตาของข้อมูลที่ไม่เกี่ยวข้องอย่างมากจนทำให้เกิดความคลาดเคลื่อนในตลาดจริงเป็นอันตรายอย่างยิ่ง ในทางกลับกัน ลอจิกที่ผ่าน WFA ผ่านการทดสอบมาก่อนจะเป็นตัวอย่างที่ผ่านการทดสอบความทนทานต่อข้อมูลที่ไม่เคยเห็นมาก่อน (Out of Sample) ทำให้ความแตกต่างใน forward ถูกควบคุมอย่างสูงสุด

3. มุมมองของวิศวกรการออกแบบกระบวนการ: ความเป็นเหตุเป็นผลแบบสมบูรณ์ (完全因果)

เพื่อให้ WFA ทำงานอย่างถูกต้อง เงื่อนไขพื้นฐานคือระบบต้องรักษากฎทางกายภาพของ “เหตุเป็นเหตุผลอย่างสมบูรณ์” ให้ได้

เมื่อระบบตัดสินใจ หากมีข้อมูลในอนาคต (Look-ahead bias) อยู่แม้แต่นิดเดียว เช่น ปลายทางที่ยังไม่ยืนยัน ความทดสอบ WFA ทั้งหมดจะกลายเป็นภาพลวงต ผลงานทุกขั้นตอน ตั้งแต่การเข้าออเดอร์ การปิดออเดอร์ และการปรับตัว sizing ต้องมีกระบวนการออกแบบที่เข้มงวดว่า ใช้ข้อมูลในอดีตที่แน่ชัด ณ เวลา (T-1 หรือก่อนหน้า) เท่านั้นในการคำนวณ

สรุป: เลิกฝันและเลือกความทนทาน

ผู้อ่าน Investment Navigator ทุกท่าน เมื่อพิจารณาเลือกระบบ อย่ามองแค่ “กำไรที่มากในอดีต” จงดูว่า “ระบบนั้นถูกประเมินอย่างไรกับข้อมูลที่ไม่เคยเห็นมาก่อน (มี WFA หรือไม่)” และ“ข้อจำกัดที่ทำให้ระบบไม่ล้มเหลว (หลักเหตุและการบริหารเงิน) ถูกออกแบบไว้หรือไม่”

Semura Lab. ไม่เคยเชื่อถือความพุ่งขึ้นอย่างเป็นธรรมชาติอย่างง่ายดาย ในฐานะวิศวกรออกแบบกระบวนการ เราจะยังคงสื่อสารถึงโครงสร้างและหลักฐานการตรวจสอบของ “ระบบที่จริงจังและทนทานในตลาดจริง” ต่อไปอย่างสม่ำเสมอ