【มุมมองการพัฒนาของห้องปฏิบัติการ】การแยกวิเคราะห์-backtest 〜ภาพลวงด้านขาขึ้นและหุบเหวของกระสุนจริง「หุบเหวแห่งความตาย」〜
ในการพัฒนาการซื้อขายระบบและ EA (การซื้อขายอัตโนมัติ) พื้นที่การทดสอบที่เรา Semura Lab. แบ่งปันให้เห็น ส่วนใหญ่ของข้อมูลทดสอบที่ได้描くเส้น equity curve ที่เพิ่มขึ้นอย่างสวยงาม
อย่างไรก็ตาม เมื่อระบบที่ได้รับการเพิ่มประสิทธิภาพอย่างแม่นยำถูกนำไปสู่สภาพแวดล้อมจริงด้วยเงินทุนจริง (forward) ประสิทธิภาพจะลดลงอย่างรวดเร็วและตกลงสู่ ”หุบเหวแห่งความตาย” ซึ่งเป็นปรากฏการณ์ที่เกิดขึ้นบ่อยครั้ง
บันทึกการเดินทางครั้งนี้จะพิจารณาความจำกัดเชิงโครงสร้างของสภาพแวดล้อมการทดสอบจากมุมมองวิศวกรรม และบันทึกถึงความอ่อนไหวที่เกิดจากการปรับแต่งมากเกินไป และสถาปัตยกรรมการตรวจสอบที่เราใช้เพื่อ “ความอยู่รอด”
ความแตกต่างเชิงโครงสร้างระหว่างสภาพแวดล้อมการทดสอบและสภาพแวดล้อม forward
การทดสอบเป็นกระบวนการที่จำเป็นเพื่อยืนยันความเหนือกว่าของตรรกะ อย่างไรก็ตาม ในสภาพแวดล้อมจริงไม่มี“ภาระทางกายภาพ” ที่มีอยู่
ระหว่างสภาพแวดล้อมการทดสอบที่เป็น “ห้องปลอดเชื้อ” และสภาพแวดล้อมเงินทุนจริงที่เป็น “คลื่นลมรุนแรง” มีความแตกต่างของพารามิเตอร์ที่ชัดเจนดังต่อไปนี้
| รายการตรวจสอบ (ปัจจัยรบกวน) | สภาพแวดล้อมการทดสอบ (ห้องปลอดเชื้อ) | สภาพแวดล้อม forward เงินจริง (ความเป็นจริง) | ผลกระทบเชิงโครงสร้างต่อระบบ |
| การแปรผันของสเปรด | โดยทั่วไปคงที่ หรือ จำกัด | ขยายตัวอย่างฉับพลันเมื่อมีการประกาศข้อมูลชี้วัดหรือ rollover | การลดกำไรสุทธิในแต่ละเทรด (ส่วนได้ส่วนเสีย) โดยตรง |
| การสั่งซื้อ (สลippage) | ไม่มีความหน่วง เห็นราคาที่กำหนดโดยสมบูรณ์ | ความหน่วงในการสั่งซื้อและราคาที่ลื่นไหลตามสภาพคล่อง | ความเบี่ยงเบนเชิงลบจากค่าคาดหวัง และความล่าช้าของตรรกะ |
| ความผันผวน | จำกัดอยู่ในข้อมูลประวัติศาสตร์ที่ผ่านมา | การเบี่ยงเบนของสภาพคล่องที่ไม่สามารถทำนายได้จากผู้เข้าร่วมตลาดที่ยังไม่รู้จัก | การทำงานผิดพลาดของพารามิเตอร์ที่ overfit (drawdown) |
［รูปที่①：กราฟ equity curve ของการทดสอบหลังทดสอบที่สวยงามกับข้อมูลจริงที่ถูกลดค่า edge จากการลื่นไถลและการเปลี่ยนแปลงสเปรด］
เมื่อ noise ที่ถูกกำจัดออก (สเปรดหรือความล่าช้าในการสั่งซื้อ) ปรากฏในสภาพแวดล้อมจริง ความคิดฟุ้งเฟ้อของการเพิ่มขึ้นด้านขวาจะพังทลาย
“หุบเหวแห่งความตาย” ที่เกิดจากการ Curve Fitting
หากเพิ่มตัวแปรอินดicator และทำให้ระบบเหมาะกับข้อมูลในอดีต (curve fitting) การลด Drawdown ให้เหลือขั้นต่ำก็ทางคณิตศาสตร์ทำได้ง่าย
อย่างไรก็ตาม ระบบที่ปรับให้เข้ากับคลื่นรูปแบบเฉพาะในอดีตจะไม่มี “ช่องว่าง (ระดับการยอมรับ)” ต่อการเปลี่ยนแปลงของตลาดที่ไม่รู้จัก ส่งผลให้ผลทดสอบสวยงามยิ่งมากเท่าไร ก็ยิ่งเปราะบางต่อ noise เล็กๆ ในการใช้งานจริงและพังทลายได้
สถาปัตยกรรมที่รับประกันความทนทาน (Robustness)
ในการออกแบบกระบวนการของเรา Semura Lab. ผลทดสอบการทดสอบในเชิงถูกใจดูน่าประทับใจไม่ได้เป็นเป้าหมายสำคัญที่สุด สิ่งที่ต้องให้ความสำคัญสูงสุดคือความอยู่รอดในสภาพแวดล้อมจริงที่โหดหิน
Drawdown หรือการแพ้ติดต่อกันไม่ใช่บักที่ควรจะกำจัดออกไป แต่ควรถูกบรรจุไว้ในการออกแบบเริ่มต้น (สถาปัตยกรรม) เพื่อยอมรับ noise ในโครงสร้างตลาด
เปิดเผยข้อเท็จจริงที่ไม่สะดวก (ข้อมูลประจำปีที่ไม่เอื้ออำนวย ฯลฯ) และกำจัดกล่องดำ อันที่จริงเป็นการสกัดตรรกะเป็นเหตุผลทั้งหมดของแรงบีบตลาดและพยายามตรวจสอบต่อไปด้วย Walk Forward Analysis ในหุบเหวแห่งความตาย แม้จะเห็นว่าเต็มไปด้วยโคลน
แนวคิดการออกแบบโดยการลบนี้เองที่นำมาซึ่งความทนทานที่แท้จริง ไม่ใช่ภาพลวงตาสำหรับระบบ