เรื่องราวที่ลองมา 89 วิธีและ "ดีที่สุด" ที่หายไป 80% ในระหว่างช่วงการทดสอบ

การทดสอบย้อนกลับมีแนวโน้มสูงขึ้นในขณะที่ฟอเวิร์ดกลับไม่เป็นเช่นนั้นเสมอ นี่คือปรากฏการณ์ที่พบซ้ำๆ เมื่อทำการตรวจสอบ EA

นี่ไม่ใช่“ฟอเวิร์ดผิดปกติ” แต่ในกรณีส่วนใหญ่ตัวเลขในการทดสอบย้อนกลับมีโครงสร้างสูงกว่าหากคิดตามความเป็นจริง จะสอดคล้องกับตัวอย่างการตรวจสอบที่มีอยู่ของเรา เราได้วัดขนาดของมันจากตัวอย่างที่อยู่ในมือ

การทดลอง

ใช้กลยุทธ์ครอสค่าเฉลี่ยเคลื่อนที่ โดยทำตามขั้นตอนง่ายๆ คู่สกุลเงิน USDJPY รายวัน ปี 2020–2023

1. รวมชุดค่าผสมระยะสั้น-ระยะยาว89 ชุดเตรียมไว้
2. รันข้อมูลส่วนต้น (IS: ช่วงการเรียนรู้) ทั้งหมด แล้วเลือกการตั้งค่าที่ให้ผลงานดีที่สุด
3. นำการตั้งค่าที่ได้ไปใช้กับช่วงภายหลัง (OOS: ช่วงการทดสอบ)

OOS คือ “ข้อมูลหลังจากที่เลือกไว้” จึงถือเป็นการทดสอบฟอเวิร์ดเสมือนจริง

ผลลัพธ์

ประสิทธิภาพหายไปมากกว่า 80%

ตรรกะไม่เปลี่ยนแปลง ไม่ใช่เพราะตลาดเปลี่ยนแปลงอย่างฉับพลัน“เลือกสิ่งที่เหมาะสมที่สุดจาก 89 ชุด” คือการกระทำที่ทำให้เกิดความแตกต่างนี้

ทำไมแค่เลือกถึงลดลง

ยิ่งทดลองมากเท่าไร ก็ยิ่งมีแนวโน้มที่จะพบการตั้งค่าที่สอดคล้องกับข้อมูลในอดีตอย่างบังเอิญ นั่นคือการตั้งค่าที่ไม่ได้มีความได้เปรียบที่ทำซ้ำได้จริง แต่เป็นบังเอิญในช่วงเวลาหนึ่งเท่านั้น

ยิ่งจำนวนการทดลองมากขึ้น ความน่าจะเป็นที่คุณพบ“การตั้งค่าที่ดูเหมือนดีจากบังเอิญ” จะสูงขึ้น ในการพัฒนา EA จริงๆ จำนวนการทดลองสามารถมีหลายพันถึงหลายหมื่นครั้ง ในกรณีนั้น ความเบี่ยงเบนจากตัวอย่างนี้อาจใหญ่ขึ้นอีก

สิ่งสำคัญที่ต้องระวังคือไม่ใช่เรื่องที่จะกล่าวว่า “ตัวเลขในทดสอบย้อนกลับโกหก”แต่การคำนวณถูกต้อง เพียงแต่ไม่มีข้อมูลว่าตัวเลขนั้นมาจากกระบวนการเลือกจากกี่วิธี ทำให้ไม่สามารถแยกความสามารถจริงออกจากบังเอิญได้

ปัจจัยอื่นที่สร้างความแตกต่าง

นอกเหนือจากการโอเวอร์ฟิต ยังมีปัจจัยที่ทำงานในทิศทางเดียวกันอยู่

• ความแตกต่างของการตั้งค่าต้นทุน— สเปรดและ slippage ที่ถูกกว่าในสภาวะจริง จะทำให้การทดสอบย้อนกลับได้เปรียบมากขึ้น
• สภาพตลาดที่เปลี่ยนแปลง— หากช่วงการตรวจสอบมุ่งไปที่เทรนด์ ช่องทางที่เคลื่อนไหวในกรอบจะทำให้พื้นฐานผิดไป
• Look-ahead— ปัญหาซอฟต์แวร์ที่ใช้งานข้อมูลที่ไม่สามารถทราบได้ในขณะนั้น ทำให้การทดสอบย้อนกลับดูดีผิดปกติ

ทั้งหมดมีแนวโน้มไปในทิศทางที่การทดสอบย้อนกลับออกมาสูงกว่า

4 จุดที่ควรตรวจสอบในเอกสารการขาย

เมื่อพิจารณาแล้ว สิ่งที่ควรตรวจสอบเมื่อดูผลการตรวจสอบ EA คือดังนี้

1. มีผลงานฟอเวิร์ดหรือไม่— หากเป็นการทดสอบย้อนกลับเท่านั้น ให้บูรณาการส่วนต่างของการเบี่ยงเบนด้านบนเข้าไปในการอ่าน
2. ช่วงฟอเวิร์ดและจำนวนการทำธุรกรรม— 1–2 เดือนและไม่กี่สิบครั้งยังไม่พอที่จะเห็นบังเอิญ
3. ความต่างระหว่างการทดสอบย้อนกลับกับฟอเวิร์ด— ยิ่งต่างน้อยลง ยิ่งลดข้อสงสัยเรื่องการโอเวอร์ฟิต
4. จำนวนพารามิเตอร์ที่ลองหลายรูปแบบ— ยิ่งมีการทดลองมากเท่าไร “ดีที่สุด” ก็อธิบายด้วยความบังเอิญได้มากขึ้น

ฟอเวิร์ดมีระยะเวลาและจำนวนการเผยแพร่ที่เพียงพอ และความต่างจากการทดสอบย้อนกลับน้อย ผลการดำเนินงานเช่นนี้จะอ่านง่ายกว่ายตัวเลขสูงที่ไม่มีเงื่อนไข

เกี่ยวกับผู้เขียน

เราได้รวบรวมขั้นตอนการตรวจสอบข้างต้นไว้ในแบบฟอร์มตรวจสอบที่กรอกเองและแบบสอบถามผู้ขาย (6 คำถาม) ในรูปแบบ PDF ฟรี แจกจ่ายผ่าน GogoJungle

• EAขายหน้า ตรวจสอบ 5 นาที [ฟรี](0 เยน, A5, 8 หน้า)

วิธีการปรับค่าที่ล้มเหลวด้วยสถิติเกณฑ์ “Deflated Sharpe Ratio” และขั้นตอนการตรวจสอบ 89 ชุดในบทความนี้ มีให้ดูในเวอร์ชันที่มีค่าใช้จ่าย

• “Sharpe Ratio 4.51” สูงเกินไปหรือไม่?

ทั้งหมดเป็นมทัยให้ผู้เขียนทำเอกสาร PDF สื่อการสอน ไม่มีการระบุว่าซื้อ EA หรือสินค้าชิ้นใดเป็นการรับประกัน ผลการทดลองในเนื้อหานี้ออกแบบโดยใช้กลยุทธ์สมมติและตัวอย่างเพื่อการศึกษา โปรดตัดสินใจลงทุนด้วยความรับผิดชอบของคุณเอง