ทดสอบนอกตัวอย่าง เปิดเผยความได้เปรียบของ EA ที่ไม่เห็นในการทดสอบแบ็คเทสด้วยการทดสอบウォークフォワードテスト

------------------------------------------------

ความเห็นอกเห็นใจ 99.9%!

มังงะ FX ที่กำลังเป็นที่พูดถึงตอนนี้คืออะไร??

↓

อ่านเดี๋ยวนี้เลย!

------------------------------------------------

◆เริ่มต้น◆

EA ที่จำหน่ายมักมาพร้อมกับการทดสอบย้อนกลับ (backtest)

แต่การทดสอบย้อนกลับนี้เป็นเรื่องที่ซับซ้อนมาก

 

Backtest มันดูเหมือนเป็นการพิสูจน์ทางสถิติของความเหนือกว่าใช่ไหม แต่ความจริงแล้วมันไม่สามารถบอกถึงความเหนือกว่าของ EA ได้เพียงอย่างเดียว

 

การ Backtest ที่ EA สำหรับขายมักดูดีเป็นเรื่องปกติ…

และเราได้เขียนเรื่องราวคล้ายๆ กันไว้ในบทความอื่นแต่ฉันอยากเขียนบทความภาคต่อให้เสร็จสิ้น♪

 

ให้ระลึกไว้ว่าเส้นโค้ง Backtest ที่ขึ้นอย่างต่อเนื่องนั้นทำง่าย

「การ Backtest ใน EA ที่ขายดีเป็นเรื่องปกติ」

เราจะกล่าวซ้ำกันอีกหลายครั้ง

 

“EA ที่ไม่มีกลับทดสอบย้อนกลับด้วยซ้ำ”

แน่นอนว่าเป็นพลาดอย่างยิ่ง

 

แต่

การมี Backtest ที่ยอดเยี่ยจะไม่ใช่หลักฐานที่พิสูจน์ประสิทธิภาพของ EAก็เป็นความจริงด้วย

 

ทำไมถึงเป็นเช่นนั้น??

 

Backtest ที่ยอดเยี่ยงนี้อาจมีOverfittingซ่อนอยู่

ถ้า overfitting จะทำให้สามารถสร้างเส้น Backtest ที่ขึ้นมาดีๆ ได้โดยง่าย

 

อันนี้เป็นเรื่องที่เกี่ยวกับพัฒนาซอฟต์แวร์ แต่ในฐานะผู้ซื้อ EA คุณควรทราบด้วย

 

อย่างไรก็ตาม

「ใครๆ ก็ทำเส้น Backtest ที่ขึ้นลงได้」

โปรดจำไว้ว่าต้องพิจารณาไว้

 

「แล้ว Backtest เพื่ออะไร...」

 

อันนี้อาจกลายเป็นเรื่องจริงที่ต้องยอมรับ (＾＾；)

 

วิธีค้นหาความเหนือกว่าแท้จริงของ EA

งั้นมาคิดถึงวิธีที่ทำให้รู้ว่าความเหนือกว่าของ EA คืออะไร

Backtest ที่ดูปลอดภัยไม่ได้ใช่ไหมล่ะ?

 

จริงๆ แล้ว แม้จะมีเส้นโค้ง Backtest ที่น่าประทับใจ แต่ถ้า Forward test ไม่มีความสอดคล้อง ก็มี EA จำนวนมากที่ทำแบบนั้นและผู้คนถูกหลอกด้วย EA ตามทฤษฎีเท่านั้น

นั่นคือหลักฐานที่ดีที่สุด

 

แต่ยังมีวิธีค้นหาความเหนือกว่าที่แท้จริงของ EA

 

มันคือการทดสอบซ้ำซากอย่างเข้มงวด เช่น

• Out-of-sample test
• Walk-forward test

การดำเนินการ

 

แต่ทว่าการทดสอบเหล่านี้ทำได้ก็ต่อเมื่อโลจิกเปิดเผย ไม่ใช่เบล๊อกบ๊อกซ์ซึ่งมันเป็นเรื่องยาก (ฮา)

 

「เอะ—! ในเวลานั้น โลจิกยังเป็นเบล๊อกบ๊อกซ์ของ EA ที่ขายทั่วไปไม่สามารถหาความเหนือกว่าได้！」

ผู้คนส่วนใหญ่คงเห็นด้วยกับเรื่องนี้

・
・
・
・

ใช่ ถูกต้องตามนั้น (;・∀・)

 

เมื่อไม่รู้ว่าโลจิกทำงานอย่างไร เราจะมีข้อมูลชี้วัดความเหนือกว่าได้เพียงผลการใช้งานจริงเท่านั้น

EA ที่ใช้งานจริงใน Forward มีแนวโน้มเหนือกว่าพูดได้เลย

 

Forward เป็นการทดสอบ Out-of-sample เหมือนกัน

มาดูว่าเกิดอะไรขึ้นโดยละเอียดต่อไป

 

Out-of-sample test คืออะไร ??

ในการสร้างกลยุทธ์Out-of-sample testคือการทดสอบว่า parameter ที่ปรับให้เหมาะสมในช่วงหนึ่งจะใช้งานได้ในช่วงที่ไม่ใช่ช่วงการปรับปรุงนั้นหรือไม่เป็นวิธีที่ทดสอบความเสถียรและการสืบค้นได้จริง

สามารถทดสอบความมั่นคงและการทำซ้ำของกลยุทธ์ได้

 

ตัวอย่าง เช่น ใช้พารามิเตอร์ที่ปรับให้เหมาะสมระหว่างปี 2005-2015 มาทดสอบย้อนกลับในช่วงเวลาอื่น

ตามรูปบน ช่วงที่ปรับให้เหมาะสมเรียกว่า “ช่วงอินแซมป์ไพร์ม” และช่วงที่อยู่นอกช่วงปรับเรียกว่า “Out-of-sample period”

เป็นเรื่องปกติที่ช่วงอินแซมป์จะทำกำไรได้จริงไหม

 

ปัญหาคือ กลยุทธ์ที่ตัดสินใจในช่วงอินแซมป์จะใช้งานได้ในช่วง Out-of-sample หรือไม่

นั่นแหละ

 

Forward ที่ใช้งานจริงเป็น Out-of-sample test เหมือนกัน

EA ที่โชว์ Backtest ในช่วงขายจะถูกทดสอบใน Forward เพื่อดูว่ามีความสอดคล้องหรือไม่

 

ถ้า Forward test ไม่สอดคล้องกับผล Backtest จะทำให้ EA นั้นไม่เหมาะสม

 

Walk-forward test คืออะไร ??

Walk-forward test คือการทำ Out-of-sample test ซ้ำกันหลายรอบเพื่อดูความสอดคล้อง

 

Out-of-sample test จะกำหนดช่วงอินแซมป์และアウトオブサンプルช่วงให้ตามต้องการ แต่

“เลือกช่วงเวลาไหนดี?”

จึงเป็นเรื่องที่คิดมาก

 

ดังนั้น จึงทำการเลื่อนช่วงเวลาของทุกช่วงไปทีละนิดแล้วทำ Out-of-sample test ซ้ำหลายครั้ง

 

ตามรูปร่างบนการทำ Walk-forward test อย่างเข้มงวดต่อเนื่องกันจนเห็นความถี่ในการสืบค้นและความมั่นคงของกลยุทธ์

ทดสอบ Walk-forward ในทุกช่วงของ Backtest เพื่อดูเส้นอัตราผลตอบแทนรวมและต่อเนื่อง

และ EA ที่ผ่านคะแนนระดับหนึ่งจะน้อยมาก

 

Backtest เป็นคำตอบที่ดีที่สุด!

เส้น Backtest บอกว่า parameter ที่เหมาะที่สุดถูกค้นพบในช่วง Backtest ดังนั้นจึงควรมีแนวโน้มขึ้นอย่างต่อเนื่องซึ่งเป็นข้อบกพร่อง

มีข้อบกพร่องอยู่

 

แม้ว่าใช้ parameter ที่จำกัดมากและแม้จะผ่าน Forward Test แต่เส้น Backtest จะขึ้นได้ แต่ใน Walk-forward อาจไม่ใช่

อย่างไรก็ดี แม้ว่าจะมี PF สูง และสเปรดสูง หรือ drawdown ต่ำ และเส้นสวยงามก็เพียงเพราะเป็นคำตอบที่ดีที่สุดในช่วง Backtest ซึ่งอาจไม่ใช่อนาคต

 

 

• Out-of-sample test
• Walk-forward test

และที่เรียกการทดสอบซ้ำซ้อนอย่างเข้มงวดไม่ทำ EA ที่ไม่ทำการทดสอบเหล่านี้เสี่ยงมากใช่เลย!

 

การ Forward test ประมาณครึ่งปีไม่สามารถเชื่อถือได้

มักจะมี

「Forward ก็ทำกำไรได้แล้ว！」

EA ที่แนบข้อความแบบนี้มัก Forward ประมาณ 3 เดือนถึงครึ่งปี

 

ผลการ Forward ก็เป็นสิ่งสอดคล้องกับ Out-of-sample แต่การขึ้นของเส้นในครึ่งปีหรือมากกว่านั้นอาจเป็นเรื่องบังเอิญบ่อยเหมือนกัน (＾＾；)

ดังนั้น หากดู Forward ระยะเวลา ควรมีระยะเวลาการใช้งานอย่างน้อย 1 ปีขึ้นไปจะดีกว่า

 

3 ปีขึ้นไปจะทำให้มั่นใจมากขึ้น

ก้าวไปถึงตรงนั้นก็จะคัดกรองได้ค่อนข้างมาก

 

EA ที่ทำกำไรได้บนระยะเวลา 3 ปีขึ้นไปมีน้อย

ถ้ามี EA ที่น่าสนใจจริงๆ ก็ไม่ควรผูกมัดด้วยระยะเวลา 3 ปีมากจนเกินไป (＾＾；)

 

สิ่งที่คุณทำได้ในฐานะผู้เลือก EA

ในการคัดเลือก EA คุณอยากเลือก EA ที่มีความเหนือกว่าที่ยืนยาวอยู่แล้วใช่ไหม?

 

ดังนั้น

「ฝึกทักษะดู Backtest เพื่อเลือก EA ที่ดีขึ้นกัน!」

อันนี้ไม่ค่อยมีประโยชน์มากและเป็นเรื่องพื้นฐานที่คุณเห็นชัดเจนแล้ว

Backtest คือการรู้ลักษณะของ EA ได้ระดับหนึ่งเท่านั้น

ถึงอย่างนั้น การรู้คุณลักษณะก็ยังสำคัญ ดังนั้น Backtest ก็ยังมีความจำเป็นอยู่…

 

ดังนั้น ในฐานะผู้เลือก EA ที่โลจิกเป็นกล่องดำ สิ่งที่ทำได้คืออะไรบ้าง?

 

สิ่งที่มีประสิทธิภาพคือ

「ตั้งคำถามกับผู้สร้าง EA」

การตั้งคำถามเช่น

 

「คุณตรวจสอบการทำซ้ำโลจิกด้วย Walk-forward Test หรือไม่？」

เป็นการตั้งคำถามที่มีจุดประสงค์

 

หลายๆ นักพัฒนาจะไม่ตอบกลับมักจะเป็นเรื่องตลก (หัวเราะ)

 

「ผู้ถามน่ารำคาญ จะไม่ตอบกลับ！」

แบบนี้ใช่ไหม (＾＾；)

 

«ดำเนิน Walk-forward test และยืนยันความมั่นคง/การสืบค้นของโลจิก»

ถ้าเป็นจริง นั่นคือ EA ที่มีคุณค่า

 

แต่จะพูดว่า Walk-forward ทำแล้วหรือไม่ก็พูดได้ง่ายๆ และหากไม่ได้ทำเลยก็

「เราเห็นว่าการทดสอบดังกล่าวไม่จำเป็น」

หรืออะไรก็ตาม มันก็สามารถพูดได้

 

สรุปคือต้องดูว่าเป็นคนน่าไว้วางใจมากน้อยแค่ไหนใช่ไหม

 

ถ้ามีแหล่งสื่อที่เผยแพร่จากผู้สร้าง EA (บล็อกหรือจดหมายข่าว) ก็ควรอ่านเพื่อดูว่าเป็นคนที่คิดอย่างมีเหตุผลหรือไม่

 

EA ที่โลจิกเป็นกล่องดำส่วนใหญ่จะซ่อนพารามิเตอร์ที่เกี่ยวกับโลจิกไว้

ดังนั้น Out-of-sample test หรือ Walk-forward test จึงเป็นไปไม่ได้ ทำให้ฝั่งผู้ซื้อยากที่จะตรวจสอบความมั่นคง

 

ดังนั้นเพื่อหาความเหนือกว่าของ EA จึงต้องดู Forward สถานการณ์และเจตนาของผู้แต่ง

 

จริงๆ แล้วการใช้ EA ที่โลจิกเปิดเผยนั้นจะดีกว่า

แต่หากต้องใช้ EA ที่ขายทั่วไป ก็ไม่ได้เป็นไปได้ทั้งหมด ดังนั้นสุดท้ายคุณอาจต้องพัฒนาระบบโลจิกเองจะเร็วกว่า (＾＾；)

 

ระวังผู้ที่มีความเชี่ยวชาญเฉพาะด้านโปรแกรมมิ่ง

EA ประกอบด้วยโปรแกรม

 

因此 ผู้คนที่มาจากสายโปรแกรมมิ่ง

「ดูเหมือน EA จะทำกำไรได้」

มักจะมาเข้าวงการสตราเทจี้

 

อย่างไรก็ดี ความคิดของโปรแกรมเมอร์กับการพัฒนากลยุทธ์ไม่เหมือนกัน

 

คนทั่วไปกล่าวว่า

「โปรแกรมมิ่งสามารถสร้าง EA ที่สมบูรณ์ แต่ไม่เข้าใจ essence ของตลาด」

ผู้พัฒนาบางคนจึงเปิดตัว EA อย่างกล้าหาญ

 

โปรแกรมเมอร์อาจมีความสามารถ แต่ถ้าไม่เข้าใจตลาดก็ไม่สามารถคุยกันได้

 

การตรวจดูว่าเป็นผู้เขียน EA ที่ใช่หรือไม่ สามารถดูจากคำพูดบนหน้าเพจขายได้ ควรระวังและดูหลายๆ อย่างนะ!

 

BBP เป็นกลยุทธ์ที่ผ่านการทดสอบการสืบค้นซ้ำที่เข้มงวดแล้ว

ความสำคัญของ Out-of-sample, Walk-forward ที่กล่าวถึงไปแล้วน่าจะเข้าใจดีแล้ว

 

「FX Dragon's BBP ที่ปล่อยออกมาจะทำ Walk-forward test และการทดสอบซ้ำอื่นๆ ถูกทำอย่างถูกต้องหรือไม่？」

คำถามนี้หลีกเลี่ยงไม่ได้

 

แน่นอน BBP ได้ผ่านการทดสอบซ้ำทั้ง Out-of-sample และ Walk-forward แล้ว ดังนั้นไม่ต้องสงสัยze

 

BBPEA ตั้งแต่เริ่มขายในปี 2015 ก็มีความผันผวน แต่ยังคงทำกำไรอย่างต่อเนื่อง จึงเป็นสิ่งที่พิสูจน์ว่า Out-of-sample และ Walk-forward ผ่านแล้ว

 

อย่างไรก็ตาม ตอนที่พัฒนา BBP ตอนแรกๆ ฉันไม่รู้จัก Out-of-sample หรือ Walk-forward เลย (หัวเราะ)

 

แต่ก็รู้สึกว่าความแข็งแกร่งของ BBP มันชัดเจน

 

หลังปล่อยไป 3 ปี เมื่อ Forward มีผลต่อเนื่อง การทดสอบ Out-of-sample และ Walk-forward ก็ยังคงแสดงให้เห็นว่าเป็นยอดเยี่ยมด้วย (หัวเราะ)

 

BBP ตั้งต้นการพัฒนาไม่ใช่การลองผิดลองถูกของกฎการซื้อขาย แต่สร้างเส้นอัตราผลตอบแทนที่ขึ้นอย่างต่อเนื่องตั้งแต่แรก

นี่คือเคล็ดลับในการสร้างกลยุทธ์ที่ดีอย่างแท้จริงค่ะ

 

การปรับแต่ง EA ไม่ควรทำบ่อยมาก และ Walk-forward test ก็ไม่ควรทำบ่อยเช่นกัน

ถึงแม้คุณจะได้ Backtest ที่ดีครั้งเดียว แต่หาก Walk-forward ล้มเหลว ก็ต้องยกเลิกโลจิกนั้นนั่นคือเหตุผลที่ BBP มีความมั่นใจสูงในความสามารถ

 

แน่นอนว่ามีรอบที่ดีและรอบที่ดิ่ง แต่โดยรวมแล้วกลยุทธ์ที่ยืนยาวมีความมั่นคง

 

 

นอกจากนี้ ฉันจะกล่าวถึง Walk-forward test ของ BBP ในบทความอื่นเพิ่มเติม

 

และจะพยายามพิสูจน์ความเหนือกว่าในแง่วิทยาศาสตร์มากขึ้น!

 

เพียงแค่ความเหนือกว่าที่ประกาศเองจาก FX information productsมีมากใช่ไหม (หัวเราะ)

นั่นคือการดูหมิ่นผู้บริโภคอย่างจริงจัง

 

เช่นBBP ที่มีหลักฐานทางวิทยาศาสตร์ชัดเจนและไม่หลอกลวงเป็นอย่างไร ฉะนั้นผมจะเฝ้าดูต่อไปเรื่อยๆ ในอนาคตด้วยนะ＾＾