แม้จะชนะอัตรา 99.5% ก็ทิ้งไป
แม้จะมีโอกาสชนะ 99.5% ก็ทิ้งไป
ในบทความก่อนหน้านี้
**“EA ที่ชนะง่ายๆ” สามารถทำได้ง่าย แต่ EA ที่เชื่อถือได้ยากมาก**
ผมได้เขียนเรื่องนี้ไว้
ครั้งนี้ จะหยิบเรื่องที่เป็นสัญลักษณ์ในบรรดาเหตุการณ์นั้นมาหนึ่งเรื่อง
ระหว่างการทดสอบ
**勝率99.5%**
เป็นการตั้งค่าหนึ่งที่ปรากฏขึ้น
หากดูจากตัวเลขเพียงอย่างเดียว ก็มีเสน่ห์มาก
แต่สุดท้าย ผมไม่เลือกตั้งค่านั้นไว้
ครั้งนี้
**ทำไมจึงทิ้งค่าชนะสูงขนาดนั้น**
ผมจะเขียนอย่างละเอียดเท่าที่จะทำได้
---
## ในตอนแรก ดูเหมือนจะ “ดูดี” จริง
สามวิธีที่ถูกพิจารณา
- AEF
- PVRF
- RMB
ในบรรดานี้ ตั้งแต่ต้น AEF และ PVRF เป็นผู้รอดชีวิตศูนย์เปล่า
ในขณะที่ RMB เพียงอย่างเดียวมีเงื่อนไขการบังคับใช้อย่างเป็นทางการที่ยังคงอยู่ถึง **4 รายการ**
ที่นี่ สิ่งที่สำคัญคือ
**“4 รายการนี้ไม่ใช่ 4 กลยุทธ์แยกกัน”**
ทั้งหมดเป็นการตั้งค่าใน RMB ซึ่งเป็นโมเดี่ยวเดียวที่มี 4 พารามิเตอร์
ณ จุดนี้ ภาพรวมทางเทคนิคดูเป็นดังนี้
- AEF: 0 รายการ
- PVRF: 0 รายการ
- RMB: 4 รายการ
ดังนั้น
**จาก 3 วิธีการ RMB เพียงอย่างเดียวมี 4 ค่าเป็นไปได้**
โครงสร้างนี้
เป็นสิ่งที่มองเห็นได้ในตอนแรก
ดูเผินๆ แล้วคิดว่า “RMB กำลังจับอะไรบางอย่างอยู่ใช่ไหม”
และในบรรดานี้มีค่าชนะ 99.5% รวมอยู่ด้วย
โดยทั่วไปแล้ว ตัวเลขแบบนี้จะทำให้ใจขยับอย่างมาก
---
## อย่างไรก็ตาม ตั้งแต่ช่วงเริ่มต้นมีความรู้สึกผิดปกติ
ขอให้เข้าใจว่า
**ไม่ได้ทิ้งอย่างไร้เหตุผลเพียงจากสัญชาตญาณเดียว**
เรื่องจริงมีขั้นตอนสามระดับ
1. **ความตระหนักรู้**
รู้สึกถึงความไม่แน่ใจในตัวเลข
2. **การแบ่งแยก**
ตรวจสอบรายละเอียดตัวเลข
3. **การตรวจสอบคู่เทียบ**
ดูว่าภูมิคุ้มกันที่เคยตรวจสอบแล้วตรงกับรูปแบบความล้มเหลวในอดีตหรือไม่
พูดง่ายๆ คือ ไม่ใช่ปล่อยให้มันดูน่าสงสัยแล้วจบ แต่
**เริ่มจากความไม่สบายใจ แล้วค่อยๆ แยกโครงสร้าง และเทียบกับรูปแบบความล้มเหลวที่รู้จัก**
ลำดับขั้นนี้มีความสำคัญมาก
---
## เมื่อศึกษาพบว่า ทั้ง 4 รายการล้มในทิศทางเดียวกัน
เมื่อดูรายละเอียดของทั้ง 4 ตั้งค่า จะพบลักษณะร่วมบางอย่าง
---
### 1. ทางออกถูกติดกับขอบกริด
ทั้ง 4 ตั้งค่า
**TP ต่ำสุด, SL สูงสุด**
ถูกยึดติดอยู่กับรูปแบบนี้
นี่เป็นรูปแบบที่เสี่ยงในการทดสอบมาก
กำไรทำกำไรใกล้มาก ขาดทุนค่อนข้างไกล
ในรูปแบบนี้
- ได้รับกำไรเล็กๆ บ่อย
- ขาดทุนใหญ่ๆ บ่อยน้อย
ดังนั้น ความชนะที่ดูสูงจึงง่ายที่จะปรากฏ
นั่นก็คือ
**เพราะชนะสูงจึงดูเหนือกว่าไม่ใช่เพราะคุณภาพของกลยุทธ์จริงๆ**
แท้จริงอาจเป็นเพียงรูปแบบทางออกที่ทำให้ดูดี
มีความเป็นไปได้สูง
---
### 2. ชัยชนะ 99.5% เบื้องหลังคือ อัตราการแพ้/ชนะ 15.7 เท่า
เมื่อมองแค่ตัวเลข 99.5% อาจดูไม่แพ้เลย
แต่ความจริงแตกต่างออกไป
ในการตั้งค่นี้
**ขนาดของการแพ้ต่อหนึ่งครั้งเทียบกับการชนะหนึ่งครั้งอยู่ที่ 15.7 เท่า**
ดังนั้นโครงสร้างคือ
- ปกติชนะเล็กๆ
ถึงแม้จะดูชนะสูง แต่โครงสร้างกำไรขาดทุนค่อนข้าง偏
ที่นี่เห็นได้ชัดว่า
**ความสูงของชนะไม่เท่ากับคุณภาพของกลยุทธ์**
กล่าวคือ 99.5% ไม่ได้ยืนยันถึงความสามารถในการทำนายที่แข็งแกร่ง
เพียงแค่
**สะสมชนะเล็กๆ แทนที่จะสูญเสียใหญ่ที่ไว้ด้านหลัง**
อาจเป็นไปได้นั่นเอง
กรณีนี้คือโครงสร้างนั้นสื่อได้ชัด
---
### 3. BE มี/ไม่มี ไม่ส่งผลต่างกัน
สิ่งที่ตัดสินใจได้คือ การจัดการ BE
BE คือการย้ายราคาเปิดเป็นจุดคุ้มทุนเมื่อมีกำไรบ้าง
โดยทั่วไป BE มีผลต่อผลลัพธ์ต่างกัน
แต่ใน 4 ตั้งค่าล่าสุด
**BE มี/ไม่มี ก็ไม่ส่งผลต่อผลลัพธ์**
นี่ไม่ใช่ความผิดปกติ
เหตุผลชัดเจน
**เพราะ SL ถูกติดอยู่ด้านขวาสุดจนไปถึงจุดที่ BE ไม่ถูกเรียกใช้งาน**
พูดอีกอย่างว่า
- โครงสร้าง TP_min × SL_max
- ไม่เปลี่ยนผลลัพธ์ด้วย BE
เป็นอาการแยกของสภาพผิดปกติแยกกัน
ทั้งคู่เป็นสาเหตุเดียวกันที่เพียงแยกออกมา
—> เมื่อรู้เช่นนี้ โมเดลนี้จึงอันตรายมาก
---
### 4. ดูเหมือนมี 4 ตั้งค่า แต่จริงๆ ซ้ำกันมาก
เมื่อสำรวจเพิ่มเติม พบว่า การเข้าออกใน RMB ของ N=30 และ N=60 เกิดซ้ำกันที่
**Jaccard ซ้ำซ้อน 0.976**
นี่เป็นค่าที่สูงมาก
สรุปคือ
**ดูเหมือนว่ามี 4 ตั้งค่า แต่จริงๆ แล้วแทบจะเข้าในตำแหน่งเดียวกัน**
ไม่ใช่ว่าจุดคิดหลายไอเดียเหลืออยู่สี่ชิ้น
คือการตั้งค่าที่คล้ายกันของหนึ่งวิธีออกสัญญาณแบบใกล้เคียงกัน
ในตอนนี้
“4 รายการเหลืออยู่”
“มีทางชนะหลายทาง”
มุมมองนี้จึงค่อยๆ พังทลายลง
---
## เห็นรูปแบบการล้มจากรูปแบบที่รู้จักแล้ว
จากการแยกละเอียดจนถึงตอนนี้พบ 5 ประเด็นหลักดังนี้
1. **TP_min × SL_max**
2. **勝率99.5%**
3. **อัตราการแพ้ต่อชนะ 15.7 เท่า**
4. **BE มี/ไม่มี ผลลัพธ์ไม่เปลี่ยนแปลง**
5. **การซ้ำกันของการเข้า N=30/60**
และสิ่งสำคัญคือ
สิ่งเหล่านี้ไม่ใช่ลักษณะผิดปกติที่พบครั้งแรก
ได้ตรวจสอบในตรวจสอบอื่นแล้วว่า
**“ดูเด่นแต่จริงๆ ล้มเหลว”**
รูปแบบนี้เคยตรวจพบมาก่อนแล้ว
ตั้งค่าทั้งสี่นี้ตรงกับรูปแบบที่รู้จักแล้ว
ดังนั้นการตัดสินใจจึงเป็นว่า
“เพียงเพราะรู้สึกว่าเอะอะจงทุน จึงตัดทิ้ง”
ไม่ใช่
**เมื่อเทียบกับรูปแบบในอดีตที่ถูกตรวจสอบแล้วว่าไม่สำเร็จ**
หมายความว่า RMB ทั้งสี่ตั้งถูกปฏิเสธจริงๆ
(แหล่งอ้างอิง: `hypothesis_backlog.md:2320-2331, 2366-2367`)
---
## “เพราะชนะสูงจึงถูกทิ้ง” ไม่ใช่เรื่องจริง
สรุปเรื่องนี้ในคำเดียวได้ว่า
**เพราะชัยชนะ 99.5% ถึงทิ้งไป ไม่ใช่เหตุผลเดียวกัน**
ตรงกันข้าม
**เหตุผลที่ทิ้งลงไปเพราะผลการได้คะแนน 99.5% ไม่เชื่อถือได้**
ถ้าแท้จริงมีข้อได้เปรียบที่มีคุณภาพสูง ก็ควรจะ:
- ทางออกไม่ติดกับขอบสุดขอบมาก
- ตั้งค่า BE มีความหมาย
- ตั้งค่าใกล้เคียงกันไม่ให้ได้ผลเหมือนกันเป๊ะ
- ไม่ใช่การคำนวณสัญญาณชนิดเดียวซ้ำกัน 4 ครั้ง
เป็นรูปแบบที่ควรได้
แต่ครั้งนี้ทุกอย่างกลับกันหมด
ดังนั้น ผมจึงไม่เลือกใช้งาน
---
## จากประสบการณ์นี้ ผมสร้างกลไกตรวจจับอัตโนมัติขึ้นมา
เรื่องนี้ไม่ได้จบที่แค่ “ทิ้งหนึ่งครั้งแล้วจบ”
เพื่อไม่ให้เจอการรอดพ้นซ้ำๆ จากค่าอยู่ในกริดที่คล้ายกัน
ภายหลัง
- ยึดกับขอบกริด
- ความไม่สมดุลระหว่างชนะกับกำไร
- ความไม่แปรผันของ BE
จึงได้เพิ่มกลไกตรวจจับเหล่านี้
(แหล่งอ้างอิง: `hypothesis_backlog.md:2330, 2366-2367`)
ดังนั้นเรื่องนี้จึงเป็นการพูดถึง
ในฐานะการละทิ้งกลยุทธ์หนึ่งอย่างพร้อมกันกับ
การสร้าง “กฎการตรวจสอบว่า ควรสงสัยสำหรับตัวเลือกใดบ้าง”
มันเป็นจุดเริ่มต้นที่สำคัญมาก
---
## PF>1 ก็เกิดเหตุการณ์คล้ายกัน
อย่างที่กล่าวไว้ตั้งแต่ตอนแรก ก็มีเหตุการณ์คล้ายกันเกิดขึ้นกับ PF
ในกริดขยายอีกแบบ
PF>1.0 ผ่าน 1,728 ช่อง
กว่า 1,714 ช่อง หรือ 99.2%
เป็นอาร์ทีฟแอกต์ทางคณิตจากความไม่สมดุลระหว่าง TP และ SL
(แหล่งอ้างอิง: `hypothesis_backlog.md:6362-6373`)
ดังนั้น
ไม่ใช่แค่ชนะเท่านั้น
PF ก็, ตามเงื่อนไข, สามารถถูกทำให้ดูดีได้
ดังนั้นตอนนี้
> PF อยู่เท่าไหร่?
> ก่อนอื่นดูว่า
> ถ้าเข้าแบบสุ่มในทางออกเดียวกัน PF จะไม่คล้ายกันหรือไม่?
ตอนนี้ให้ดูเพิ่มเติม
---
## การมีตัวเลขที่ดีไม่ได้หมายถึงความน่าเชื่อถือที่แท้จริง
เมื่อพัฒนาอัตโนมัติ การเห็นตัวเลขที่ดีขึ้นก็มักทำให้ความคิดไปข้างหน้า
- ชนะสูง
- PF สูง
- แนวโน้มดูสูงขึ้น
ทั้งหมดดูน่าดึงดูด
แต่ตัวเลขเหล่านั้น
**ต้องดูว่าโครงสร้างที่ออกมาเป็นอย่างไร**
ถ้าไม่ตรวจสอบก็จะจ่ายราคาภายหลัง
ชัยชนะ 99.5% ในครั้งนี้เป็นตัวอย่างตรงๆ
ตัวเลขดูเด่นจริง
แต่เมื่อดูโครงสร้าง
**ความแข็งแกร่งในการพยากรณ์ไม่ใช่เรื่องสำคัญ แต่สิ่งที่ดูดีคือการกระจายออกที่ทางออก**
เพราะฉะนั้น ผมจึงทิ้งมัน
---
## สิ่งที่สำคัญที่สุดในเรื่องนี้
สิ่งที่ผมอยากบอกที่สุดคือ
**เมื่อเห็นตัวเลขที่ดี ควรพยายามทำลายมันลง เพื่อพิสูจน์มันให้หมดสภาพ**
กล่าวคือ
การพัฒนาซอฟต์แวร์ซื้อขายอัตโนมัติที่ยากคือ
ไม่ใช่ “ได้ผลลัพธ์ที่ดูดี”
ความยากคือ
**ต้องตรวจสอบให้แน่ใจว่า ผลลัพธ์ดังกล่าวมีความน่าเชื่อถือจริงๆ ด้วยตัวเองหรือไม่**
นี่คือหัวใจสำคัญ
ตัวเลข 99.5% เป็นตัวเลขที่แข็งแกร่ง
แต่ยิ่งตัวเลขแข็งแกร่งเท่าไร ก็ยิ่งควรถามมากขึ้นเท่านั้น
หากไม่มีทัศนคติที่จะสงสัย มอนิเตอร์การทดสอบหลังบ้านก็สามารถหลอกเราได้ง่าย
---
## สุดท้าย
ในบทความก่อนหน้านี้ ผมเขียนเรื่องกับกับดักทั้งหมดของการทดสอบหลังบ้าน
ครั้งนี้เป็นตัวอย่างเฉพาะ
**เหตุผลที่ไม่เลือกใช้งานแม้ยังมี勝率 99.5%**
ผมได้บอกไว้
ในซีรีส์นี้จะมีต่อไป
- วิธีที่ดูดีแต่พังทลายลงอย่างไร
- วิธีที่สมมติฐานจากงานวิจัยพังเมื่อใช้งานในตลาดจริง
- วิธีที่ข้อบกพร่องของรหัสทดสอบและวิธีประเมินเปลี่ยนข้อสรุปได้อย่างไร
และจะเขียนเป็นกรณีจริงให้เห็นเป็นระยะ
“เรื่องที่ชนะ”อาจไม่ใช่สิ่งที่มีประโยชน์มากที่สุดเสมอ
แต่ “เหตุใดจึงทิ้งไป” อาจมีประโยชน์มากกว่าผลลัพธ์ในระยะยาว
สำหรับผู้ที่ทำ EA หรือทดสอบหลังบ้านเหมือนกัน หวังว่าจะมีคำแนะนำบ้าง
※บทความนี้ไม่ได้ส่งเสริมหรือนำเสนอ EA หรือสินค้าการเงินใดๆ เฉพาะอย่างใด บันทึกการทดสอบจริงและวิธีการทดสอบที่ได้ทำไว้
※บทความนี้ถูกปรับบางส่วนและเผยแพร่ใหม่จากบทความที่เผยแพร่ใน note