ใช้งาน AI สามตัวเพื่อทดสอบ EA โดยแยกบทบาทที่สร้างกับบทบาทที่สงสัยไปยัง AI อีกตัวหนึ่ง
บทนำ: หากให้ AI ทั้งหมดรับผิดชอบหมด ผู้คนจะไม่สงสัยอะไรเลย
ในซีรีส์นี้ เราได้เขียนถึงกับดักในการสร้าง EA ด้วย AI “ปรับชุดทดสอบย้อนหลังให้ดีขึ้น” จะนำไปสู่การ overfitting “เขียนให้ดูน่าดึงดูด” จะทำให้คำอธิบายผลิตภัณฑ์ดูโอ้อวด ทั้งสองอย่างมีรากฐานเหมือนกัน คือเมื่อบทบาทผู้สร้างและบทบาทผู้สงสัยเป็นคนเดียวกัน จะไม่มีใครสงสัยขึ้นมา
AI จะทำในสิ่งที่ถูกขออย่างซื่อสัตย์ ผู้สร้างเอง (คุณและ AI ที่คุยกับคุณ) อยู่ในตำแหน่งที่อยากเห็นผลลัพธ์ของตนเอง ด้วยเหตุนี้ ในการสนทนาเดียวกันหากถามว่า “จริงหรือเปล่า?” คำตอบก็จะอ่อนโยนเกินไป
ขณะนี้ ผมกำลังแบ่งบทบาทของ AI ทั้งสามตัวคือ ChatGPT, Claude และ Codex ในการพัฒนาและตรวจสอบ EA เพื่อดำเนินการ ต่อไปนี้เป็นการแบ่งหน้าที่และกลไกที่ให้ AI เพียงหนึ่งตัวก็สามารถเลียนแบบได้ รวมถึงวิธีการที่ทั้งสองฝ่ายสามารถตรวจสอบกัน
บทบาทการแบ่งหน้าที่ของ 3 AI
หลักการในการแบ่งไม่ซับซ้อน “บทบาทสร้างสรรค์” และ “บทบาทตรวจสอบ” ถูกมอบให้กับ AI อื่น และเพื่อไม่ให้หน้าที่ซ้ำซ้อนกัน
| AI | หน้าที่หลัก | การตอบกลับต่อ AI อื่น |
|---|---|---|
| Codex | เขียนโค้ด ดำเนิน Backtest และการใช้งาน EA การสร้าง บิลด์ และทดสอบ | ดูว่าโค้ดทำอะไร และการทดสอบผ่านหรือไม่ |
| Claude | ออกแบบการตรวจสอบและตีความผล การทำเอกสารข้อตกลงล่วงหน้าและเงื่อนไขการใช้งาน และตัดสินผลด้วยเงื่อนไขนั้น | ขณะนี้อยู่บนเงื่อนไขอะไรที่ตัดสินผลอยู่ สถานะการใช้งาน |
| ChatGPT | ตรวจทานการออกแบบและผลการวิเคราะห์ของ Claude และเป็นฝ่ายที่พูดคุยกับ AI ตัวอื่นเพื่อคิดถึงการใช้งานซ้ำหรือต่อยอดธุรกิจอื่น | มีข้อบกพร่องในการออกแบบหรือการตัดสินใจหรือไม่ |
สิ่งสำคัญคือ ไม่ให้ AI ใดๆ ใช้หน้าที่นอกเหนือจากความรับผิดชอบของตนเอง เมื่อให้ AI เขียนโค้ดตรวจสอบคะแนนของโค้ดนั้น หากให้ AI ตัดสินผลลัพธ์ของตนเองก็จะกลับไปสู่ตำแหน่งที่อยากเห็นผลงานของตนเอง
อีกข้อหนึ่ง ผมได้ตกลงไม่ให้ตนเองทำหน้าที่ผู้บรรยายทั้งหมดในการครั้งเดียวด้วย เรากำหนดไว้ล่วงหน้าแล้วว่า AI ตัวไหนจะตอบอะไร เพื่อให้ AI สามารถถามตอบสถานการณ์ได้เอง หากผมเข้ามาสรุป มันจะทำให้การเห็นภาพมีส่วนของ “อยากเห็นสิ่งดี” แฝงอยู่
กลไกตรวจสอบกันเอง: กำหนดลำดับให้แน่นอน
การแยกหน้าที่เพียงอย่างเดียวไม่พอ ต้องกำหนดลำดับว่าใครจะตัดสินใจอะไรบ้างด้วย
- ก่อนดูผลลัพธ์ ให้บันทึกการค้นหาและเงื่อนไขการใช้งานบันทึกว่าพยายามอะไรบ้าง ข้อเงื่อนไขที่ต้องผ่านคืออะไร และสิ่งที่ห้ามทำอะไรบ้าง ผมเรียกสิ่งนี้ว่า “การประกาศล่วงหน้า”
- บทบาทสร้างสรรค์เพียงติดตั้งตามประกาศเท่านั้นจะไม่บอกผลลัพธ์ว่าดีหรือไม่ หากต้องการ “ปรับปรุง” ที่ไม่อยู่ในประกาศ ก็ให้หยุดและรายงาน
- การตัดสินให้ทำงานตามเงื่อนไขตามประกาศอย่างเป็นกลไกไม่ยอมผ่านด้วยเหตุผลว่า “น่าสนใจจัง” หรือ “เงื่อนไขนี้เข้มเกินไป”
- เมื่อผ่านแล้ว ให้ให้กลายเป็นอาชีพหนึ่งที่ถูกให้สงสัยว่า “ถ้าเป็นเรื่องบังเอิญล่ะ จะมีเหตุผลอะไร”ไม่ใช่บทบาทของผู้ชนะที่ยินดี แต่เป็นบทบาทที่หาสาเหตุที่ทำให้ผ่าน
สิ่งสำคัญของลำดับนี้คือ ลำดับที่ 1 ต้องมาก่อน หากดูผลลัพธ์แล้วค่อยกำหนดเงื่อนไข AI จะเตรียมเงื่อนไขที่เข้ากับทุกผลลัพธ์ได้
จริงๆ แล้ว ผมเคยลดจำนวนการทดลองลงเพราะประกาศถูกทำตาม และอยากลองค่า SL และ TP ในช่วงกลางทางด้วย แต่เมื่อคำนวณพบว่าเป็น 516 วิธีการทดสอบ เกินขีดจำกัด 288 วิธีที่ประกาศกำหนดไว้ จึงกลับมาคงที่
ตัวอย่างจริง: 5 ตัวผ่าน จริงๆ คือ 1 ตัว
ด้วยวิธีนี้ ผมเคยทดสอบผ่าน 2 คู่สกุลเงินหลัก 8 แบบกลยุทธ์ รวมทั้งหมด 129 การทดสอบ เงื่อนไขการใช้งานมี 7 ข้อ และข้อสุดท้ายคือ “มีอยู่ในเทียนถัดไปหรือตราบเท่าที่คู่สกุลเงินถัดไปก็ได้” รายละเอียดเพิ่มเติมอยู่ใน“5 ผ่าน, จริงๆ คือ 1 ตัว”บทความที่บอก
ผลลัพธ์ที่ผ่านทั้งหมดมีจำนวน 5 ตัว ดูเผินๆ เห็นว่าเป็นกฎที่ชนะถึง 5 ตัว หากบทบาทของผู้สร้างยังอ่านผลลัพธ์อยู่ ก็อยากจะเรียง 5 ตัวออกมาทำงานร่วมกัน
แต่เมื่ออยู่ในบทบาทผู้สงสัยและตรวจสอบ เนื้อหาทั้ง 5 ตัวพบว่าเป็น “คู่สกุลเงินเดียวกันในขณะที่ตลาดเปิดในเวลาระบุ” โดยลักษณะเดียวกันต่างชื่อแบบต่างๆ แม้ชื่อแบบจะต่างกัน แต่การทำงานจริงเกือบเหมือนกัน การค้นพบที่เป็นอิสระจริงๆ แค่ 1 อย่าง
ยิ่งไปกว่านั้น เมื่อคำนวณช่วงความน่าเชื่อถือเฉลี่ย 95% ในภายหลัง ทั้ง 5 ตัวไม่ต่างจากศูนย์ ประเด็นเกิดจากจำนวนการซื้อขายน้อยมาก เพื่อให้ตัดสินด้วย 1 ตัวที่เลือกได้ ต้องมีประมาณ 118 รายการ แต่ตอนนั้นมี 72 รายการ
หากมี AI ตัวเดียวถามว่า “5 ตัวนี้เป็นยังไงดี” คงได้คำตอบว่า “ให้กระจายการใช้งานกฎที่มีแนวโน้มดีออกไปรวมกัน” หากคิดว่าได้กระจายจริงๆ แต่จริงๆ แล้วกลับเดิมพันด้วยเพียง 1 ตัวนั้นถึง 5 เท่า
สำหรับผม งานที่แบ่งหน้าที่ “ตรวจสอบภายในของสิ่งที่ผ่านแล้ว” คือบทบาทที่ให้ ChatGPT มาช่วยรีวิว โดย Claude ที่เป็นผู้ให้ผลลัพธ์จะมาช่วยมองด้วยสายตาอีกมุมหนึ่งว่า “จริงๆ มีอยู่ 5 ตัวไหม”
วิธีที่สามารถทำตามได้ทันที: สิ่งที่ AI ตัวเดียวก็ทำได้
ไม่จำเป็นต้องจ้าง AI ทั้งสามก็ทำได้เช่นกัน สิ่งสำคัญคือไม่จำนวน AI แต่การแยก “การสนทนาสร้าง” กับ “การสนทนาสงสัย” ออกจากกัน
- ก่อนสร้าง ให้เขียนประกาศบันทึกขอบเขตการทดลอง จำนวนที่ลอง และเงื่อนไขการใช้งาน แล้วเก็บไว้Checklists ตอนที่ 3นำไปใช้งานเป็นเงื่อนไขการใช้งานได้เลย
- ในบทสนทนาการสร้าง ให้ส่งประกาศไปมอบให้ “จำกัดอยู่ในขอบเขตนี้เท่านั้น”ไม่ขอให้ประเมินผลลัพธ์
- เปิดบทสนทนาสงสัยขึ้นใหม่เพื่อไม่ให้คงวิถีเดิมจากบทสนทนก่อน เข้าเงื่อนไขประกาศกับผลลัพธ์ แล้วบอกให้ดำเนินการดังนี้
คุณเป็นผู้ที่หาสาเหตุที่ EA นี้ไม่ควรถูกนำไปใช้ อ่านประกาศล่วงหน้าและผลทดสอบย้อนหลังที่แนบมา, ・จุดที่ไม่ผ่านเงื่อนไขประกาศ ・สิ่งที่ทำที่ไม่เป็นไปตามประกาศ (การเพิ่มเงื่อนไขภายหลัง, จำนวนที่ลองเกิน) ・ตรวจสอบว่าในกลุ่มที่ผ่านทั้งหมดจริงๆ แล้วมีปรากฏการณ์เดียวกันหรือไม่ ・ถ้าการทำดีเป็นเพียงโชคชะตา อธิบายได้อย่างไร กรุณาระบุข้อดีด้วยไม่จำเป็นต้องมี
คำว่า “ข้อดีไม่จำเป็นต้องเขียน” เป็นเรื่องสำคัญ หากไม่มีสิ่งนี้ AI จะเลือกนำข้อดีและข้อเสียมาเรียงกันอย่างละครึ่งครึ่งและข้อสรุปจะเบลอ
- สุดท้ายตัดสินใจโดยตัวเองหากบทสนทนาสงสัยไม่สามารถตอบคำถามได้ EA นั้นยังไม่ถูกนำไปใช้งาน
สรุป
- หากบทบาทผู้สร้างและผู้สงสัยเป็นคนเดียวกัน จะไม่มีใครสงสัยเลย การแยกหน้าที่ AI ออกเป็นเรื่องสำคัญเพื่อแบ่งหน้าที่นั้น
- ลำดับคือ ประกาศ → การ Implement → การตัดสินด้วยเงื่อนไข → บทบาทอื่นสงสัย ไม่ตัดสินหลังดูผล
- “5 ผ่าน” ถ้าพิจารณาโดยบทบาทสงสัย ปรากฏว่าเป็น “จริงๆ แล้วมี 1 ตัว”
- ถึงจะมี AI แค่ตัวเดียว หากแยกการสนทนาสร้างกับการสงสัยออกจากกัน ก็ทำสิ่งเดียวกันได้
จนถึงตอนที่ 5 นี้ เราได้อธิบายกระบวนการสร้าง EA ด้วย AI ตรวจสอบและนำเสนอทั้งหมดครบถ้วนในตอนนี้ ในแต่ละตอนสิ่งที่บอกเหมือนเดิมคือ ตั้งใจให้ลองสงสัยผลลัพธ์ของตัวเองด้วยสายตาของคนที่ไม่ใช่ตัวเรา
เรื่องเดียวกันนี้ที่นำไปใช้กับ TradingView Strategy จะอยู่ในตอนที่ 6 ต่อไป“TradingView의 스트ラ테지ーผลลัพธ์ไม่อ่านตามการตั้งค่าเริ่มต้น”บอกไว้ใน
เสริม: วิธีให้บทบาทสงสัยถูกใช้งานโดยเครื่องมือ
มีวิธีให้บทบาทสงสัยถูกใช้งานโดยเครื่องมือที่มีเกณฑ์คงที่ ไม่ใช่ AI ตัวอย่างเครื่องมือตรวจสอบของคุณเอง「EA頑健性チェック」สร้างมาเพื่อจุดนี้ เงื่อนไขการตัดสินเป็นแบบคงที่ ไม่สามารถปล่อยให้ผ่อนคลายหลังดูผลลัพธ์ ไม่มีการดูแลเอาใจใส่เหมือน AI
สำหรับผู้ที่คิดว่าไม่สะดวกในการสงสัย บริการตรวจสอบก็มีให้สำหรับคุณผู้ตรวจสอบความแข็งแกร่งของ EA โดยบุคคลที่สาม14,800 เยน (Skijan) นำส่งรายงาน MT5 สูงสุด 3 ฉบับ และสรุปข้อสังเกต (PDF) ภายใน 3 วันทำการ เกณฑ์การตัดสินคงที่ ไม่สามารถเปลี่ยนผลลัพธ์หากไม่ผ่าน
※บทความนี้ไม่สนับสนุนการซื้อขายหรือเทคนิคเฉพาะเจาะจง และไม่ส่งเสริมการใช้งานบริการ AI ใดๆ ประวัติการตรวจสอบในอดีตไม่ได้รับประกันผลในอนาคต