EAを作る工程ではなく、捨てる工程を自動化しました
前回、生成AIにエッジを探させる話を書きました。エッジを探すのは作る前の話です。
今回はその逆で、作ったあとに捨てる話をします。
この記事ではEAをAIエージェントを使って機械的に作製する際の原則について記載します。設計図を無料配布するのでぜひ活用してください。
EA開発でいちばん高くつくもの
私の持論ですが、EA開発で一番やってはいけないこととは
ダメなロジックに気づかないまま、実装と最適化に時間を注ぎ込んでしまうことです。
一度コードにして、パラメータを何十通りも回して、成績表を作ってしまうと、人はそれを捨てられなくなります。かけた時間の分だけ、手放すのが惜しくなる。
いわゆるサンクコスト効果と言われているものです。
そして惜しくなった人間は、捨てるかわりに条件を足します。負けている場所を避ける条件を足して、もう一度回す。これを繰り返すと、以前の記事で書いた「勝率100%の爆益EA」ができあがります。大げさに思えるかもしれませんがこれに近い内容は簡単に起こります。
だから私は、作る工程ではなく、捨てる工程のほうを自動化しました。
4本、捨てました
この仕組みで、有名な手法を次々とEA化する検証を行い、4本連続で不合格を出して破棄しました。
作れなかったのではありません。自分で先に設定した基準を満たさなかったからです。
4本ぶんの「もう少し粘れば」を、機械的に防がせました。(粘っていたらどれか1本は出品できるレベルにまで引き上げることはできたはずです。)
そして同じ基準を通ったものは、実際に外へ出ています。この仕組みを通したEAは審査を通過して販売されています。
これは捨てる工程を自動化したら「合格する」という話ではありません。「不合格しか出せない壊れた装置ではない」という証明です。合格を約束できる仕組みなど作れません。
なぜ、判定を機械に渡すのか
速くなるからではありません。速さは副産物です。
本当の理由は、自分で判定すると、成績を見てから基準が動くからです。
「PF1.0を下回ったら捨てる」と決めていたのに、0.98が出たときに「あと少しだ」と思ってしまう。私は何度もやりました。基準を破ったつもりはなくて、そのたびに正当な理由が頭に浮かぶのです。
エージェントに回させる形にすると、基準を先に書かないと動きません。順番が強制的に逆になります。これだけのために、この仕組みを作ったと言ってもいいくらいです。
導入して、何が変わったか
捨てるまでの時間が短くなった。以前は1本のロジックを諦めるのに数週間かかっていました。いまは、筋の悪いものはコードを書く前に落ちます。
捨てた理由が残るようになりダメなロジックは事前に排除できる。「ダメだった」ではなく「どのゲートで、どの数値が、どの基準を下回ったか」が残ります。おかげで、似たような別ロジックを試す前にAIが弾いてくれるようになりました。
数字を公表するのが怖くなくなった。コードの初期値と成績表の設定が一致しているかを機械が突合するので、「公開した数字と実物が違う」という事故が構造的に起きません。これは売る側にとって、いちばん大きい変化でした。
ひとつだけ、原則を書きます
原則は全部で5つありますが、ここではいちばん実害を食らったものを書きます。
環境の異常を、いちばん最初に検出する。
ある検証環境の手数料が、標準の桁違いに設定されていたことがあります。それに気づかないまま検証を回して、まともなロジックが全滅して見えました。
そのときの私は、ロジックのほうを疑っていました。条件を変え、パラメータを変え、何日か溶かしました。原因は環境で、ロジックには何の問題もありませんでした。
だから工程のいちばん先頭に、ロジックを1行も書く前に環境を疑うゲートを置いています。これは失敗のあとに追加したもので、最初から分かっていたわけではありません。
この仕組みができないこと
「手順書だけ渡せば、あなたのAIが合格品を作る」——これは実証できていません。
いま出せている結果は、私自身が現場監督として回した場合のものです。手順書を渡して人もAIも入れ替えた状態で、合格まで到達した記録はありません。
なので、この仕組みは「無人で商品ができる装置」ではありません。もしあなたの環境で合格するEAができたらぜひ教えてください。
設計原則をPDFにまとめました
残り4つの原則と、ゲートを工程のどこに置いているか(ゲート0〜4の配置順)、「不合格」の出し方、そして何を機械に渡さず人が握り続けるか。
6ページのPDFにまとめて、無料でお渡しします。出し惜しみはしていません。機械的に捨てるゲートを置くことはEA購入者、EA販売者双方にとって有益だと考えているからです。
無料ですが、お申し込みが必要です。