AIモデル本番切替の手順：隔離環境21項目PASSから24時間監視まで
金融AI／AIエージェント研究開発
AIモデルを安全に切り替える——隔離環境21項目PASSから24時間監視まで
GeminiとDeepSeekを同じ60パターンで比較した結果、DeepSeekはコスト面で有利でした。しかし、価格だけを理由に本番モデルを一括変更していません。AIエージェントは文章を返すだけでなく、記録、訂正、課金、安全停止など実データへ作用するため、切替そのものを一つの本番変更として検証する必要があります。
本稿は、私が開発したインジケーターと自動売買ソフト（EA）を含むAIエージェント群の研究・検証ログです。金融AIでも同じく、判断、執行、保存、停止を分けて検証します。GOLD13の実口座検証は平日24時間のトレードライブ配信で公開しています。
なぜ隔離環境が必要だったのか
本番ポート4002を使って比較試験をすると、検証データが本番DBへ混ざり、課金や記録に影響する可能性があります。そこで検証専用インスタンスを4102で起動し、本番接続を触らずに実HTTP・実DBの9ターンを実行しました。
モックだけでは、実際のDB制約、重複防止、残高不足時の非書込み、ツール呼び出し順序まで確認できません。隔離環境で本番と同じ保存経路を通し、終了後は検証プロセスだけを停止。本番4002がHTTP 200を返すことも確認しました。
21項目で確認した範囲
- 打席・投球・試合結果などの新規記録
- 既存成績の訂正と対象特定
- 課金発生と残高不足時の非書込み
- 同一対象への重複課金防止
- 不必要なMarkdown記号が保存されないこと
- モデル応答後にDBの実体が期待どおり変化すること
- 検証終了後も本番系統が継続稼働すること
この実HTTP・実DB検証は21項目すべてPASSしました。ただし、ここで証明できたのは限定された検証経路です。本番全体の品質保証ではありません。
60パターン比較で残った品質差
終了理由はGeminiがstop 45・tool_calls 15、DeepSeekがstop 43・tool_calls 17で、length終了とAPIエラーは両方0件でした。一方、DeepSeekでは技術質問の要目視が2件、担当コーチへの引き継ぎは5言語中4件で、zh-TWは未検出でした。
記録ツールの発火も、打席3/5、投球4/5、試合結果5/5、成績訂正5/5でした。確認質問を返して誤記録を避けたケースもありますが、一回で処理を完了する基準では未達です。安価であることと、同等品質であることは分けて評価しました。
コスト差をどう読むか
1往復の保守的な試算では、Gemini 2026促進価格が平均約0.689円、2027正式価格換算が約1.378円、DeepSeekピーク帯が約0.501円、オフピーク帯が約0.251円でした。DeepSeekでは入力318,893トークン中307,065トークンがキャッシュヒットし、実測ヒット率は96.3%です。
大量処理では差が積み上がりますが、誤記録や誤課金の修正コストまで含めなければ、本当の運用原価にはなりません。そのため単価だけで本番切替を決めません。
本番切替は段階的に行う
- 限定されたエージェント系統だけを切り替える
- 24時間、応答品質・ツール発火・エラー・保存結果を監視する
- 旧モデルへ戻す条件を事前に固定する
- 問題がなければ対象範囲を拡大する
本番プロバイダーの上書き設定は空のままで、現時点では先行切替を実施していません。「安い」「テストに通った」「本番へ入れてよい」を別々の判定にし、証拠が揃った段階だけ前へ進めます。
本稿はモデル移行とDB検証の記事で、特定のGOLD取引に対応しないため、無関係なトレード動画は埋め込みません。
本稿は研究・検証ログであり、利益や将来の性能を保証するものではありません。
段階移行の合格条件
限定系統の切替後は、24時間の稼働中にAPIエラー、平均応答時間、ツール発火率、確認質問率、DB書込み成功率、重複課金、ロールバック回数を記録します。単に落ちなかっただけでは合格にしません。
期待値から外れた場合は旧モデルへ戻し、入力、モデル応答、ツール引数、DB結果を一件単位で比較します。原因がプロンプト、モデル、ツール、保存層のどこにあるかを分けられる証拠を残します。
実DBテストで重視した失敗
最も危険なのは、モデルが成功したように返答してDBへ保存していないケースと、同じ操作を再送して二重課金・二重記録するケースです。そのためレスポンス本文だけで合否を決めず、保存後の実体、残高、対象IDを確認しました。
残高不足では書込みを行わないこと、同一対象への再実行で追加課金しないこと、訂正時に別選手・別試合を更新しないことも個別に確認しています。外部作用のあるAIエージェントでは、返答品質より先に整合性を守ります。
ロールバック設計
- 旧モデル設定をすぐ戻せる状態で保持する
- 新旧のログ形式を合わせて比較可能にする
- 途中処理を再送しても二重作用を起こさない
- 切替対象を限定し、障害範囲を狭くする
- 異常時は自動切替ではなく安全停止を優先する
戻せない変更は、小さなテストで成功しても本番投入しません。AIモデルは同じ入力でも微妙に応答が変わるため、データ層側で再実行安全性を担保します。
24時間監視後も終わりではない
初日の監視で問題がなくても、低頻度の多言語、残高不足、対象曖昧、タイムアウト、プロバイダー障害は発生しない可能性があります。通常系、境界系、障害系を分け、一定期間の実データで評価します。
処理量が増えたときのコストと遅延も追跡します。キャッシュヒット率が下がった場合、DeepSeekの原価優位がどこまで残るか、ピーク帯の応答が業務時間内に収まるかを確認します。
金融AIと共通する考え方
モデル切替は、FXのEAへ新ロジックを入れる作業と似ています。バックテストは単体・リプレイ、隔離DBはデモ環境、限定系統の24時間監視は小ロット本番に相当します。一段階の成功を次の合格証明には使いません。
金融AIでも、判断文が自然だから注文を許可するのではなく、signal、order、ポジション、決済、ログが一致して初めてE2E合格とします。今回の移行手順を、モデル選定だけでなくEA配備の標準にも反映します。
公開する証拠
本番切替を実施した場合は、対象系統、開始・終了時刻、処理件数、エラー、ツール発火、DB不整合、ロールバック有無をまとめます。成功だけでなく、停止した理由と未検証項目を同じ記事に残します。
24時間監視の中止条件
DB不整合、二重課金、誤対象への保存、残高不足時の書込みが一件でも発生した場合は即時ロールバックします。APIエラー率や応答遅延は事前の基準を超えた時点で対象範囲を広げません。
軽微な文章差とデータ破壊の可能性を同じ重みで扱わず、外部作用に近い失敗ほど厳しく判定します。監視終了時には処理件数、成功、保留、失敗、再試行、ロールバックの全件数を公開し、問題のなかった結果だけを抜き出しません。
