後から都合よく選ぶと、成績は良く見えてしまう。自分たちも陥りかけた話
「国内の定番」「海外の伝説」という看板は、それだけで一定の信頼感を持たせるものです。ですが、看板の重みと、実際にデータで確かめたときの結果は、別のものだったということです。
前回：一目均衡表とタートルズ、定番と伝説に挑んだらまさかの結果に
このシリーズについて(検証ジャーニー・全6本)
- 第0話：研究所を始めた理由(公開済み)
- 第1〜2話：王道から挑んでみた(公開済み)
- 第3〜4話：指標を組み合わせ、AIにも頼ってみた(公開済み)
- 第5〜6話：国内外の定番に挑んで見えたもの(公開済み)
- 第7〜8話(この記事)：発想を変えて気づいた大事な教訓 ← 今ここ
- 第9〜10話：最後にたどり着いたもの
はじめに
ここまで、単一の指標、複数の組み合わせ、AI、国内外の定番手法と、いろいろな角度から検証を重ねてきましたが、どれも「これだけで優位性がある」とは言えない結果でした。
そこで私たちは、「どの手法を使うか」という問いの立て方そのものを疑ってみることにしました。もしかすると、どんな手法にも「効きやすい相場の状態」と「効きにくい相場の状態」があり、それを見分けずに一律で使おうとしていたこと自体が、うまくいかない原因だったのではないか。そう考えたのです。
第7話：レジーム適応型(相場の状態で使い分ける)
そこで試したのが、「今の相場が、大きな流れが続いている状態(トレンド相場)なのか、それとも一定の範囲を行き来している状態(レンジ相場)なのかを、まず見分ける」という発想です。専門的にはこれを「レジーム(相場の状態)を判定する」と言います。
【画像:09_regime_switch.png をここに挿入予定(オーナーが手動で貼付)】
見分けた上で、トレンド相場なら流れに乗る手法を、レンジ相場なら範囲の中で反発を狙う手法を、というふうに使い分ける。1つの手法にすべてを任せるのではなく、状況に応じて武器を持ち替える、という考え方です。これまでとは明らかに違う発想の転換でした。
第8話：検証の過程で気づいた、大事な教訓
この検証を進める中で、私たちは手法そのものとは別に、とても重要なことに気づかされました。それは「検証のやり方自体に、危うい落とし穴がある」ということです。
具体的にはこういうことです。複数の銘柄を検証するとき、それぞれの銘柄ごとに「一番成績が良くなる設定」を後から選んでしまうと、見かけの成績は実際の実力より良く見えてしまいます。
【画像:09_overfitting_trap.png をここに挿入予定(オーナーが手動で貼付)】
たとえるなら、後出しでテストの答えを書き換えるようなものです。「たまたまこの銘柄はこの設定が良かった」という結果を、あたかも最初から狙って当てたかのように見せてしまう。私たちも、検証を重ねる過程で、無意識のうちにこのやり方に近づきかけていたことに気づき、あらためて全ての条件を公平に固定し直して検証をやり直しました。
【画像:09_real_vs_fake.png をここに挿入予定(オーナーが手動で貼付)】
試してみて分かったこと
レジーム適応型の発想自体は、方向性として決して的外れではありませんでした。ですが、公平な条件で検証をやり直すと、これだけで安定した優位性があると言い切れるところまでは、まだたどり着けませんでした。
一方で、検証の過程で得た「後から都合よく選ぶと成績は水増しされる」という教訓は、手法そのものの発見以上に、大きな収穫でした。この教訓がなければ、私たちはどこかの時点で、見せかけの良い成績を信じて、誠実でない形で何かを世に出してしまっていたかもしれません。
ここまでで感じたこと
「今日ひとつ見方が変わった」という言葉がこの研究所の合言葉ですが、この2話はまさにその通りの回でした。手法の発見という意味では、まだ結論に至っていません。ですが、「どうやって確かめれば、その結果を信じてよいのか」という、検証そのものの誠実さについて、私たちは一段深いところまで理解を進めることができました。
この教訓は、この後の検証すべてに活きてくることになります。
次回は、読者の方も一度は思うであろう「勝率が低いなら、逆にすればいいのでは」という疑問に実際に答えつつ、いよいよこの研究所として最終的にたどり着いた、ある1つの手がかりについてお伝えします。
免責事項
- この記事で発信する内容は、特定の売買を勧めたり、投資の助言をしたりするものではありません。あくまで情報の共有です。
- 過去のデータをもとにした検証結果は、将来も同じ結果になることを約束するものではありません。相場は常に変化します。
- 実際に売買を行うかどうかの判断は、必ずご自身の責任で行ってください。
- 今後ご紹介するインジケーターやツールは、相場を見るための判断材料のひとつであり、それを使えば必ず利益が出る、という意味ではありません。
次回は「第9話・第10話：最後にたどり着いたもの」をお届けします。気になる方は、インジケーター研究所の商品ページものぞいてみてください。
