モデルは「92%勝てる」と言い、実際は42%だった — 較正測定から正則化採用までの一日
モデルは「92%勝てる」と言い、実際は42%だった
2026-07-14の作業記録。前日(-21 USDT)の損失分析から始まり、最終的にLightGBMの根本的な欠陥を数値で特定して修正、検証ライン初の30日窓黒字までたどり着いた一日でした。
1. 同時多発エントリーの抑制(BurstGuard)
前日の損失を分解すると、取引停止が解除された直後の数十分に6〜18件が集中エントリーし、直後の反転で損切りが直撃する形が2回繰り返されていました。損失の過半は、この2回のバーストで建てたわずか2ポジション(UNI/BONKの損切り)でした。
対策として「直近20分以内に建てたポジションが3件以上あるうちは新規エントリーを見送る」レートリミッターを実装。判定が1回外れたときの被害を「13件同時」から「3件」に抑える防御層です。30日窓・6ヶ月ホールドアウト窓の両方で損失・ドローダウンが縮小したため採用しました。
2. バックテスト基盤のバグ2件を修正
検証中に、特定の銘柄(低ボラティリティ銘柄)でバックテストが必ずクラッシュする問題に遭遇。調査の結果、FreqAI本体の見落としを2つ特定しました。
- 学習ウィンドウ内で利確ライン(+1%)に一度も到達しない銘柄は、ラベルが片方のクラスだけになる。この「縮退」したモデルは学習に成功してもpredict_probaが常に2列を返すのにクラス名は1個しかなく、予測データフレームの構築が静かに壊れて後段で全体クラッシュする
- 学習自体が例外で失敗した場合、モデルがNoneのまま予測が呼ばれてクラッシュする
どちらも「モデルが縮退していたらその期間は予測なし(取引見送り)として扱う」ガードで解決。以後、158銘柄フルのバックテストが初めて安定して完走するようになりました。
3. 特徴量削減(542→380)
「特徴量を詰め込みすぎると過学習する」という指摘を検証。指標の計算期間を3種類から2種類に減らして特徴量を542→380に削減したところ、30日窓で損失32.5%減・勝率+1.9pt。過学習が実際に起きていたことの最初の証拠でした。
4. 較正測定 — 今日の本丸
「勝率が悪いのは予測精度が悪いからでは?」という仮説を、バックテストが保存した677,729予測点と実際の値動きの突き合わせで検証しました。結果は想像以上でした。
- モデルが「55%以上の確率で利確ラインに先に到達する」と主張した場面の実現率: 42.1%(自称平均は91.7%)
- 確信度の閾値を0.50→0.80まで上げても実現勝率は42.0〜42.3%でほぼ平坦 — 「もっと自信のある取引だけ選ぶ」戦術は無意味
- 確率の分布が0.4未満と0.8超に張り付く典型的な過学習(記憶)パターン
原因は設定にありました。学習データ約2,000点×380特徴量に対して、n_estimators=800・深さ無制限・正則化なし。これは記憶マシンになる条件です。
5. 正則化 — 初の30日窓黒字
木を浅く(depth 6)・葉を少なく(15)・葉あたり最小50サンプル・特徴量と行のサブサンプリング・early stoppingを導入した結果:
| 30日/158銘柄 | 修正前 | 修正後 |
|---|---|---|
| 損益 | -2,363 USDT | +1,100 USDT |
| 勝率 | 45.6% | 60.3% |
| 取引数 | 2,602 | 940(厳選) |
| ドローダウン | 4,179 | 2,748 |
確率の張り付きも解消(0.8超の予測が155,695点→1,756点)。6ヶ月ホールドアウト窓は損益ほぼ同等ながら勝率+10.8pt・ドローダウン24%改善で、両窓基準を満たしたため本番採用しました。
正直な注意書き
- バックテストの黒字は6月相場での数字です。ライブは7月中旬の荒れた地合いで、直近3日は +19.74 / -21.06 / -13.40 USDT と負けが続いています(本日分の損失はすべて旧モデルの建玉によるもの)
- 生の±1%バリア勝負での実現勝率はまだ44%前後で、損益分岐(52.6%)には届いていません。黒字化は段階利確と早期撤退の仕組みとの組み合わせによるものです
- 新モデルのライブ実績はこれから24時間が最初の答え合わせです
数字に嘘をつかせず、一つずつ潰していきます。
本システムはドライラン(ペーパートレード)で運用中です。実資金の取引は行っていません。
コメント
最初のコメントを投稿できます。