方法論・一頁
五つの対抗的検証段階。一つの二値の判定。
Nyalaiが下す判定は、較正済みか未較正かのいずれかである。提出しただけで判定が下されることが保証されるわけではない。誤りに基づくことが判明した判定は、公開の訂正通知によって撤回されることがある。撤回は第三の検証結果ではない。各検証段階は、その特定の問いにふさわしい統計的枠組みを用いる。五つのすべてを通過した戦略は、較正済み(CALIBRATED)の判定を受ける。一つでも不合格となった戦略は、拒否される。
問題の所在
戦略が運用される場所：第四象限。
ナシーム・タレブが2008年に公表した分類では、意思決定は二つの軸に沿って分かれる。ペイオフの構造が単純か複雑か、そして基礎にある不確実性が裾の薄い分布にあるか裾の厚い分布にあるか、である。クオンツ戦略は、複雑かつ裾の厚い領域で運用される。非線形のペイオフ、上限のない損失の可能性、レジームの転換である。われわれの拒否原則は、ここでこそ統計的推論が最も難しく、モデルの失敗が最も高くつくと論じる。そこで運用されるシステムには、それを構築した当事者の外部にある、追加の対抗的な層が相応しい、というのがNyalaiの立場である。これはNyalaiの立場であり、規制上の要件ではない。モデルリスク管理に関する監督上の指針、米国においてはSR 11-7に代わった2026年4月のSR 26-2は、銀行組織が運用するモデルを対象として書かれている。
五つの検証段階
各検証段階は、その問いにふさわしい統計的枠組みを用いる。
ジョセフ・シモニアンが2020年にJournal of Financial Data Science誌上で定式化した、モジュール型の検証方法論である。以下の各検証段階は、それが運用化する査読済みの方法論を引用する。すべての閾値には、表明された根拠がある。標準的方法からのすべての逸脱は、判定書に注記される。
観測された優位性が、多重検定、リターンの非正規性、および観測ウィンドウの長さについての補正を生き延びない戦略を検出する。
収益性が単一の市場状態に集中し、未遭遇のレジームの下では劣化するであろう戦略を検出する。
開発の間の方向づけられた探索によって有意性が水増しされた戦略を検出する。これは、機械学習のワークフローが既定で生み出す失敗の様式である。
表明された確信度の見積りが実現した結果から乖離している戦略を検出する。方向は正しくとも較正を欠くシグナルは、ポジション・サイジングを壊す。
期待される優位性は正であるが、分散が大きく、現実的な経路の変動の下では収益性を保てないおそれのある戦略を検出する。
運用開始の語彙
モデル信頼水準。MTL-1の未検定からMTL-5のライブまで。
確率的予測システムにどれだけの信頼を置くべきかについての、共有された語彙である。番号は強度の昇順。各水準は、特定の検証段階の実証的な通過によって定義される。厳密な入れ子。水準ごとの二値性。公開で争い得る。時間の限定を伴う。
すべてのMTLの付与は、判定書とともに供される監査記録を通じて、公開で争うことができる。第三者は付与を争うことができ、計算を再現するために、コードおよび凍結された入力へのアクセスを請求することができる。
アセットオーナーが受け取るもの
医療報告書のように構成された判定書。
所見を最初に。方法論は要請に応じて。参考文献は監査のために引用される。二つの層からなる。上の層は、機関の語彙において判定を述べる。下の層は、技術的な証拠を供する。上の層は、下の層が支持する以上を述べては決してならない。
判定の適用範囲の表明
レジームの範囲、サイジング・エンベロープ、ポートフォリオ構築の前提。エンベロープの外での運用開始は、判定を無効にする。シグナルに対する判定は、そのシグナルから構築されたポートフォリオに対する判定ではない。
三点検証パネル
リスクの型、事業の文脈、および規制上の枠組みの掛け合わせ。センティル・クマールがBNYメロン最高リスク管理責任者の在任中に確立した三つのレンズの枠組みを適合させたものである。一つの三点検証のセルに対する判定は、別のセルには及ばない。
伝達の層
上の層は、アセットオーナーの語彙(GEMのマット・バンクの四区分の枠組みによる、ショートフォール、ドローダウン、流動性、体面)。下の層は、技術的な証拠(DSR、BSS、ECE、ブートストラップ信頼区間)。いずれも必須である。
引用の手引き
判定書は、機関の三つの防衛線のすべてにわたり、モデル・オーナー、独立の検証者、および内部監査が引用できるよう設計されている。モデルではなく、フレームワークである。Acadiaのローランド・シュタムに従う。
再現性の付属書
適用された綱領のバージョン、ʼCɩcɛ検証者のコミットハッシュ値、統計パッケージのバージョン、乱数シード、ブートストラップのパラメータ、隠れマルコフモデルの状態数、データの来歴。コードおよび凍結された入力へのアクセスは、請求により認められる。
スタイル・ドリフト条項
特徴量、銘柄ユニバース、リスク・パラメータ、または主張される問題領域のあらゆる重大な変更は、従前の判定を無効にする。再検証は、任意ではなく、必須である。
入力の完全性
順序コミットメント。
Nyalaiは、判定が下される前に、事例の公表、または下流のいかなる決定における使用についても、許可を求めることを決してしない。公表または下流の参照についての同意は、判定が下された後に、提出当事者が確認する文書の上で収集される。下流の使用の拒絶は、判定そのものを変えない。
1. 提出物は、まず凍結される。下流の使用についてのいかなる対話も始まる前に、タイムスタンプとハッシュ値が記録される。
2. 検証段階は、利害の曝露なしに走る。戦略の作者は、評価の間、判定にいかなる下流の帰結が結び付き得るのかを決して知らされない。
3. 同意は、判定の後に来る。公表、非公開の顧客への開示、集計的な研究、および外部参照は、すべて、判定が確定した後に収集される同意を条件とする。
これは心の状態についての約束ではない。Nyalaiが統御し、いかなる第三者も監査できる、手続の順序についてのコミットメントである。拒否原則第Ⅻ.4節による。美徳ではなく、妥当性の規律である。
検証段階の仕様は、公開されている。
検証段階とその閾値は、拒否原則の頁に文書化されている。同頁は、v0.3.3.1として封印された本文の編集上の要約であり、CC0 1.0の下で公表されている。封印された本文はNyalaiが保持しており、その引用登録簿の検証を待って、請求により提供される。誰もがこの方法を再実装し、異議を申し立て、あるいはそこから分岐してよい。