方法論・一頁
五つの対抗的検証段階。一つの二値の判定。
Nyalaiは、検証のため提出されたすべての確率的システムに対して、較正済みまたは未較正の判定を返す。各検証段階は、その特定の問いにふさわしい統計的枠組みを用いる。五つのすべてを通過した戦略は、対抗的に検証済みである。一つでも不合格となった戦略は、拒否される。
問題の所在
機関のモデル・リスク管理は、最初の三つの象限に対応する。Nyalaiは、第四の象限を閉じる。
ナシーム・タレブが2008年に公表した分類体系において、意思決定は二つの軸に沿って分かれる。ペイオフの構造が単純か複雑か、そして、基礎にあるランダム性が裾の薄い分布に属するか、ファットテール(厚い裾)の分布に属するかである。クオンツ戦略は、複雑かつファットテールの領域で活動する。非線形のペイオフ、上限のない損失の可能性、レジームの転換である。SR 11-7および同等のモデル・リスク管理ガイダンスは、最初の三つの領域には十分に対応している。第四の領域は、標準的な検証方法論が機能しなくなる場所であり、そこにおいて、外部からの対抗的な層は付加物ではない。必需品である。
五つの検証段階
各検証段階は、その問いにふさわしい統計的枠組みを用いる。
ジョセフ・シモニアンが2020年にJournal of Financial Data Science誌上で定式化した、モジュール型の検証方法論である。以下の各検証段階は、それが運用化する査読済みの方法論を引用する。すべての閾値には、表明された根拠がある。標準的方法からのすべての逸脱は、判定書に注記される。
観測された優位性が、多重検定、リターンの非正規性、および観測ウィンドウの長さについての補正を生き延びない戦略を検出する。
収益性が単一の市場状態に集中し、未遭遇のレジームの下では劣化するであろう戦略を検出する。
開発の間の方向づけられた探索によって有意性が水増しされた戦略を検出する。これは、機械学習のワークフローが既定で生み出す失敗の様式である。
表明された確信度の見積りが実現した結果から乖離している戦略を検出する。方向は正しくとも較正を欠くシグナルは、ポジション・サイジングを壊す。
期待される優位性は正であるが、分散が大きく、現実的な経路の変動の下では収益性を保てないおそれのある戦略を検出する。
運用開始の語彙
モデル信頼水準。MTL-1の未検定からMTL-5のライブまで。
確率的予測システムにどれだけの信頼を置くべきかについての、共有された語彙である。番号は強度の昇順。各水準は、特定の検証段階の実証的な通過によって定義される。厳密な入れ子。水準ごとの二値性。公開で争い得る。時間の限定を伴う。
すべてのMTLの付与は、判定書とともに供される監査記録を通じて、公開で争うことができる。いかなる独立の第三者も、計算を再現し、付与を争うことができる。
アセットオーナーが受け取るもの
医療報告書のように構成された判定書。
所見を最初に。方法論は要請に応じて。参考文献は監査のために引用される。二つの層からなる。上の層は、機関の語彙において判定を述べる。下の層は、技術的な証拠を供する。上の層は、下の層が支持する以上を述べては決してならない。
判定の適用範囲の表明
レジームの範囲、サイジング・エンベロープ、ポートフォリオ構築の前提。エンベロープの外での運用開始は、判定を無効にする。シグナルに対する判定は、そのシグナルから構築されたポートフォリオに対する判定ではない。
三点検証パネル
リスクの型、事業の文脈、および規制上の枠組みの掛け合わせ。センティル・クマールがBNYメロン最高リスク管理責任者の在任中に確立した三つのレンズの枠組みを適合させたものである。一つの三点検証のセルに対する判定は、別のセルには及ばない。
伝達の層
上の層は、アセットオーナーの語彙(GEMのマット・バンクの四区分の枠組みによる、ショートフォール、ドローダウン、流動性、体面)。下の層は、技術的な証拠(DSR、BSS、ECE、ブートストラップ信頼区間)。いずれも必須である。
引用の手引き
判定書は、機関の三つの防衛線のすべてにわたり、モデル・オーナー、独立の検証者、および内部監査が引用できるよう設計されている。モデルではなく、フレームワークである。Acadiaのローランド・シュタムに従う。
再現性の付属書
適用された綱領のバージョン、ʼCɩcɛ検証者のコミットハッシュ値、統計パッケージのバージョン、乱数シード、ブートストラップのパラメータ、隠れマルコフモデルの状態数、データの来歴。誰もが再実行できる。
スタイル・ドリフト条項
特徴量、銘柄ユニバース、リスク・パラメータ、または主張される問題領域のあらゆる重大な変更は、従前の判定を無効にする。再検証は、任意ではなく、必須である。
入力の完全性
順序コミットメント。
Nyalaiは、判定が下される前に、事例の公表、または下流のいかなる決定における使用についても、許可を求めることを決してしない。公表または下流の参照についての同意は、判定が下された後に、提出当事者が確認する文書の上で収集される。下流の使用の拒絶は、判定そのものを変えない。
1. 提出物は、まず凍結される。下流の使用についてのいかなる対話も始まる前に、タイムスタンプとハッシュ値が記録される。
2. 検証段階は、利害の曝露なしに走る。戦略の作者は、評価の間、判定にいかなる下流の帰結が結び付き得るのかを決して知らされない。
3. 同意は、判定の後に来る。公表、非公開の顧客への開示、集計的な研究、および外部参照は、すべて、判定が確定した後に収集される同意を条件とする。
これは心の状態についての約束ではない。Nyalaiが統御し、いかなる第三者も監査できる、手続の順序についてのコミットメントである。拒否原則第Ⅻ.4節による。美徳ではなく、妥当性の規律である。
方法論の全文は、公開されている。
すべての検証段階、すべての閾値、すべての方法論上の選択は、拒否原則v0.3.3.1に文書化されている。十二の節に、謝辞と一次資料の書誌を加えたものである。CC0 1.0の下で公表される。誰もがこれを再実装し、争い、そこから分岐してよい。