デフレーテッド・シャープレシオ(Deflated Sharpe Ratio、DSR)
観測されたシャープレシオを、多重検定、リターンの非正規性、および観測ウィンドウの長さについて補正したものである。検証段階1aにおける閾値はDSR ≥ 0.95(リターン生成型戦略。綱領第Ⅸ.1節の二分岐に従う)。
デフレーテッド・シャープレシオは、ベイリーとロペス・デ・プラドが2014年にJournal of Portfolio Management誌上で公表したものであり、通常の使用において観測されたシャープレシオを水増しする三つのバイアス、すなわち多重検定、リターンの非正規性、および観測ウィンドウの長さについて、これを補正する。DSRの値が1.0に近いことは、観測されたシャープレシオがほぼ確実に補正を生き延びることを意味する。DSRが0.5を下回ることは、観測されたシャープレシオが、真の優位性ではなく、探索プロセスの統計的な人工物である蓋然性が高いことを意味する。Nyalaiの五つの検証段階の枠組みにおいて、DSRは、綱領第Ⅸ.1節に従い、検証段階1a(リターン生成型戦略の統計的脆弱性)で用いられる検定である。確率的予測システムは、代わりにブライアスキルスコアを用いて検証段階1bで評価される。
一般的な誤用
開発の間に検定された構成の数を開示することなしに、生のシャープレシオを優位性の証拠として引くことである。この数がなければ、DSRは誠実に計算され得ず、生のシャープレシオは解釈不能である。
相互参照:検証段階1 · 誘導探索バイアス · 統計的推論の時間軸
ブライアスキルスコア(Brier Skill Score、BSS)
確率的予測をナイーブ・ベースラインと比較するものである。正のBSSは較正の技能を意味し、負のBSSは基準率よりも劣ることを意味する。閾値BSS ≥ 0.05は、検証段階1b(確率的予測システムの統計的脆弱性)と検証段階4(確率的較正)に適用される。
ブライアスキルスコアは、確率的予測の較正をナイーブ・ベースライン(典型的には基準率)と比較する。その値は、負の無限大から1までの範囲をとる。BSSが0であることは、予測がナイーブ・ベースラインを上回らないことを意味する。0を上回るBSSは、予測が較正の技能を加えることを意味し、0を下回るBSSは、常に基準率を予測すると言うよりも予測が劣ることを意味する。Nyalaiの枠組みにおいて、BSSは二つの検証段階で働く。検証段階1b(綱領第Ⅸ.1節に従う、確率的予測システムの統計的脆弱性)では、BSSは、探索補正の後に、偶然を超える集計の技能を検定する。検証段階4(確率的較正)では、BSSは期待較正誤差と並んで、発せられた確率が実現した頻度と一致するか否かを検定する。二つの検証段階が同じ0.05の下限を共有するのは、数値の偶然と可読性の選択によるのであって、二重処罰によるのではない。両者は異なる失敗の様式を測る。閾値はBSS ≥ 0.05である。起源は、グレン・ブライアー「Verification of Forecasts Expressed in Terms of Probability」(Monthly Weather Review、1950年)である。
一般的な誤用
訓練データの上で正のBSSを報告し、これを本番運用における予測技能の証拠として扱うことである。訓練データの上のBSSは、適合によって水増しされている。標本外のBSSのみが情報を持つ。
相互参照:検証段階1b · 検証段階4 · 期待較正誤差 · 確率的較正
期待較正誤差(Expected Calibration Error、ECE)
予測の表明された確信度と実現した頻度との間の絶対差の平均を、確信度のビンを通じて集計したものである。検証段階4における閾値はECE ≤ 0.05である。
期待較正誤差は、予測の表明された確信度と実現した頻度との間の絶対差の平均を、確信度のビンを通じて集計して測る。予測が繰り返し70%の確信度を表明しながら、正しいのが55%の時間にとどまるならば、ECEはその較正の欠如を捕捉する。Nyalaiの枠組みにおいて、ECEは検証段階4(確率的較正)の第二の検定である。予測は、方向において正しく(誤るよりも多く正しく)ありながら、深刻に較正を欠く(その確信度の数字が的中率と一致しない)ことがあり得る。較正を欠いた確信度はポジション・サイジングを壊す。ケリー型またはリスク・パリティ型の配分が、確信度の見積りの信頼性に依存するからである。
一般的な誤用
訓練ウィンドウの上で良く較正された予測が、本番運用においても較正されたままであると想定することである。分布のドリフトが、ECEの劣化の最も一般的な原因である。
相互参照:検証段階4 · ブライアスキルスコア · ケリー基準
隠れマルコフモデル(Hidden Markov Model、HMM)
観測可能なデータが、確率的に遷移する潜在状態によって生成される系を記述するための統計的枠組みである。検証段階4におけるレジーム検出に用いられる。
隠れマルコフモデルは、観測可能なデータが、確率的に遷移する潜在(観測不能な)状態によって生成される系を記述するための統計的枠組みである。クオンツ金融において、HMMは典型的には、市場データにおけるレジーム変化の検出に用いられる。観測可能なのはリターン系列であり、潜在状態はレジーム(たとえば強気、横ばい、弱気、またはデータから推論されるより細かな状態)である。HMMは、潜在状態の数を選び、バウム=ウェルチのようなアルゴリズムを用いてデータから遷移行列を推定することを要求する。ひとたび適合されれば、HMMは各々の歴史的期間に最も確からしいレジームのラベルを与えることができ、これにより、レジームを条件として戦略の運用成果を検定することが可能になる。Nyalaiの枠組みにおいて、HMMによるレジーム検出は、検証段階4(レジーム横断的頑健性)の一つの運用化である。
一般的な誤用
過剰な数の状態でHMMを適合させ、あらゆるミクロ・レジームにおいて正のシャープレシオを持つがゆえに戦略が検証段階4を通過すると主張することである。状態の数は、それ自体が誘導探索の規律に服するハイパーパラメータである。
相互参照:検証段階4 · レジーム横断的頑健性 · バウム=ウェルチ · 潜在状態
ブートストラップのブロック・サイズ(bootstrap block size)
継続性のために用語を維持 · 検証段階5における再抽出の具体的手法はドクトリン v0.3.4 で再仕様化中である。
本用語は参照の目印として用語集に保持されている。検証段階5(ブートストラップ信頼区間)で用いられる具体的な再抽出手法は、ドクトリン v0.3.4 において再仕様化の途上にある。実質的な定義は v0.3.4 の封緘された方法論と同時に再発行される。それまでの間、現行の cice 実装が支持しない方法論的詳細を主張することを避けるため、本項は意図的に最小限にとどめられている。
一般的な誤用
v0.3.4 が仕様を封緘する以前に、本用語を Nyalai の確定した方法論的選択を名指すものとして引用すること。
相互参照:検証段階5 · 再現性の付属書
誘導探索バイアス(guided-search bias)
開発の間の方向づけられた探索によって引き起こされる、戦略の見かけの有意性の水増しである。検証段階3において、アロンソン・マスターズの並べ替え検定により補正される。
誘導探索バイアスとは、開発者が多数の変種を検定し、最も良く成績を上げたものを残したことによって引き起こされる、戦略の見かけの統計的有意性の水増しである。これが通常の多重検定バイアスと異なるのは、探索がランダムではなく、先行する検定の結果によって方向づけられている点である。機械学習のワークフロー、Optunaによるハイパーパラメータの走査、ウォークフォワードの構成探索、および反復的な特徴量エンジニアリングは、いずれも既定で誘導探索バイアスを持ち込む。アロンソン・マスターズの並べ替え検定(2013年)は、開示された検定済み構成の数について、有意性の見積りを補正するように設計されている。Nyalaiの枠組みにおいて、検証段階3(誘導探索の安全性)はこの補正を用いる。
一般的な誤用
最終アンサンブルにおいて検定された構成の数を開示しながら、入れ子になったチューニングの層(特徴量選択のパス、構成ごとのハイパーパラメータのグリッド)を省くことである。誘導探索のすべての層が数えられなければならない。
相互参照:検証段階3 · アロンソン・マスターズ検定 · デフレーテッド・シャープレシオ · Optuna
統計的推論の時間軸(statistical inference horizon)
リターン分布についての主張が信頼に足る形で推定されるために必要な、歴史的データの長さである。金融時系列においては、主張が成り立つべき期間に比して、不快なほどに長い。
統計的推論の時間軸とは、分布またはリターン・プレミアムについての主張が信頼に足る形で推定されるために必要な、歴史的データの長さである。金融時系列において、この時間軸は、基礎にある主張が成り立つべき時間軸と比べて不快なほどに長い。ファーマとフレンチの2018年の論文「Volatility Lessons」(Financial Analysts Journal)は、10年の移動ウィンドウでさえ、誤導的な実現プレミアムのかなりの確率を許すことを文書化している。言い換えれば、10年のデータは、真の優位性を幸運な経路から区別するのに十分でないことがあり得る。Nyalaiの枠組みにおいて、統計的推論の時間軸は、外部からの対抗的検証がなぜ任意ではなく必要であるのかを根拠づけるために、拒否原則第Ⅱ.7節で援用される。
一般的な誤用
20年のデータのうち、どの割合が真正に標本外であり、どの割合が先行する標本内の最適化によって汚染されているかを検討することなしに、20年のデータを戦略の検証に十分であると主張することである。
相互参照:ファーマとフレンチ · 第Ⅱ.7節 · 第四象限 · 順序コミットメント
レジーム検出(regime detection)
市場の時系列における別個の統計的状態の特定であり、これにより、戦略の運用成果を、集計のみではなくレジームを条件として評価することが可能になる。
レジーム検出とは、市場の時系列における別個の統計的状態の特定であり、これにより、戦略の運用成果は、集計のみではなくレジームを条件として評価され得る。その根拠は、集計では収益的な戦略の多くが、実際には単一のレジームに集中しており、他のレジームでは損失を出すことにある。レジーム検出は、明示的であること(移動パーセンタイルの区分、実現ボラティリティやトレンドに対する閾値ベースの分類器)も、隠れマルコフモデルその他の潜在状態アプローチによりデータから推論されることもある。選択が開示され、レジームの数が正当化される限り、いずれも正当である。Nyalaiの枠組みにおいて、検証段階2(レジーム横断的頑健性)は、検出されたすべてのレジームにおいて正のシャープレシオを要求する。
一般的な誤用
レジームごとの運用成果を明示的に分解することなしに、集計ウィンドウのシャープレシオを用いて、レジーム横断的な頑健性を主張することである。
相互参照:検証段階2 · 隠れマルコフモデル · 潜在状態 · レジーム横断的頑健性
潜在状態(latent state)
観測可能な挙動を支配しながら、直接には測定されない変数である。市場レジームは、クオンツ金融における正典的な潜在状態である。
潜在状態とは、系の観測可能な挙動を支配しながら、直接には観測できない変数である。クオンツ金融において、市場レジームは正典的な潜在状態である。リターン系列は観測可能であるが、基礎にあるレジーム(強気、弱気、横ばい、またはより細かな粒度)は、直接に測定されるのではなく、推論される。隠れマルコフモデルは、時系列における潜在状態推論の標準的な枠組みである。潜在状態の数、それらの間の遷移行列、および各状態を条件とする観測可能な分布は、いずれもデータから推定される。
一般的な誤用
その解釈の実証的な検証なしに、潜在状態が現実世界の意味論的な意味を持つかのようにHMMの出力を扱うこと(たとえば状態3を強気と解釈すること)である。
相互参照:隠れマルコフモデル · 検証段階2 · バウム=ウェルチ
独立性原則(規則7・sovereignty rule)
戦略の生産者と戦略の評価者との間の分離という、Nyalaiの構造的要件である。拒否原則第Ⅴ節および第Ⅹ節において正式化されている。
独立性原則(規則7)は、戦略を開発する当事者とそれを評価する当事者との間の構造的分離という、Nyalaiの要件である。拒否原則第Ⅴ節および第Ⅹ節において正式化されたこの規則は、Nyalaiに対し、検証の対象である主体との戦略の共同開発、提出者の持分の取得、判定の帰結に連動する報酬の受領、およびモデル・オーナーとの運用上の利得の共有を禁じる。この規則は、職業上の選好の問題ではない。Nyalaiの判定を、信頼によってではなく構造によって独立たらしめる構造的制約である。実務においては、個人的な友情は公開の記録として開示される。友情は失格の事由ではない。独立を保つのは、共有された経済的利得の不在である。
一般的な誤用
「われわれは互いを知っている」が「われわれは互いを監査できない」に等しいと想定することである。綱領は、個人的関係(許容され、開示される)と、共有された経済的利得(禁止される)とを区別する。
相互参照:第Ⅴ.3節 · 第Ⅹ節 · 順序コミットメント
判定書(verdict-form)
Nyalaiの正典的な出力文書である。判定(較正済みまたは未較正)、検証段階ごとの算術、判定の適用範囲の表明、三点検証パネル、および再現性の付属書を報告する。CC0の下で公表される。
判定書とは、Nyalaiの正典的な出力文書である。判定(較正済み(CALIBRATED)または未較正(NOT-CALIBRATED))、検証段階ごとの算術、判定の適用範囲の表明、三点検証パネル、および再現性の付属書を報告する、markdownまたはウェブページとして構造化された文書である。すべての判定書は、署名され、タイムスタンプを付され、ハッシュ値により係留され、CC0の下で公表される。参照事例R-01(例示としての較正済みの事例)と、Synapse v0.3に対する判定書001(未較正)は、現行の最初の二つの実例である。判定書は、機関による引用のために設計されている。モデル・オーナー、独立の検証者、内部監査、および規制当局のすべてが、それぞれの機関上の役割から同一の文書を参照できる。
一般的な誤用
判定書を投資推奨として扱うことである。較正済みの判定は、特定の台帳の上でのモデルの較正についての表明であって、資本を配分せよというシグナルではない。
相互参照:判定の適用範囲の表明 · モデル信頼水準 · 順序コミットメント
モデル信頼水準(Model Trust Level、MTL)
確率的予測システムにどれだけの信頼を置くべきかについての、Nyalaiの五層の分類体系である。MTL-1の未検定からMTL-5の継続的にライブ検証済みまで。厳密な入れ子である。
モデル信頼水準は、アセットオーナーが確率的予測システムに置くべき信頼の程度についての、Nyalaiの五層の分類体系である。MTL-1は未検定である。MTL-2は名目的に較正済み(検証段階1と4を通過)である。MTL-3は頑健に較正済み(検証段階2を加える)である。MTL-4は対抗的に検証済み(五つの検証段階のすべてに加え、独立性原則の執行)である。MTL-5は継続的にライブ検証済み(逐次のドリフト検出を加える)である。水準は厳密に入れ子である。MTL-Nは、すべてのより低い水準のすべての要件を含む。各MTLは、推奨される運用配備の文脈を伴う。
一般的な誤用
綱領のバージョンと評価の日付を示すことなしに、MTLを付与することである。MTLは時間の限定を伴う。スタイル・ドリフトまたは台帳の延長の下で失効する。
相互参照:拒否原則第Ⅹ節 · スタイル・ドリフト · 判定の適用範囲の表明
第四象限(Fourth Quadrant、タレブ)
複雑なペイオフがファットテールの分布と出会う、タレブの意思決定の領域である。標準的な統計的推論が機能しなくなり、対抗的検証が必要となる場所である。
第四象限は、ナシーム・タレブが2008年のEdge.org論考と、2009年のInternational Journal of Forecasting誌上の後続論文において明確化したものであり、複雑なペイオフ(非線形で、上限のない損失の可能性)がファットテールの分布(レジームの転換、ジャンプ)と出会う意思決定の領域である。標準的な統計的推論が機能しなくなる領域である。SR 11-7および同等のガイダンスの下で実務される機関のモデル・リスク管理は、意思決定の最初の三つの象限には十分に対応している。第四象限は、標準的な実務が機能しなくなり、外部からの対抗的検証が必要となる場所である。Nyalaiの枠づけにおいて、第四象限は拒否原則第Ⅰ.4節である。
一般的な誤用
第四象限を、専門化された検証を要する領域としてではなく、回避すべき警告として扱うことである。Nyalaiの立場は、第四象限こそ興味深い問題の在り処であり、正しい道具とともに立ち入られなければならない、というものである。
相互参照:タレブ · 第Ⅰ.4節 · 統計的推論の時間軸
順序コミットメント(sequence commitment)
提出物の完全性をめぐる、Nyalaiの操作の順序の規則である。提出物は、下流の使用が論じられる前に凍結される。同意は、判定が下された後に収集される。
順序コミットメントとは、提出物の完全性をめぐる、Nyalaiの操作の順序の規則である。提出物は、判定の下流の使用についてのいかなる会話よりも前に、凍結(タイムスタンプの付与とハッシュ化)される。公表または下流での参照への同意は、判定が下された後に、提出者が確認する文書の上で収集される。下流の使用の拒否は、判定そのものを変更しない。その目的は、提出者が、公表に同意する前に判定がどうなるかを知り、判定が不利である場合に同意を差し控えるという失敗様式の類型を防ぐことにある。拒否原則第Ⅻ.4節において正式化されている。
一般的な誤用
「私は非公開の評価を求めたのだから、結果は非公開にとどまる」が順序コミットメントを満たすと想定することである。そうではない。評価は提出の時点で凍結される。同意に服するのは、公表の経路のみである。
相互参照:拒否原則第Ⅻ.4節 · 判定書 · 独立性原則
三点検証パネル(triangulation panel)
すべての判定についての、Nyalaiによる三つのレンズの文脈化である。リスクの型、事業の型、および規制の枠組みの掛け合わせ。BNYメロンにおけるセンティル・クマールの枠組みを適合させたものである。
三点検証パネルは、Nyalaiがセンティル・クマールの機関リスク管理の実務(元BNYメロン最高リスク管理責任者、現ハンティントン銀行最高リスク管理責任者)から採用する、三つのレンズの枠組みである。すべての判定書は、三つの次元にわたって判定を文脈化する。すなわち、アセットオーナーが曝露されるリスクの型(信用、市場、オペレーショナル、流動性、モデル、カウンターパーティ)、判定が較正される事業の型(機関のマルチ・マネージャー・プール、単一戦略ファンド、ファミリーオフィスなど)、および運用配備の場所における規制の枠組み(SR 11-7、ソルベンシーII、ACPR、ISDA SIMMなど)である。その目的は、判定が較正された三点検証のセルの外での、判定の誤適用を防ぐことにある。拒否原則第Ⅸ.11節において正式化されている。
一般的な誤用
判定書のエグゼクティブ・サマリーを読み、再評価なしに、その三点検証のセルの外で判定を適用することである。三点検証パネルは警告ラベルであって、装飾的な節ではない。
相互参照:センティル・クマール · 第Ⅸ.11節 · 判定の適用範囲の表明
