方法論・CICEの内部
CICE。拒否原則のコードの番人。
CICEは、Nyalaiの検証パッケージであり、提出された台帳の上で検証段階の算術を実行する、決定論的なPythonコードである。バージョン管理されている。検証段階の算術そのものに、言語モデルは一切介在しない。リポジトリは非公開である。実装の詳細および再現性に関する資料の一部は、開示が可能な範囲で、請求により提供される。
ʼCɩcɛ・ベテ語(クル語群、コートジボワール)・意味は鷲・発音「チチェ」CICEとは
二つの検証器、一つのパッケージ。
CICEには二つの検証器がある。それぞれが、提出される台帳の一つの型に適用される。算術は、numpyとscipyを用いて書かれた決定論的なPythonコードである。プリフライトのプローブは、pandasも用いる。言語モデルは一切関与しない。
| 検証器 | 適用対象 | 検査 | 出力 |
|---|---|---|---|
IronGloveValidator | リターン系列 | アウト・オブ・サンプルの検査。自明なベンチマークとの比較。デフレーテッド・シャープレシオ。CSCVによるバックテスト過学習の確率。パージとエンバーゴを伴う組合せ的パージ付き交差検証(CPCV)。観測値が8件以上ある各レジームにおけるシャープレシオ。 | GO、NO-GO、または開示待ちの保留 |
CalibrationJudge | 確率予測の台帳 | 基準率に対するブライアスキルスコア(閾値0.05)。期待較正誤差(閾値0.05)。結果の並べ替え(1000回)。観測値が8件以上ある各レジームにおいて、技能が零を上回り、較正誤差が0.10以下であること。ブライアスキルスコアのブートストラップ区間(再抽出1000回)。 | CALIBRATED、NOT-CALIBRATED、または開示待ちの保留 |
限界
パッケージが現時点で行わないこと。
綱領第Ⅸ.3節が定める、検定された構成の数に対する補正を伴う並べ替え検定は、リターン系列については実装されていない。
綱領第Ⅸ.5節が定めるシャープレシオのブートストラップは、リターン系列については実装されていない。パッケージが計算するのは過学習の確率であり、これは別の量である。
パッケージは、計算できない検査を、計算不能として報告し、持ち越す。判定書に記載されるNON-COMPUTABLEやNOT APPLICABLEといった状態は、理由とともに、判定書が記す。
判定書002は、その数値のうち、実行の後に再計算されたものを明記していた。訂正通知CN-003はその判定を撤回し、あわせて、記録によって裏付けられないこの記載の部分を撤回した。
アクセス
リポジトリは非公開である。
拒否原則と検証段階の仕様は、クリエイティブ・コモンズ・ゼロの下で公表されている。検証コードは公開されていない。機関による審査のための、コードおよび判定の凍結された入力へのアクセスは、開示が可能な範囲で、請求により認められる。
検証段階の仕様はCC0の下にある。
検証段階の仕様は、方法論の頁および綱領に、クリエイティブ・コモンズ・ゼロの下で文書化されている。機関による審査のためのリポジトリへのアクセスは、開示が可能な範囲で、請求により認められる。
関連