方法论 · 一页说明
五道对抗性关口。一个二值判定。
Nyalai作出的判定,要么是CALIBRATED(通过),要么是NOT-CALIBRATED(未通过)。提交本身并不保证一定能作出判定。若发现某一判定建立在错误之上,可通过公开的更正公告予以撤回;撤回并不是第三种验证结果。每道关口都采用与其具体问题相适应的统计框架。通过全部五道关口的策略获得CALIBRATED判定;未通过其中任何一道的策略即被拒绝。
问题陈述
策略运行之处:第四象限。
在Nassim Taleb于2008年发表的分类中,决策沿两条轴划分:损益结构是简单还是复杂,以及底层的随机性来自薄尾分布还是厚尾分布。量化策略运行于“复杂且厚尾”的区域:非线性损益、潜在损失无上限、市场状态的切换。我们的《拒绝原则》认为,正是在这里,统计推断最为困难,模型失效的代价也最为高昂。Nyalai的立场是:在那里运行的系统,应当再接受一层独立于其构建方的对抗性检验。这是Nyalai的立场,而非监管要求。关于模型风险管理的监管指引,在美国即2026年4月发布、取代SR 11-7的SR 26-2,是为银行机构所运行的模型而制定的。
五道关口
每道关口都采用与其自身问题相适应的统计框架。
采用模块化验证方法论,即Joseph Simonian于2020年在《Journal of Financial Data Science》上所阐述的框架。下面每道关口都注明了它所落实的、经同行评审的方法论。每个阈值都附有明确的理由。凡偏离标准方法之处,都会在判定书中标明。
识别这样的策略:其观测到的优势,在对多重检验、收益的非正态性以及观测窗口长度作出校正之后,便不复存在。
识别这样的策略:其盈利集中于单一市场状态,一旦遇到未曾经历的市场状态,表现便会恶化。
识别这样的策略:其显著性在开发过程中被定向探索所抬高,而这正是机器学习工作流程默认会产生的失效模式。
识别这样的策略:其声明的置信度估计与实际结果相背离。一个方向正确却校准失当的信号,会使头寸规模的设定失效。
识别这样的策略:其预期优势为正,但方差大到在现实的路径变化下,策略可能无法保持盈利。
部署等级体系
模型信任等级。从MTL-1未经检验到MTL-5实盘。
一套共享的用语,用来表达对一个概率预测系统应给予多大信任。按强度升序编号。每一等级由通过特定关口的实证结果界定。严格嵌套。每一等级二值判定。可公开质疑。有时间限制。
Nyalai给予的每一个MTL等级都可以通过判定书所附的审计追踪公开质疑。第三方可以对该等级提出异议,并可要求查阅代码和冻结的输入数据,以复现计算。
资产配置方收到什么
一份按医学报告结构编排的判定书。
先列结论,方法论可应要求提供,参考文献列明以备审计。分两层:上层以机构用语陈述判定;下层提供技术证据。上层的表述永远不超出下层所能支持的范围。
判定范围说明
市场状态范围、头寸规模包络、组合构建假设。在包络之外部署,判定即告失效。对一个信号的判定,不是对用该信号构建的组合的判定。
三角定位面板
风险类别×业务情境×监管框架。改编自Senthil Kumar担任BNY Mellon首席风险官期间建立的“三透镜”框架。针对某一三角定位单元作出的判定,不延伸至另一单元。
沟通层
上层为资产配置方用语(收益缺口、回撤、流动性、声誉难堪,依据Matt Bank在GEM提出的“四骑士”框架)。下层为技术证据(DSR、BSS、ECE、自助法置信区间)。两层缺一不可。
引用指引
判定书的设计,使机构三道防线中的模型所有者、独立验证方和内部审计都能引用它。“是框架,而非模型”:这一思路来自Acadia的Roland Stamm。
可复现性附录
所适用的《拒绝原则》版本、ʼCɩcɛ验证程序代码的commit哈希、统计软件包版本、随机种子、自助法参数、HMM状态数、数据来源。可应要求提供代码和冻结输入数据的访问权限。
风格漂移触发条件
特征、交易品种范围、风险参数或所声称问题领域的任何实质性变化,都会使先前的判定失效。必须重新验证,这不是可选项。
输入完整性
序列承诺。
在作出判定之前,Nyalai从不请求公开某个案例或在任何后续决策中使用它的许可。公开或后续引用的同意,在判定作出之后、在提交方审阅的一份文件上收集。拒绝后续使用,不会改变判定本身。
一、提交内容首先冻结。在任何关于后续使用的对话开始之前,即记录时间戳和哈希。
二、检验在作者不知晓后果的情况下进行。评估期间,策略作者从不会被告知判定可能带来哪些后续影响。
三、同意在判定之后取得。公开发布、向私人客户披露、汇总研究或外部引用,均以判定确定之后收集的同意为条件。
这不是对心理状态的承诺,而是一项由Nyalai掌控、任何第三方都可审计的序列承诺,即对操作顺序的承诺。依据《拒绝原则》第12.4节。这关乎有效性,而非美德。
各道关口的规格是公开的。
各道关口及其阈值记载于《拒绝原则》页面;该页面是对封存为v0.3.3.1之文本的编辑性节选,以CC0 1.0公开。封存文本由Nyalai保存,在其引文登记核实完成之前,可应要求提供。任何人都可以重新实现该方法、对其提出质疑,或另辟蹊径。
