NyalaiNyalai首页
方法论 · 《拒绝原则》v0.3.3.1联系我们

方法论 · 一页说明

五道对抗性关口。一个二值判定。

Nyalai作出的判定,要么是CALIBRATED(通过),要么是NOT-CALIBRATED(未通过)。提交本身并不保证一定能作出判定。若发现某一判定建立在错误之上,可通过公开的更正公告予以撤回;撤回并不是第三种验证结果。每道关口都采用与其具体问题相适应的统计框架。通过全部五道关口的策略获得CALIBRATED判定;未通过其中任何一道的策略即被拒绝。

问题陈述

策略运行之处:第四象限。

在Nassim Taleb于2008年发表的分类中,决策沿两条轴划分:损益结构是简单还是复杂,以及底层的随机性来自薄尾分布还是厚尾分布。量化策略运行于“复杂且厚尾”的区域:非线性损益、潜在损失无上限、市场状态的切换。我们的《拒绝原则》认为,正是在这里,统计推断最为困难,模型失效的代价也最为高昂。Nyalai的立场是:在那里运行的系统,应当再接受一层独立于其构建方的对抗性检验。这是Nyalai的立场,而非监管要求。关于模型风险管理的监管指引,在美国即2026年4月发布、取代SR 11-7的SR 26-2,是为银行机构所运行的模型而制定的。

五道关口

每道关口都采用与其自身问题相适应的统计框架。

采用模块化验证方法论,即Joseph Simonian于2020年在《Journal of Financial Data Science》上所阐述的框架。下面每道关口都注明了它所落实的、经同行评审的方法论。每个阈值都附有明确的理由。凡偏离标准方法之处,都会在判定书中标明。

关口1
统计脆弱性
检验
对产生收益的策略,使用通缩夏普比率(Deflated Sharpe Ratio,DSR,关口1a),该方法由Bailey与López de Prado于2014年提出;对概率预测系统,使用Brier技巧评分(BSS,关口1b),源自Brier于1950年的工作,并按Murphy于1973年的表述加以操作化。参见《拒绝原则》§9.1。
阈值
DSR ≥ 0.95(关口1a)或BSS ≥ 0.05(关口1b),依据《拒绝原则》§9.1

识别这样的策略:其观测到的优势,在对多重检验、收益的非正态性以及观测窗口长度作出校正之后,便不复存在。

关口2
跨市场状态稳健性
检验
隐马尔可夫模型(HMM)市场状态识别,并按市场状态分解业绩
阈值
在识别出的每一个市场状态中,夏普比率 > 0

识别这样的策略:其盈利集中于单一市场状态,一旦遇到未曾经历的市场状态,表现便会恶化。

关口3
引导式搜索安全性
检验
依据Aronson与Masters于2013年著作的、具备引导式搜索安全性(guided-search safety)的置换检验
阈值
按所披露的受测配置数量校正后,p < 0.05

识别这样的策略:其显著性在开发过程中被定向探索所抬高,而这正是机器学习工作流程默认会产生的失效模式。

关口4
概率校准
检验
相对于朴素基准的Brier技巧评分(BSS);期望校准误差(ECE)
阈值
BSS ≥ 0.05,ECE ≤ 0.05

识别这样的策略:其声明的置信度估计与实际结果相背离。一个方向正确却校准失当的信号,会使头寸规模的设定失效。

关口5
自助法置信度
检验
自助法(bootstrap)置信区间 · 针对自相关收益采用分块自助法(block bootstrap)
阈值
扣除成本后,95%置信区间下限 > 0

识别这样的策略:其预期优势为正,但方差大到在现实的路径变化下,策略可能无法保持盈利。

部署等级体系

模型信任等级。从MTL-1未经检验到MTL-5实盘。

一套共享的用语,用来表达对一个概率预测系统应给予多大信任。按强度升序编号。每一等级由通过特定关口的实证结果界定。严格嵌套。每一等级二值判定。可公开质疑。有时间限制。

MTL1
未经检验
未进行独立验证。无公开方法论。无业绩记录。
上线前研究 · 不可用于资本配置
MTL2
名义校准
在一份有完整记录的、至少包含200条已有结果观测的台账上,通过关口1(依据§9.1,为关口1a的DSR或关口1b的BSS)和关口4。
参考信号 · 永远不可作为唯一的配置信号
MTL3
稳健校准
达到MTL-2,并通过关口2跨市场状态稳健性检验。失效模式公开记录。
多信号组合 · 有限额的受控敞口,每季度重新验证
MTL4
对抗性验证
达到MTL-3,并通过关口3引导式搜索安全性和关口5自助法置信度检验。执行独立性规则第七条:验证方与策略作者在结构上相互独立。
主要配置信号 · 机构级规模,每半年重新验证,每年公开报告
MTL5
持续实盘验证
达到MTL-4,并具备滚动更新的实时判定。自动漂移检测,市场状态变化时强制重新验证。
关键任务实盘交易 · 在持续监督下规模化部署

Nyalai给予的每一个MTL等级都可以通过判定书所附的审计追踪公开质疑。第三方可以对该等级提出异议,并可要求查阅代码和冻结的输入数据,以复现计算。

资产配置方收到什么

一份按医学报告结构编排的判定书。

先列结论,方法论可应要求提供,参考文献列明以备审计。分两层:上层以机构用语陈述判定;下层提供技术证据。上层的表述永远不超出下层所能支持的范围。

判定范围说明

市场状态范围、头寸规模包络、组合构建假设。在包络之外部署,判定即告失效。对一个信号的判定,不是对用该信号构建的组合的判定。

三角定位面板

风险类别×业务情境×监管框架。改编自Senthil Kumar担任BNY Mellon首席风险官期间建立的“三透镜”框架。针对某一三角定位单元作出的判定,不延伸至另一单元。

沟通层

上层为资产配置方用语(收益缺口、回撤、流动性、声誉难堪,依据Matt Bank在GEM提出的“四骑士”框架)。下层为技术证据(DSR、BSS、ECE、自助法置信区间)。两层缺一不可。

引用指引

判定书的设计,使机构三道防线中的模型所有者、独立验证方和内部审计都能引用它。“是框架,而非模型”:这一思路来自Acadia的Roland Stamm。

可复现性附录

所适用的《拒绝原则》版本、ʼCɩcɛ验证程序代码的commit哈希、统计软件包版本、随机种子、自助法参数、HMM状态数、数据来源。可应要求提供代码和冻结输入数据的访问权限。

风格漂移触发条件

特征、交易品种范围、风险参数或所声称问题领域的任何实质性变化,都会使先前的判定失效。必须重新验证,这不是可选项。

输入完整性

序列承诺。

在作出判定之前,Nyalai从不请求公开某个案例或在任何后续决策中使用它的许可。公开或后续引用的同意,在判定作出之后、在提交方审阅的一份文件上收集。拒绝后续使用,不会改变判定本身。

一、提交内容首先冻结。在任何关于后续使用的对话开始之前,即记录时间戳和哈希。

二、检验在作者不知晓后果的情况下进行。评估期间,策略作者从不会被告知判定可能带来哪些后续影响。

三、同意在判定之后取得。公开发布、向私人客户披露、汇总研究或外部引用,均以判定确定之后收集的同意为条件。

这不是对心理状态的承诺,而是一项由Nyalai掌控、任何第三方都可审计的序列承诺,即对操作顺序的承诺。依据《拒绝原则》第12.4节。这关乎有效性,而非美德。

各道关口的规格是公开的。

各道关口及其阈值记载于《拒绝原则》页面;该页面是对封存为v0.3.3.1之文本的编辑性节选,以CC0 1.0公开。封存文本由Nyalai保存,在其引文登记核实完成之前,可应要求提供。任何人都可以重新实现该方法、对其提出质疑,或另辟蹊径。

返回