通缩夏普比率(Deflated Sharpe Ratio,DSR)
对观测到的夏普比率针对多重检验、非正态收益和观测窗口长度所作的校正。关口1a的阈值为DSR ≥ 0.95(产生收益的策略;依据《拒绝原则》§9.1的分叉)。
通缩夏普比率由Bailey和López de Prado于2014年发表在《Journal of Portfolio Management》上,它对观测到的夏普比率就三种在常规使用中会抬高它的偏差作出校正:多重检验、收益的非正态性,以及观测窗口的长度。DSR值接近1.0意味着观测到的夏普比率几乎必然能经受住校正;DSR低于0.5意味着观测到的夏普比率很可能是搜索过程的统计假象,而非真实优势。在Nyalai的五道关口框架中,DSR是关口1a(产生收益的策略的统计脆弱性)所使用的检验,依据《拒绝原则》§9.1。概率预测系统则在关口1b使用Brier技巧评分进行评估。
常见误用
引用原始夏普比率作为优势的证据,而不披露开发期间测试的配置数量。没有那个数字,DSR无法被诚实地计算,原始夏普比率也无法被解释。
交叉引用:关口1 · 引导式搜索偏差 · 统计推断时间跨度
Brier技巧评分(Brier Skill Score,BSS)
将概率预测与朴素基准进行比较。正的BSS意味着校准技能;负的意味着比基础率更差。阈值BSS ≥ 0.05适用于关口1b(概率预测系统,统计脆弱性)和关口4(概率校准)。
Brier技巧评分将一个概率预测的校准与一个朴素基准(通常是基础率)进行比较。它的范围从负无穷到1。BSS为0意味着预测并不比朴素基准更好。BSS高于0意味着预测增加了校准技能;BSS低于0意味着预测比总是预测基础率更差。在Nyalai的框架中,BSS承载于两道关口。在关口1b(概率预测系统的统计脆弱性,依据《拒绝原则》§9.1),BSS检验在探索校正后超出偶然的总技能。在关口4(概率校准),BSS与期望校准误差并列,检验发出的概率是否与已实现频率匹配。两道关口共享0.05的下限,是数值上的巧合和可读性的选择,而非双重危险:它们度量不同的失效模式。阈值是BSS ≥ 0.05。来源:Glenn Brier, Verification of Forecasts Expressed in Terms of Probability, Monthly Weather Review, 1950。
常见误用
在训练数据上报告正的BSS,并将其视为生产环境中预测技能的证据。训练数据上的BSS被拟合所抬高;只有样本外BSS才携带信息。
交叉引用:关口1b · 关口4 · 期望校准误差 · 概率校准
期望校准误差(Expected Calibration Error,ECE)
预测所声明的置信度与其在置信度分箱上的已实现频率之间的平均绝对差距。关口4的阈值为ECE ≤ 0.05。
期望校准误差度量预测所声明的置信度与其已实现频率之间的平均绝对差距,在置信度分箱上汇总。如果一个预测反复声称70%置信度,但只有55%的时候是对的,ECE捕捉到这种校准失当。在Nyalai的框架中,ECE是关口4(概率校准)的第二个检验。一个预测可以方向正确(对多于错),但严重校准失当(其置信度数字与其准确性不匹配)。校准失当的置信度会破坏头寸规模设定,因为凯利式或风险平价配置依赖于置信度估计是可信的。
常见误用
假设在训练窗口上校准良好的预测在生产环境中保持校准。分布漂移是ECE退化的最常见原因。
交叉引用:关口4 · Brier技巧评分 · 凯利准则
隐马尔可夫模型(Hidden Markov Model,HMM)
一种统计框架,用于描述可观察数据由以概率方式转换的潜在状态所生成的系统。用于关口2的市场状态识别。
隐马尔可夫模型是一种统计框架,用于描述可观察数据由以概率方式转换的潜在(不可观察)状态所生成的系统。在量化金融中,HMM通常用于检测市场数据中的市场状态变化:可观察量是收益序列,潜在状态是市场状态(例如牛市、横盘、熊市,或从数据推断出的更细粒度状态)。HMM需要选择潜在状态的数量,并使用Baum-Welch等算法从数据估计转移矩阵。一旦拟合,HMM可以为每个历史时期标注其最可能的市场状态,从而允许以市场状态为条件检验策略业绩。在Nyalai的框架中,HMM市场状态识别是关口2(跨市场状态稳健性)的一种操作化。
常见误用
用过多状态拟合一个HMM,然后声称一个策略通过关口2,因为它在每一个微观市场状态中都有正的夏普比率。状态数量本身是一个超参数,受引导式搜索纪律的约束。
交叉引用:关口2 · 跨市场状态稳健性 · Baum-Welch · 潜在状态
自助法分块长度(Bootstrap block size)
当自助法应用于观测不独立的序列时,被一起重抽样的分块的长度。关口5的重抽样方法正在重新规格化中。
《拒绝原则》的关口5规定的是夏普比率的自助法。当观测在时间上相关时,逐一重抽样它们会低估不确定性,于是改为重抽样连续观测的分块;分块长度就是那些分块的长度。验证包目前未实现对夏普比率的分块自助法,该方法正在重新规格化中。判定书002未计算此自助法;其判定由更正公告CN-003撤回。
常见误用
引用一个自助法区间而不说明重抽样是独立的还是分块的,以及分块长度是多少。
交叉引用:关口5 · 可复现性附录
引导式搜索偏差(Guided-search bias)
由开发期间的定向探索所造成的策略表面显著性的膨胀。在关口3由Aronson-Masters置换检验校正。
引导式搜索偏差是由开发者测试了许多变体并保留了表现最好的那一个所造成的策略表面统计显著性的膨胀。它不同于普通的多重检验偏差,因为搜索是由先前测试的结果所引导的,而非随机的。机器学习工作流程、Optuna超参数扫描、前向滚动配置搜索和迭代式特征工程,默认都会引入引导式搜索偏差。2013年的Aronson-Masters置换检验,被设计来针对所披露的测试配置数量校正显著性估计。在Nyalai的框架中,关口3(引导式搜索安全性)使用这一校正。
常见误用
披露最终集成中测试的配置数量,却遗漏嵌套的调优层(特征选择通过、每个配置的超参数网格)。所有引导式搜索的层都必须被计数。
交叉引用:关口3 · Aronson-Masters检验 · 通缩夏普比率 · Optuna
统计推断时间跨度(Statistical inference horizon)
关于收益分布的论断被可靠估计所需的历史数据长度。在金融时间序列中,相对于该论断需要成立的时间而言,长得令人不安。
统计推断时间跨度是关于一个分布或一个收益溢价的论断被可靠估计所需的历史数据长度。在金融时间序列中,这一时间跨度相对于底层论断需要成立的时间跨度而言,长得令人不安。Fama和French于2018年发表的论文《Volatility Lessons》(《Financial Analysts Journal》)记录到,即使是十年滚动窗口也容许相当概率的误导性已实现溢价。换言之,十年的数据可能不足以区分真实优势与幸运路径。在Nyalai的框架中,统计推断时间跨度在《拒绝原则》第2.7节被援引,以论证为何外部对抗性验证是必需的而非可选的。
常见误用
声称二十年的数据足以验证一个策略,而不检查这二十年中有多少比例是真正的样本外,多少被先前的样本内优化所污染。
交叉引用:Fama-French · 第2.7节 · 第四象限 · 序列承诺
市场状态识别(Regime detection)
识别市场时间序列中不同的统计状态,使策略业绩可以以市场状态为条件来评估,而不仅仅是在总体上。
市场状态识别是识别市场时间序列中不同的统计状态,使策略业绩可以以市场状态为条件来评估,而不仅仅是在总体上。其理据是,许多总体上盈利的策略实际上集中于单一市场状态,在其他状态中亏钱。市场状态识别可以是显式的(滚动百分位桶、基于已实现波动率或趋势的阈值分类器),或通过隐马尔可夫模型或其他潜在状态方法从数据推断。两者都是正当的,前提是选择被披露且市场状态数量被证明合理。在Nyalai的框架中,关口2(跨市场状态稳健性)要求每一个检测到的市场状态中夏普比率为正。
常见误用
使用总体窗口夏普比率来声称市场状态稳健性,而不明确地按市场状态分解业绩。
交叉引用:关口2 · 隐马尔可夫模型 · 潜在状态 · 跨市场状态稳健性
潜在状态(Latent state)
支配可观察行为但不被直接测量的变量。市场状态是量化金融中的典型潜在状态。
潜在状态是支配一个系统可观察行为但不被直接观察的变量。在量化金融中,市场状态是典型的潜在状态:收益序列是可观察的,但底层的市场状态(牛市、熊市、横盘,或更细的粒度)是被推断的,而非直接测量的。隐马尔可夫模型是时间序列中潜在状态推断的标准框架。潜在状态的数量、它们之间的转移矩阵,以及以每个状态为条件的可观察分布,都从数据估计。
常见误用
把HMM输出当作潜在状态具有真实世界语义意义(将状态3解释为看涨)来处理,而不对该解释作经验验证。
交叉引用:隐马尔可夫模型 · 关口2 · Baum-Welch
独立性规则(Sovereignty rule)
Nyalai对策略生产方与策略评估方之间分离的结构性要求。在《拒绝原则》第5节和第10节中形式化。
独立性规则是Nyalai对开发策略的一方与评估它的一方之间结构性分离的要求。在《拒绝原则》第5节和第10节中形式化,该规则禁止Nyalai与其验证的实体共同开发策略、从提交方获取股权、赚取以判定结果为条件的费用,以及与模型所有者分享运营获益。该规则不是专业偏好的问题。它是一项结构性约束,使Nyalai的判定在构造上独立,而非靠信任独立。在实践中:个人友谊被披露为公开记录。友谊不是取消资格;没有共享的经济获益,才是维护独立性的东西。
常见误用
假设“我们互相认识”就等于“我们不能互相审计”。《拒绝原则》区分个人关系(允许,披露)与共享经济获益(禁止)。
交叉引用:第5.3节 · 第10节 · 序列承诺
判定书(Verdict-form)
Nyalai的正本输出文件。报告判定,即CALIBRATED(通过)或NOT-CALIBRATED(未通过),以及关口算术、范围声明、三角定位面板和可复现性附录。以CC0方式发布。
判定书是Nyalai的正本输出文件:一份结构化的markdown或网页,报告判定(CALIBRATED或NOT-CALIBRATED)、逐关口的算术、判定范围声明、三角定位面板和可复现性附录。每一份已发布的判定书都注明日期,并在提交方于判定后同意后以CC0方式发布。示例:判定书002,一项外部提交,以NOT-CALIBRATED发布;其判定由更正公告CN-003撤回,未对该策略作出任何结论。历史评估001,针对Synapse v0.3,不是判定书。参考R-01是一份通过的判定书的构造示例,并非判定。判定书被设计用于机构引用。模型所有者、独立验证方、内部审计和监管机构,都可以从各自的机构角色引用同一份文件。
常见误用
把判定书当作投资建议。CALIBRATED判定是关于特定台账上模型校准的声明;它不是配置资本的信号。
交叉引用:判定范围声明 · 模型信任等级 · 序列承诺
模型信任等级(Model Trust Level,MTL)
Nyalai关于对一个概率预测系统应给予多大信任的五层分类法。从MTL-1未经检验到MTL-5持续实盘验证。严格嵌套。
模型信任等级是Nyalai关于资产配置方应对一个概率预测系统给予多大信任的五层分类法。MTL-1是未经检验;MTL-2是名义校准(通过关口1和4);MTL-3是稳健校准(加上关口2);MTL-4是对抗性验证(全部五道关口加独立性规则执行);MTL-5是持续实盘验证(加上滚动漂移检测)。各等级严格嵌套:MTL-N包含每一个更低等级的全部要求。每一MTL都附带一个建议的部署情境。
常见误用
给予一个MTL而不说明拒绝原则的版本和评估日期。MTL是有时间限制的;它们在风格漂移或台账扩展下过期。
交叉引用:《拒绝原则》第10节 · 风格漂移 · 判定范围声明
第四象限(Fourth Quadrant,Taleb)
Taleb的决策区域,复杂损益与厚尾分布在此相遇。标准统计推断在此失效。
第四象限,由Nassim Taleb在2008年一篇Edge.org文章及其2009年《International Journal of Forecasting》后续中阐述,是决策区域,复杂损益(非线性、无上限的损失可能性)与厚尾分布(市场状态切换、跳跃)在此相遇。它是标准统计推断失效的区域。Nyalai的立场是,在那里运行的系统值得一个额外的对抗性层面,外在于构建它们的一方;这是一个立场,而非监管要求。在Nyalai的框定中,第四象限是《拒绝原则》第1.4节。
常见误用
把第四象限当作一个要避免的警告,而非一个需要专门验证的区域。Nyalai的立场是,第四象限是有趣问题所在之处,必须以正确的工具进入。
交叉引用:Taleb · 第1.4节 · 统计推断时间跨度
序列承诺(Sequence commitment)
Nyalai关于输入完整性的操作顺序规则。提交在讨论后续使用之前被冻结。同意在判定作出之后收集。
序列承诺是Nyalai关于输入完整性的操作顺序规则:提交在任何关于判定后续使用的对话发生之前被冻结(记录时间戳和哈希)。公开或后续引用的同意,在判定作出之后、在提交方审阅的一份文件上收集。拒绝后续使用,不会改变判定本身。其目的是防止一类失效模式:提交方在同意发布之前得知判定将是什么,然后当判定不利时拒绝同意。在《拒绝原则》第12.4节中形式化。
常见误用
假设“我要求了私人评估,所以结果保持私密”就满足了序列承诺。它没有。评估在提交时被冻结;只有发布路径受同意约束。
交叉引用:《拒绝原则》第12.4节 · 判定书 · 独立性规则
三角定位面板(Triangulation panel)
Nyalai对每一份判定的三透镜情境化。风险类型×业务类型×监管框架。改编自Senthil Kumar在BNY Mellon的框架。
三角定位面板是Nyalai从Senthil Kumar的机构风险管理实践(前BNY Mellon首席风险官,现Huntington Bank首席风险官)采用的三透镜框架。每一份判定书都在三个维度上情境化判定:策略使资产配置方暴露的风险类型(信用、市场、操作、流动性、模型、交易对手);判定所对照校准的业务类型(机构多管理人池、单策略基金、家族办公室等);以及部署地点的监管框架(SR 26-2、Solvency II、ACPR、ISDA SIMM等)。其目的是防止判定在其所校准的三角定位单元之外被误用。在《拒绝原则》第9.11节中形式化。
常见误用
阅读判定书的执行摘要,并在其三角定位单元之外应用该判定,而不作重新评估。三角定位面板是一个警告标签,不是一个装饰性部分。
交叉引用:Senthil Kumar · 第9.11节 · 判定范围声明