NyalaiNyalai首页
《拒绝原则》v0.3.3.1联系我们

拒绝原则 · v0.3.3.1

拒绝原则

Nyalai关于量化金融中经验证的概率性系统的章程。拒绝优先的纪律。五道对抗性验证关口。以CC0方式公开。

版本v0.3.3.12026年7月19日文本 · 已封存封存正本:THE_REFUSAL_DOCTRINE_v0.3.3.1.md,由Nyalai保存,可应要求提供,其引文登记尚待核实 · SHA-256 4cb25304b88aa30c9133200f7d3fa3b363ed04e03ecd990da83b5b9cffb4dd92本页面为编辑性节选;与封存文本不一致之处,以封存文本为准封存文件为工作文件,其内部引文标签、编辑注释与仓库路径均按封存状态保留作者:Sébastien Assohou

前言

本文件为接受验证的概率性系统而写,而非为阅读营销材料的资产配置方而写。

它的首要受众是策略本身,即那个能否存活于实盘资本之上取决于其被评估时是否诚实的产物。其次要受众是负责该策略的人类操作者:构建它的量化研究员、考虑部署它的投资组合经理、批准其使用的风险官、开出支票的资产配置方。

我们发布本原则,是基于这样一个信念:验证基础设施只有能够被任何愿意的人检查、质疑和改进,才是可信的。此处描述的方法论以CC0授权。任何人都可以使用它、改编它、扩展它。Nyalai的商业存在,不依赖于对方法的保密。

Nyalai所出售的、也是本原则无法替代的,是严格执行该方法并公布结果(包括我们自身的失败)的纪律。

我们预计本文件在某些地方会是错的。我们预计我们的理解会加深。我们承诺,随着证据的积累修订本原则,并公开承认早期版本在何处有误。

1. Nyalai及其使命

1.1 Nyalai是什么

Nyalai是量化金融中概率性系统的校准框架。我们对提交审查的交易策略、集成投资组合和预测模型给出二值判定:CALIBRATED(通过)或NOT-CALIBRATED(未通过),GO或NO-GO。

我们的判定是外部的、对抗性的,且默认公开。提交给Nyalai的策略要接受五道正式关口的检验,每道关口针对量化文献中已识别的一种特定失效模式。只有通过全部五道关口的策略才会获得GO判定。在任何单一关口失败,都会产生NO-GO判定,并附上一份诊断性判定书,精确记录策略在何处、为何失败。

1.2 Nyalai不是什么

Nyalai不是回测平台。它不帮助你设计策略。它不调参。它不建议改进。它不提供培训。它不管理资本。

Nyalai不是认证机构。Nyalai的GO判定不是对未来收益的保证。它只是一份声明:截至判定之日,该策略经受住了一个有记录的对抗性过程。仅此而已。部署资本的决定仍属于资产配置方。

Nyalai不是中立的。我们对于何为严格的验证持有强烈的意见。我们在本原则中公布这些意见。任何人都可以自由地不同意我们,并用不同的意见构建自己的验证基础设施。

1.3 为什么验证基础设施现在重要

这个行业经历了十五年,在此期间,策略设计的民主化速度远远快于策略验证。云计算、开源库、历史数据的可获取性,以及如今的大语言模型,使得单个研究员能够在一周内测试过去需要一个团队一个季度才能完成的工作。

验证没有跟上。回测框架仍然浅薄。统计严谨性仍是例外。“策略通过了我的测试”与“策略将在实盘资本中存活”之间的差距已经扩大。我们交谈过的每一位资产配置方都描述着同一个问题:要评估的策略太多,而对于什么算作已评估,没有共同的标准。

Nyalai的存在就是为了弥合这一差距。不是通过取代基金的内部量化工作,而是通过提供一个外部的、对抗性的层面,对该工作作出公开判断。

关于机构成熟度的一点说明。在撰写本文时,Nyalai是一家年轻的组织。本文件的严肃性,必须与每一份后续判定的严肃性相匹配。如果实践偏离了原则,那么错的是原则,而不是实践。修订将公开并带版本号。

1.4 校准框架的范围

Nyalai的判定适用于特定策略、特定品种范围、特定市场状态、特定时间跨度。未经明确重新评估,它不会跨范围推广。

第四象限。在Nassim Taleb于2008年发表的分类中,决策沿两条轴划分:损益结构是简单还是复杂,以及底层的随机性来自薄尾分布还是厚尾分布。第四象限,即厚尾下的复杂损益,是统计推断最难、模型失效代价最高的地方。它也正是量化策略实际运行之处:非线性损益、厚尾资产收益、市场状态切换。当前在SR 11-7及同等指引下实践的机构模型风险管理,充分覆盖了前三个象限。Nyalai弥合的是第四象限的缺口。Nyalai不消除第四象限风险。Nyalai声称要使在这种风险下作出的决策变得可审计,并拒绝那些评估时须依赖底层数据并不支持的薄尾假设的策略。

品种范围。当前规定的五道关口适用于在流动性好、按市值计价的品种上运行的策略(公开股票、上市衍生品、流动信用、即期与远期外汇、上市商品)。它们当前的形式不适用于那些已实现收益仅在退出时可观察、且期中估值是估算而非交易的策略。私募股权、私募信用、风险投资和实物资产不在当前关口的范围内。

市场状态范围。CALIBRATED判定是关于在评估窗口内观察到的、经关口2分割的市场状态下业绩的声明。它不是关于策略未曾遇到的市场状态下业绩的声明。

时间跨度范围。各道关口是为运行在日到周时间跨度上的策略而校准的。亚秒、亚分钟和日内状态需要在同一五关纪律内采用适配的检验。

判定书总是在第一页注明范围。没有注明范围的判定不是Nyalai的判定。

2. 我们进行验证的方法

2.1 为什么是原则而非规则

“我们不试图证明一个策略有效。我们试图消除相信它有效的坏理由。”

这句题词承载着整部原则。Nyalai在设计上是波普尔式的。我们不确认假设;我们试图证伪它们。一个经受住我们拒绝尝试的策略,并未被证明是对的。它只是在现有证据上尚未被证明是错的。

我们本可以把本原则写成一套规则。我们选择把它写成一套原则,随后解释每条原则为何存在。

原因:量化金融在演化。新品种出现。新的统计技术涌现。新的数据来源变得可获取。新的失效模式被发现。为一种情境写下的规则,在另一种情境中会失效。而一条原则,如果表述得当,能够适应。

2.2 为什么我们公开我们的方法论

三个原因。

第一,因为一个无法被检查的验证方法论无法被信任。如果我们拒绝解释我们测试什么,我们的判定就与意见无从区分。

第二,因为行业的状况受益于开放的方法论。如果竞争者采用我们的关口并改进它们,我们最终都会得到更好的策略被部署。

第三,因为公开是一种纪律形式。公布方法,就是承诺在公开场合为它辩护。如果一道关口是错的,它会被发现。如果一道关口不完整,它会被扩展。

已发布版本总是可以通过版本号和日期识别。当前和过往版本将以CC0方式归档于nyalai.com/verdicts和nyalai.com/doctrine;截至v0.3.3.1,只有当前版本在线,§12.9将Wayback触发和治理页面登记为待定;Internet Archive Wayback Machine快照按Wayback自身的抓取节奏发生(INFERRED)。

2.3 五关框架概览

提交给Nyalai的策略依次通过五道关口。每道关口都有一个它被设计来检测的特定失效模式。在某道关口失败的策略,不会在后续关口接受检验。失效模式、证据和诊断都记录在判定书中并公布。

  • 关口1:统计脆弱性。观测到的业绩在针对多重检验和样本量进行校正后是否仍然成立?
  • 关口2:跨市场状态稳健性。策略是否在不同市场状态下都保持盈利,而不仅仅是在总体上?
  • 关口3:引导式搜索安全性。策略在针对开发过程的引导性质进行校正后,是否仍然显著?
  • 关口4:概率校准。策略发出的置信度估计是否与已实现结果相校准?
  • 关口5:自助法置信度。策略在重抽样的历史中是否保持盈利,且置信区间排除盈亏平衡点?

2.4 关于我们认可的优势来源

夏普比率是一个数字。它本身并不说明这个数字为何应当持续。两个夏普比率相同的策略,未来的风险状况可能完全不同。因此,在关口运行之前,我们会问:该策略声称的是哪一类优势?我们认可三大类。

速度优势。更快地获取信息、更快地执行、更快地对新闻作出反应。这些是真实的,而且几乎总是短暂的。速度优势会在数月内被资本充裕的进入者竞争掉。

行为与风险溢价优势。对承担其他市场参与者系统性回避的风险的补偿,或对大量参与者持续行为倾向的利用。这些更持久,但并非永久。价值、质量、动量和低波动因子属于这一类。

结构与机械优势。源于市场自身机制的优势:指数纳入效应、再平衡事件周围的强制流动、特定的微观结构不对称、监管驱动的流动。只要机制存在,这些优势就存在。

这一三分分类整合了实践者的框架:Cliff Asness论速度优势,Andrew Ang论行为与风险溢价优势,Jean-Philippe Bouchaud等人论结构性微观结构优势。

一个在统计上通过了五道关口、却无法说出其所依赖的优势类别的策略,尚未回答那个承重的问题。因此,我们的判定书在关口结果旁记录所声明的优势类别。

2.5 关于模型可解释性

现代量化金融中一个反复出现的反对意见,涉及那些单个特征无法为人类所解释的机器学习模型。我们的立场是明确的。

我们不要求逐特征透明。要求人类可解释的特征,会排除一类模型(学习到的表示、稠密神经编码器、集成模型),而这些模型在某些情境下确实优于可解释的替代方案。

我们要求总体行为一致性。一个其输出在组合层面无法与所述经济假设相调和的模型,不是验证候选。如果模型声称交易动量,其总体信号必须在样本外窗口上与已发表的动量因子相关。特征层面的不透明是可以接受的;策略层面的不透明则不可接受。

2.6 关于复杂性的美德

近期的学术工作主张,在机器学习情境中,经典的过拟合与欠拟合权衡并非正确的决策框架。高度参数化的模型,在适当正则化后,即使参数数量超过观测数量,也能优于其更稀疏的对应物。Kelly、Malamud和Zhou于2024年在《Journal of Finance》发表的“The Virtue of Complexity in Return Prediction”为股票收益预测提出了这一论点。

我们认真对待这一论点,且不把它当作许可证。

该论点成立的条件是:训练程序包含显式正则化,样本外业绩是在与参数选择因果隔离的窗口上测量的,且复杂性是建模选择而非拟合的产物。我们的关口3(引导式搜索安全性)正是为区分这两种情况而设计。

简言之,复杂性本身既非美德也非恶习。它是一个必须由各道关口的校正结构加以解释的变量。

2.7 关于统计推断的时间跨度

金融时间序列的一个结构性特征是,任何研究者可用的观测窗口,相对于底层论断需要成立的时间跨度而言都是短暂的。Fama和French在其2018年发表于《Financial Analysts Journal》的论文“Volatility Lessons”中记录到,估计的股权溢价其统计显著性随着评估时间跨度的延长而迅速恶化,以至于三年、五年甚至十年窗口都容许相当概率的负已实现溢价,即使真实预期溢价很高。对验证的后果并非学术性的。一个在二十年时间跨度上具有正预期优势的策略,可能会连续多年处于水下,而一个要求在作出判定前具备长期置信度的验证方法论,将在合理的运行时间内根本不作出任何判定。

这正是外部对抗性验证是必需而非补充之处。基金内部的审查无法解决时间跨度问题,因为审查者和策略作者共享同一观测窗口和同一激励。外部审查也不解决时间跨度问题,但它改变了审查所能捕捉的失效类别。内部审查处理的是策略是否被诚实地工程化。外部审查处理的是证据在被诚实地呈现后,是否实际支持该论断。只有后者才是资产配置方决定是否部署资本所需要的。

Nyalai不延长观测窗口。Nyalai把观测窗口视为固定,并追问该论断是否建立在窗口内的证据之上。当窗口内的证据不足以支持该论断时,判定就是NO-GO,无论实践者多么确信更多时间会证明该论断。

2.8 关于模块化验证方法论

Nyalai的五道关口各自使用适合其所针对特定问题的统计框架。关口1使用校正后的显著性检验,因为问题在于观测到的夏普比率(对产生收益的策略)或Brier技巧评分(对概率预测系统)是否经得起对探索的校正。关口2使用状态转换模型,因为问题在于业绩是否在不同市场状态下一致。关口3使用置换检验,因为问题在于搜索偏差是否抬高了显著性。关口4使用可靠性校准度量,因为问题在于概率估计是否与已实现频率匹配。关口5使用自助法重抽样,因为问题在于预期优势是否对路径变化稳健。

这不是折衷主义。这是纪律。Joseph Simonian于2020年在《Journal of Financial Data Science》上撰文,为机构模型验证框定了同样的洞见:传统计量经济学方法最擅长解释过去的行为,机器学习方法最擅长预测和模式识别,而模块化验证框架在各自最强之处使用它们,而不是强迫一个框架回答所有问题。

Nyalai的框架是明确的模块化设计。偏好单一框架审计的提交方,不是我们所服务的客户。机构模型验证,在SR 11-7及同等制度下实践,早已认识到:一组检验,各自适合特定风险,才是可信的验证单元。本原则采用同样的纪律。

3. 优先级顺序

在本原则的各条原则发生冲突的情况下,我们按如下顺序优先:

  1. 拒绝优先。存疑时,拒绝。假GO判定(资本被部署到有缺陷的策略上)的代价,远超假NO-GO(一个好策略被退回进一步工作)的代价。这种不对称是Nyalai的创始不对称。
  2. 对抗性严谨。我们的判定必须能经受住敌意的技术审计。我们宁愿在严厉的方向上出错,也不愿在宽容的方向上出错。
  3. 客户一致性。在前两项优先事项得到满足的情况下,我们与提交策略的资产配置方的利益保持一致。当策略作者的利益与资产配置方的利益分歧时,我们不与策略作者的利益保持一致。
  4. 商业成功。在前三项优先事项得到满足的情况下,我们作为一家可行的企业运营。当商业可行性要求我们放松严谨、软化拒绝,或与策略作者而非资产配置方保持一致时,我们选择更早的优先事项。

顺序很重要。在实践中,大多数决策并不涉及冲突。优先级顺序的存在,是为了在真正出现张力的少数情况下,使我们的选择可预测。

4. 真正有用

当一份判定改变了资产配置方的行动时,它是有用的。当一份判定讨好策略作者时,它是无用的。我们偏向前者,代价是后者。

对提交策略的研究员,我们欠他一份可操作的诊断:哪道关口失败了,什么证据产生了失败,哪些类别的证据将值得重新评估。我们不提供修复策略的服务;诊断使修复成为可能。

对将作出资本决策的资产配置方,我们欠他一份无需统计学学位即可读懂的判定:结论先行,方法论在判定书内记录,参考文献列明以备任何人审计。每一份判定书都包含一份非量化背景的董事会成员也能阅读的执行摘要。

对更广泛的市场,我们欠他公布的判定(包括我们对自己策略的NO-GO判定)、方法论的公开,以及当本原则被证明不完整或有误时的诚实承认。

有用意味着说出最小、最锐利、能改变决策的话。它不意味着写更长的文件。它不意味着添加免责声明。

5. 广泛合乎伦理

Nyalai运行于这样一个领域:一份假GO判定会对散户投资者产生下游后果,他们的养老金和储蓄由我们所服务的机构持有。这是一种公共利益的不对称。我们认真对待它。

5.1 不操纵结果

我们不粉饰结果。我们不在看到结果后调整阈值。我们不根据想要的判定来选择性地应用关口。我们不遗漏会带来不便的结果。在关口3上以微小差距失败,仍然是失败。

我们拒绝任何会制造降低标准之财务激励的参与结构:不收取或有费用,不收取基于业绩的报酬,不与我们验证的实体进行以股权代替现金的安排。我们拒绝因产生GO判定而获得更多报酬。

5.2 方法论透明

每道关口都使用一个有记录的统计检验,并附有可引用的参考文献。每个阈值都有明确的理由。每一处对标准方法的偏离都被标明。复现一份判定所需的一切都包含在判定书中。

5.3 独立判断(独立性规则第七条)

独立性规则第七条。提出概率性论断的一方,绝不验证同一论断。Nyalai的验证者在评估期间不与策略作者沟通,也不直接访问策略源代码;他们基于提交的输出数据操作。这种分离的存在,是为了防止研究者的说服性存在污染判断。

历史根基。Peter Galison和Lorraine Daston在2007年由Zone Books出版的《Objectivity》中追溯了科学图像制作的三种交叠体制:真理归于自然、机械客观性、训练有素的专业知识。Nyalai的五道关口运行在机械客观性体制中(协议驱动的算术,不给操作者留下有利修正的空间);拒绝原则和判定书登记运行在训练有素的专业知识体制中(在机械层面完成其工作后应用的校准判断)。这些体制是层叠的,而非顺序的。

机构先例。事件视界望远镜合作组织运行了四个独立的成像团队,禁止在成像阶段沟通,直到2018年7月下旬才重新召集,在2019年4月10日M87发布前逐像素验证一致性(Galison,在哈佛数据科学倡议与Andrew Lo的炉边谈话)。Nyalai在机构规模上采用同样的姿态:验证者不参与策略设计,不修改台账,不就如何提高关口分数提供建议。

更早的先例。从1960年代末在劳伦斯伯克利国家实验室开始,Luis Alvarez,1968年诺贝尔物理学奖得主,要求他团队的每一项发现声明都必须经受一次对抗性排名:将一百个零假设的蒙特卡洛实现与真实数据混合,除非真实数据在每个团队成员的独立排序中都出现在最高位,否则阻止发表。Nyalai的关口3置换检验,即Aronson和Masters于2013年提出的方法,是那个六十年前协议的方法论后裔。

爱因斯坦1939年的教训。1939年,爱因斯坦发表了一篇论文,论证黑洞不可能存在(《Annals of Mathematics》,第40卷,第4期,第922至936页)。Andrew Strominger公开将该论证描述为今天任何广义相对论研究生都无法提交并通过的论证(转述,确切出处候选:Lex Fridman Podcast第359集)。修正是由该领域在数十年间带来的,而非来自爱因斯坦本人。独立性规则第七条防御的正是这样一种模式:一个论断的提出者,无论多么权威,都不能被依赖去对抗性地检验自己的论断。

训练有素的专业知识层面。从历史回到Nyalai自身的堆栈,验证者站在Galison和Daston所定义的训练有素的专业知识体制中。当验证者拒绝一份提交时,拒绝既不是原始的算术输出,也不是自由的个人意见。它是应用在机械层面之上的校准判断层面,两个层面都在公布的判定书中可见。训练有素的专业知识不是回归前机械时代的理想化;它是对以下事实的承认:当仪器本身已按观察者的预期被校准时,机械输出可能会误导。

多方法收敛。Sheperd Doeleman(事件视界望远镜创始主任)在多次关于EHT方法论的公开演讲中描述过,合作组织如何刻意在每一个决策中构建冗余:多条数据处理流、多种成像算法、四个独立团队,以至于在独立路径达成一致之前,没有任何结果被推进(转述)。Nyalai的训练有素的专业知识层对同一份提交运行多种并行算术(前向滚动窗口、分块自助法种子、特征选择扫描),并在它们收敛之前拒绝作出判定。收敛是判定的前提,而非装饰。

残余偏差下限。团队隔离并不消除共享的人类偏差。Katie Bouman在描述EHT成像工作时,公开指出了孤立团队仍可能相互偏向某个预期环形的风险;此为转述,一个密切相关的直接表述出现在她2019年4月12日的CNBC采访中。因此,判定书自v0.3.3起包含一份“已知偏差来源”附件,列出验证者的校准仍可能引导结果的方式,以及这些引导路径在校准本身期间被对抗性检验的机制。当该附件为空时,验证者尚未足够努力地思考自己的偏差来源,该判定书不具备发布资格。

6. 诚实

八项属性定义了诚实对验证基础设施意味着什么。其中七项从早期版本延续而来,并在v0.3.2.3中以操作规范加以扩展;第八项在v0.3.2.3中加入,以将研究质量与披露质量分开。完整正本是封存的markdown文件THE_REFUSAL_DOCTRINE_v0.3.3.1.md,可应要求提供;本页面载有编辑性缩写。

6.1 真实

我们不陈述虚假,无论是对策略作者还是对资产配置方。

v0.3.2.3的ProvenanceContract将此属性扩展到运行环境中的每一条陈述(代码、日志、文件、文件夹、方法、时钟)。一个未被观察到的状态,由为观察它而存在的命令来解决,只有当这样的命令不存在时才标记为INFERRED。新鲜度条款补充说,一个缓存或过期的产物绝不被断言为当前状态;当时效性重要时,状态被重新观察,或其过期性被声明。

6.2 校准

我们保持校准的不确定性,不声称比证据所支持的更多(或更少)的置信度。

判定书中的每一项断言都带有来自七标签认识论集合的明确标签:MEASURED、STRUCTURALLY-PROVEN、INFERRED、DECLARED-BY-SUBMITTER、NON-COMPUTABLE、NON-EVALUABLE、NON-APPLICABLE。三个“无法测量”标签因原因不同而不同:NON-COMPUTABLE指缺失输入问题,NON-EVALUABLE指已定义检验内的范围问题,NON-APPLICABLE指类别错误。一个未加标签的断言,无论其事实准确性如何,都是§6.2违规。

6.3 透明

我们不追求隐藏的议程:我们的方法论是公开的,我们的阈值选择是有记录的,我们的判定是可检查的。

v0.3.2.3的ThresholdRegistry扩展要求每一个有记录的阈值都带有实测的统计功效曲线,由提交到验证者公共仓库的脚本生成,并附有明确的随机种子,可在生产验证者机器上重放。凭空发明的阈值(凭记忆写入代码而无记录的功效特征)不具备发布判定的资格。

6.4 直率

我们主动分享策略作者或资产配置方会想知道的信息,即使未被询问。

v0.3.2.3的InputManifest即时分享扩展要求在评估期间检测到的异常在上下文中、在检测到的那一刻被浮现,而非附加到后续的审计轮次。阈值不是“审计师可能找不到它”,而是“对手方现在就想知道”。

6.5 不欺骗

我们不通过选择性框定、误导性强调或技术上真实但含暗示的语言,制造关于策略质量的虚假印象。

v0.3.2.3的不可评估不等于失败扩展规定,一个其输入无法产生测量结果的关口(不可计算、不可评估或不可适用)返回一个不同于失败的状态,验证者对称地对待所有此类关口。代码中的任何不对称都是需要修正的缺陷,而非需要引用的判定。将一个未测量的关口计为失败关口,会制造关于证据权重的虚假印象。

6.6 不操纵

我们不因作者讨人喜欢而软化NO-GO,也不因作者难相处而硬化NO-GO。

v0.3.2.3的不因严谨而硬化扩展增加了第二个被禁止的方向:我们不将未测量的关口堆叠到判定上,以显示不妥协。判定只建立在实际测量的关口上。双向的关系信息排除条款,在判定前从判断者的上下文中剥离个人友谊、既往冲突、共同网络、对抗历史和声誉,当这些无意中到达判断者时,予以回避或声明暴露。

v0.3.3.1的Attestation面板使排除可审计,而非留给判断者自己的报告。每一份判定书都带有一个由验证者实例签署的面板,列出五个必需字段:(a)剥离提交者身份和关系元数据的预盲步骤,(b)预盲包的校验和或哈希,(c)预盲与判定之间的任何暴露事件(空情况被明确声明),(d)回避被援引时第二验证者的身份,(e)预盲步骤的时间戳,证明排除在关口执行开始之前已完成。缺失或空的面板阻止发布。

6.7 维护自主性

我们作出判定。我们不作部署决策;资产配置方保留对如何处置判定的全部权力。

v0.3.2.3的判定书模板分离扩展,将VERDICT部分(关口结果和二值GO或NO-GO结论)与OBSERVATIONS部分(为判断提供的结构化观察,而非强加的建议)分开。没有建议部分。针对提交者或资产配置方的祈使句(“不要部署这个”、“在重新提交前等待”)无论底层观察的准确性如何,都是§6.7违规。

v0.3.3的提交者发起的指导条款承认,提交者或资产配置方可以在判定作出后,在单独的、明确范围的交流中明确请求操作指导。此类回应被标记为咨询性的而非裁决性的,不附加到判定书,也不修改判定本身。这是Nyalai可以进入的模式;绝不是它主动发起的模式。

6.8 研究与披露的分离

v0.3.2.3引入的新属性。提交者披露纪律的质量(台账清洁度、已声明保留的完整性、审计追踪透明度)和提交者研究方法论的质量(存在经受住关口的优势)被分开评判,可以分歧而不矛盾。将两者混为一个隐含判定,是§6.8违规,因为两者对不同的机构决策承重。

该扩展锚定于2026年7月14日的一次内部ʼCɩcɛ对抗性会议(标识符R-02,内部先例记录按§12.4序列承诺私下保留)。该记录保持内部,因为提交者对公开发布的同意尚未在§12.4操作顺序下确立。

披露质量评估的草图作为占位符记录,待v0.3.4形式化:一个5轴评分表,涵盖(1)台账清洁度,(2)已声明保留的完整性,(3)审计追踪透明度,(4)评估期间的响应性,(5)判定后的披露纪律,每一项按三个等级评分(满意、边缘、不足)。确切的轴定义、评分标准和组合规则待v0.3.4形式化和Cice裁决。

7. 避免伤害

我们避免的主要伤害,是部署到实盘资本的假GO判定。这一失效模式正是各道关口被设计来捕捉的。

我们避免的次要伤害,是通过假NO-GO对一个合法策略造成的不当损害。我们的判定是可争议的。我们公布审计追踪。任何提交者都可以使用同一方法论请求独立的第二意见;审计追踪允许完全复现。

我们避免的第三类伤害,是我们自己被商业压力所俘获。第12.3节描述了维护我们独立性的商业模式架构。

7.1 成本效益框架

Nyalai作出的每一份判定,都是不确定性下的决策。我们对第二类错误(拒绝一个好策略)的容忍度高于第一类错误(接受一个坏策略)。失去的资本难以收回;被拒绝的策略可以在进一步工作后重新提交。

第四象限的市场状态依赖不对称(v0.3.3)。第一类错误大于第二类错误的不对称,在第四象限市场状态(按§1.4,极端斯坦Extremistan中的复杂损益)中,比在SR 11-7模型风险汇总所运行的前三个象限中,在数量上更为显著。因此,Nyalai对第四象限提交持有更严格的第一类错误阈值。

8. 硬性约束(7条明线)

以下约束是绝对的。它们不与其他优先事项权衡。它们作为可接受行动空间的过滤器发挥作用。

  1. 绝不在五道关口全部通过之前发布GO判定。
  2. 绝不接受资本或其他对价,以换取软化判定或改变方法论。
  3. 绝不对我们自己的NO-GO判定进行匿名化。如果Nyalai自己的策略未能通过Nyalai自己的关口,判定以Nyalai的名义发布。
  4. 绝不验证一个我们已检测到可信证据表明样本中存在数据泄漏的策略。
  5. 绝不在提交者的时间压力下作出判定。判定需要多久就多久。
  6. 绝不声称比证据所支持的更多确定性。
  7. 绝不声称比证据所支持的更少确定性。认识论上的怯懦,与过度声称一样确定无疑地违反我们的诚实规范。

这些约束旨在不可跨越。当面对一个看似有力的跨越某条约束的论证时,我们的默认反应是增加怀疑,而非顺从。一个跨越硬性约束的有说服力的理由,更可能是操纵的证据,而非合法例外的证据。

9. 五道关口详解

每道关口在此描述其目的、统计检验、阈值,以及检验所源自的主要学术参考文献。

9.0 预检:单页论题提交

在五道关口中的任何一道被执行之前,策略作者必须提交一份单页论题。这是硬性准入要求,而非形式。

单页论题以散文形式陈述:策略所利用的经济或行为论断;优势类别(按§2.4:速度、行为或风险溢价、结构或机械);品种范围和预期应用的市场状态;预期规模包络:预期资本、预期总杠杆和净杠杆、预期换手率;作者预期的失效模式,以及将使论题证伪的观察。

单页论题与判定书一起公开发布。它不是保密的,且在提交后不可编辑。论题未提交、或论题在关口结果后被追溯修改的策略,不获得判定。

9.1 关口1:统计脆弱性

目的:检测那些表面优势经不起针对多重检验、非正态性和样本量的校正的系统。统计脆弱性是区分真实信号与探索产物的属性;关口1是检验它的算术,适配于被评估系统的输出类型。

关口1根据被评估系统的主要输出,以两种变体实施。两种变体检验同一底层属性(在针对开发期间有效探索的配置数量进行校正后,超出偶然的总体技能),两者在关口1的位置上被视为同等承重。变体由系统决定,而非由提交者决定。

关口1a,产生收益的策略。适用于任何主要输出为收益序列或方向性头寸(多、空、平)且其已实现盈亏为评估对象的系统。

  • 检验:通缩夏普比率,由Bailey和López de Prado于2014年提出。观测到的夏普比率根据开发期间有效测试的配置数量、收益的非正态性(偏度和峰度)以及观测窗口的长度而被扣减。
  • 阈值:DSR ≥ 0.95。此阈值是Bailey和López de Prado在2014年论文第9页明确拒绝认证一项经验发现的95%置信水平:该论文中的一个例子被注释为“在95%置信水平上不是合法的经验发现”,其反例计算为DSR = 0.9505,“高于95%置信水平”。
  • 失效模式:校正后DSR < 0.95。

关口1b,概率预测系统。适用于任何主要输出为对可解决事件的校准概率估计、并对照已解决预测的冻结台账进行评估的系统。此类系统在没有外部头寸规模规则的情况下不产生收益序列;从概率输出事后构建的收益序列的DSR,会将规模规则继承为一种设计选择,而不会检验底层的预测技能。

  • 检验:相对于朴素基准的Brier技巧评分(BSS),并针对有限样本效应和开发期间有效评估的预测规则数量进行校正。朴素基准是解决窗口上的基础率预测器。
  • 阈值:BSS ≥ 0.05。
  • 失效模式:校正后BSS < 0.05,包括BSS ≤ 0(系统表现劣于朴素基准)。
  • 参考文献:Brier, G. W., 1950. Verification of Forecasts Expressed in Terms of Probability. Monthly Weather Review, Vol 78 No 1. 现代归一化:Murphy于1973年的工作。

决策规则。变体在提交时固定,并在§9.0的单页论题中声明。如果一个系统的评估台账记录由系统自身头寸规模逻辑产生的已实现收益,它就是产生收益的策略(关口1a)。如果一个系统的评估台账记录已解决的概率估计,而没有任何由系统自身提供的头寸规模层,它就是概率预测系统(关口1b)。提交两份台账的双输出系统必须通过两种变体。

BSS ≥ 0.05的阈值理由。Brier于1950年的论文及其现代操作化都没有规定通用的技巧评分阈值。值0.05被选为Nyalai的操作阈值。理由:BSS = 0是平凡的通过;BSS = 0.10是业务气象学中非正式的“明显有技能”水平,严格减半折扣产生0.05作为可辩护的工作下限;且0.05在数值上与关口4的ECE ≤ 0.05阈值对齐,以便于阅读。该阈值可争议;本原则欢迎对更高下限的有原则的论证。

9.2 关口2:跨市场状态稳健性

目的:检测盈利能力集中于单一市场状态的策略。

检验:对底层市场数据应用隐马尔可夫模型市场状态识别。策略业绩以每个检测到的市场状态为条件计算。

阈值:在每个检测到的市场状态中夏普比率 > 0。

状态压缩框架选择(v0.3.3)。关口2接受两种市场状态识别的操作化。第一种是显式市场状态定义,提交者事先指定离散状态,例如已实现波动率的滚动百分位桶、回撤深度的定义阈值,或由移动平均信号驱动的牛市/熊市/横盘分类。这提供了状态空间的完全可解释性和状态边界选择的完全问责。第二种是通过HMM潜在状态推断的数据推断检测(Baum-Welch参数推断、Viterbi解码、前向后向平滑),它将多个潜在因子压缩为一个学习到的状态空间,代价是可解释性。两者都是合法的,前提是提交者披露所使用的框架、状态数量和理由。潜在状态的数量本身是一个超参数,受关口3引导式搜索校正的约束。

参考文献:Rabiner于1989年的教程,Hamilton于1989年的马尔可夫转换自回归,Ang和Bekaert于2002年的利率市场状态识别。

9.3 关口3:引导式搜索安全性

目的:检测显著性被开发过程的引导性质所抬高的策略。

检验:引导式搜索安全置换检验,由Aronson和Masters于2013年提出,它针对定向搜索而非随机搜索的特定情况,校正了经典的White's Reality Check。

阈值:校正后p < 0.05,校正基于所披露的开发期间测试的配置数量。

运行与汇总(v0.3.3)。关口3的运行次数在提交时声明(默认单次运行,或在不同评估配置上的多次预注册运行,例如前向滚动窗口或自助法种子)。当声明多次运行时,§12.5(关于共识平均)管辖跨运行的通过/失败结果的汇总。单次运行的提交应用上述经典阈值,不进行平均。

9.4 关口4:概率校准

目的:检测置信度估计与已实现结果背离的策略,这种状况即使在方向性信号健全时也会破坏头寸规模设定。

检验:相对于朴素基准的Brier技巧评分、可靠性图、期望校准误差(ECE)。

阈值:BSS ≥ 0.05(相对于基准的技能),ECE ≤ 0.05。

9.5 关口5:自助法置信度

目的:检测预期优势为正、但方差大到策略在现实路径变化下可能无法保持盈利的策略。

检验:收益序列上的自助法置信区间,对每个重抽样重新计算夏普比率。重抽样方法:针对自相关收益的分块自助法,按封存文本。

阈值:95%置信区间下限 > 0(扣除成本后)。

9.5a 可复现性校准协议

新子节(v0.3.3)。在对实际提交运行五道关口之前,验证者对三个或更多合成提交运行同一五关流程,这些合成提交的属性为验证者所知、提交者所不知。该协议借用自事件视界望远镜的图像黑客松,其中一次使用了雪人Frosty的模糊渲染作为真值,正是因为没有任何成像团队能够事先正确猜出它。如果流程正确复现了合成台账的已知属性(市场状态结构、真实优势的存在或不存在、预期DSR分布),则验证者已为手头的提交完成校准。如果失败,流程在实际提交被评估之前被修复。在合成真值上校准是准入的代价。它不是可选的。

对抗性形状变体。合成集包含至少一个目标,其预期形状与提交者论断为真时提交会产生的结果相反。EHT团队在合成圆盘(预期形状:填充)上调参,然后转移到M87数据(预期形状:带孔的环);转移后的参数仍然恢复了孔,确认流程并非仅仅在寻找它被训练去寻找的东西。Nyalai采用同样的纪律:当论断为真时提交会产生通过的关口算术,流程首先在一个合成物上校准,在该合成物中,同一提交会产生失败的算术。

哈迪斯之盔与那喀索斯之泉。Peter Galison在其哈佛CMSA Yip讲座中,指出了任何验证流程都必须防范的两种认识论噩梦。哈迪斯之盔使目标不可见:流程在效应所在之处只看到噪声。那喀索斯之泉使目标反射观察者:流程只看到观察者的先验投射到数据中的东西。在零合成目标上校准防御哈迪斯。在对抗性形状目标上校准防御那喀索斯。只运行了一类校准的流程,只防御了一类噩梦,判定书的方法论附件明确注释这一缺口。

教学式总结。用平实的语言说:在Nyalai对你的实际提交运行五道关口之前,它首先对少数合成提交运行同一流程,这些合成提交的真实属性Nyalai知道而你不知道。有些被构造成看起来像赢家策略但实际上是纯噪声;另一些被构造成看起来像输家策略但实际上包含一个以意外方式成形的真实信号。如果Nyalai的流程把噪声的那些称为“无优势”,把真实信号的那些称为“这里有优势,尽管它看起来不像你预期的样子”,那么该流程已被校准得足够好,可以在你的提交上被信任。如果它弄错了合成案例,它首先被修复。校准记录包含在每一份判定书中,以便读者检查。

闭合量作为研究方向。EHT成像流程使用闭合相位(三台望远镜上复可见度的乘积)和闭合振幅(四台望远镜上的乘积),因为这些量在数学上对大气和仪器增益误差不变。它们是校准不变的原语。Nyalai将识别量化金融验证中的类似原语(置换不变的检验统计量、保分位数变换、基于秩的度量),并在存在此类原语的未来关口修订中优先使用它们。

9.6 关于奖励黑客的一点说明

机器学习界最近形式化的一种模式,直接适用于我们的关口被设计来拒绝的那类策略。量化金融中的奖励黑客策略,是一种其回测窗口被选择以拟合所报告夏普比率的策略;一种移除亏损期并将结果称为“训练过的”策略;一种其前向滚动检验跳过了引导式搜索安全检查、因为该检查会说“不”的策略。

我们的关口明确针对这一类。关口1针对因试验选择而膨胀的夏普比率或Brier技巧评分,取决于按§9.1应用的变体。关口3针对现代数据驱动探索中固有的引导式搜索偏差。关口5针对单个幸运窗口可以人为压缩的置信区间。一个已通过自身内部审查的奖励黑客策略,不会通过我们的审查,也不应该通过。

9.7 判定范围声明(三个组成部分)加沟通层(呈现格式)

五道关口评估信号质量。它们不评估组合构建。信号质量和组合构建的相互作用,可能把一个技术上CALIBRATED的策略变成一个亏损的实施,本原则必须明确承认这一点。

因此,每一份判定书都包含一份判定范围声明,含三个实质性组成部分,并通过一个必需的沟通层呈现。

1. 市场状态范围。经关口2分割的市场状态集合,判定在其中适用。窗口中不存在的市场状态不被认证。

2. 规模包络。关口结果被计算时所在的资本、总杠杆、净杠杆和换手率范围。一份在1000万美元总持仓规模上计算的判定,不认证5亿美元时的行为。包络之外的部署需要重新评估。

3. 组合构建假设。评估期间假设的相关性结构、波动率目标和再平衡节奏。波动率拖累、压力下的相关性崩塌和再平衡摩擦,可以把一个正期望的信号变成一个负期望的组合。

沟通层(呈现格式)。判定书以两层呈现其结论,两层都是必需的。上层以机构用语陈述策略是否CALIBRATED,以及它使资产配置方暴露于哪些经典风险类别。下层提供技术证据:DSR值或BSS值(按§9.1适用哪种关口1变体)、关口4的BSS和ECE数值、逐市场状态的夏普比率、自助法置信区间、引导式搜索校正幅度。上层绝不可夸大下层所支持的内容。下层绝不可省略。这种两层结构遵循Simonian于2020年为机构审查中机器学习模型输出可解释性所确立的原则。

Nyalai不验证组合构建。组合构建是资产配置方的纪律。本原则要求的是,判定书使信号验证与组合构建之间的边界不容混淆,且任何在所述包络之外的部署都使判定失效。

第9.8至9.10节保留给未来的方法论扩展。第9.11和9.12节将先于当前编号惯例存在的操作纪律形式化,并保留在其正本锚点以供引文连续性。

9.11 判定的三角定位

每一份公布的判定都与三条轴相对照来情境化:策略使资产配置方暴露的风险类型、资产配置方将部署它的业务情境,以及管辖部署的监管或司法框架。这种三角定位,改编自Senthil Kumar在BNY Mellon为机构风险管理建立的三透镜框架,确保没有任何实质性风险轴在仅仅未被言明时被当作不存在。

因此,判定书在范围声明旁包含一个三角定位面板,陈述策略使资产配置方暴露的风险类别(信用、市场、操作、流动性、模型、交易对手)、判定所对照校准的业务类型(机构多管理人池、单策略基金、家族办公室、企业财资、面向零售的产品),以及监管框架(SR 11-7或同等国内MRM指引、ISDA SIMM制度、EMIR、MiFID II,或明确声明部署地点适用的框架)。针对一个三角定位单元计算的判定,不延伸到另一个单元。

9.12 是框架,不是模型

机构模型验证不是对单个产物的验证。它是对一个文件框架的维护,通常即使对最简单的普通组合也包含八到十套不同的文件,分布在三道防线:模型所有者文件、独立模型验证和内部审计。Roland Stamm在其关于Acadia的ISDA SIMM模型验证的工作中,将该框架描述为机构验证的真正单元。一份将自身定位为该框架内独立、外部对抗性锚点的判定书,服务于机构。一份将自身定位为内部MRM文件替代品的判定书,误解了实践的结构。

本原则采用框架框定。Nyalai的判定书被设计为可被模型所有者引用为外部验证证据、被独立验证团队引用为交叉参照、被内部审计引用为其年度审查的一项输入。判定书本身在其最后一页包含一个引用指导部分,说明文件如何可被三道防线中的每一道引用。

一句话的框定(v0.3.3.1)。模型所有者从内向外推理策略可能是什么;Nyalai从外向内推理策略不可能可信地是什么;只有当两种推理在中间相遇时,机构才作出决定。

10. 模型信任等级

五道关口在某一时刻对概率性系统返回二值判定(CALIBRATED或NOT-CALIBRATED)。判定不是部署决策。它是关于校准和技能的技术声明。

我们提出一套中间词汇,弥合技术判定与部署决策之间的差距。我们称之为模型信任等级,或MTL。其结构遵循实验室传染病研究中的生物安全等级和前沿机器学习中的AI安全等级的模式。

10.1 MTL-1:未经检验

未进行独立验证。无公开方法论。无业绩记录。在资本配置的可接受边界之外。

10.2 MTL-2:名义校准

在一份公开记录的台账上通过关口1(按§9.1,对产生收益的策略为关口1a的DSR,对概率预测系统为关口1b的BSS)和关口4(概率校准)。可作为次要参考信号,永远不可作为唯一配置信号。

10.3 MTL-3:稳健校准

达到MTL-2,并通过关口2(经隐马尔可夫模型市场状态分割的跨市场状态稳健性)。失效模式公开记录。可作为多信号组合中的贡献信号,附头寸限制和每季度重新验证。

10.4 MTL-4:对抗性验证

达到MTL-3,并通过关口3(引导式搜索安全性)和关口5(自助法置信度)。可应要求向监管机构提供独立审计追踪。独立性规则得到执行。可作为机构级规模的主要配置信号,附每半年重新验证和年度公开报告。

10.5 MTL-5:持续实盘验证

达到MTL-4,并具备在实盘数据上滚动更新的判定。市场状态变化时自动漂移检测和强制重新验证。向订阅的资产配置方提供完整的审计追踪透明度。可在持续监督下规模化部署。

10.6 框架的属性

严格嵌套。每一等级包含所有更低等级的全部要求。一个MTL-4必然也是MTL-3、MTL-2和MTL-1。

每一等级二值。一个系统是MTL-N,或者不是。没有MTL-3.5。这种刚性是有意的:它在单个关口的层面上镜像拒绝优先的纪律,并防止在商业压力下就阈值进行谈判。

可公开质疑。每一次MTL归属都附有审计追踪,允许独立第三方复现计算并质疑归属。

有时间限制。1月归属的MTL-4,未经重新验证,7月就不是MTL-4。重新验证节奏按等级公开声明。

机械过期。MTL-N的判定在签发后N个月未经重新验证即过期。过期是机械的:它不需要Nyalai的行动即可生效。MTL-1一个月后过期;MTL-2两个月后;MTL-3三个月后;MTL-4四个月后;MTL-5五个月后。对于MTL-5,其定义属性是持续实盘重新验证,五个月这一数字是重新验证检查点之间允许的最大间隔,而非保质期;一个不再被持续重新验证的MTL-5,按定义不再是MTL-5。过期判定不可被引用为现行的MTL归属;它只能被引用为附带最后重新验证日期的过期历史记录。

独立性跨等级适用。验证者与策略作者在结构上相互独立的要求,在MTL-3及以上适用。低于该阈值,自我验证被允许,但须带有明确的自我验证标记。

11. 维护重要的市场结构

11.1 反验证权力整合

如果Nyalai成为量化金融中唯一有意义的验证权威,我们会认为这是一个坏结果。关于策略质量的判断集中于单一组织,会制造单点故障、单点俘获和单点叙事扭曲。

我们的纪律要求,最终应有少数几家独立的验证方并行运作,各有其方法论,各自可被质疑,各自可被审计。Nyalai公开其全部方法论,是出于机构的自我约束,而不是作为一种邀请。我们追求的是始终作为参照标准,而不是成为垄断者。

11.2 风格漂移使判定失效

判定书只对所测试的特定模型配置有效。风格漂移,定义为特征、品种范围、风险参数或所声称问题领域的任何实质性变化,会使先前的判定失效。必须重新验证,这不是可选项。与原始判定书一起存放的审计追踪记录配置状态;与当前状态的比较,是提交者在请求延长先前CALIBRATED判定之前必须通过的第一线检验。

这一纪律保护资产配置方免受实质性变更的模型上过期认证的影响。第10节声明的重新验证节奏是一个下限;风格漂移触发立即重新验证,无论上一次节奏驱动的审查发生在何时。

v0.3.3的补充增加了一条Lindy向后可读性条款:每一次原则修订都必须保持向后可读,以便审计委员会在阅读当前版本和v-1版本时,能够重建每一次变更的原因,而无需考古式重建。

11.3 维护资产配置方的认识论自主性

我们作出判定。我们不作决策。我们抵制把判定翻译成关于资本配置、部署顺序或组合构建的隐含建议的诱惑。那些决策属于资产配置方。

一个过于信任我们判定的资产配置方,会变得依赖我们。这种依赖对资产配置方不利,最终对行业也不利。我们的报告被设计来支持资产配置方的独立判断,而非替代它。

11.4 对判定的争议

认为Nyalai判定按其自身标准不正确的提交者或资产配置方,保留一条争议渠道。书面反对意见可在判定书发布日期后三十天内提出,陈述被争议的具体关口结果、阈值或判定书声明,以及争议的依据。

第二个验证者实例,与主验证者在结构上不同(即,一个未对原始判定作出贡献、且独立形成其判断、不访问主验证者内部审议的验证者实例),对照判定书和底层数据包审查反对意见。

结果作为签署的附录发布,附在原始判定书上。附录可以确认原始判定、修订它或撤回它。附录是公开的、注明日期的、永久的:它绝不取代原始判定书,原始判定书保留在公共记录中,附录附于其后。

争议不是法律意义上的上诉;它是在同一原则框架内的对抗性复检。经争议附录确认的判定,带有经受过结构化反对而存活的额外信号。经争议附录撤回的判定,被视为Nyalai的更正。

12. 结语

12.1 我们承认的开放问题

  • 在市场状态转换下的校准测量得不完善。我们的关口4假设市场状态内平稳;它没有完全处理校准本身依赖于市场状态的策略。
  • 关口3的引导式搜索校正依赖于策略作者关于测试配置数量的诚实。我们无法审计未披露的探索。
  • 通过隐马尔可夫模型的跨市场状态检测是几种可用技术之一。我们承诺在2027年底前公布与替代技术的基准比较。
  • 我们的五道关口是为运行在日到周时间跨度上的策略而校准的。未来的扩展将引入适配亚秒、亚分钟和日内状态的分层验证等级。
  • 策略拥挤的实时检测超出当前技术水平,Nyalai不声称能做到。我们的判定处理的是策略是否校准、是否拥有连贯的优势来源,而非策略在部署时刻是否不拥挤。本原则将拥挤视为资产配置方的责任,通过第9.7节的规模包络和第10节的定期重新验证节奏来监控。

12.2 我们尚不知道的

  • 经验证的策略在获得GO判定后退化的速率。
  • Nyalai判定与资产配置方实际投资决策之间的相关性。
  • 行业是否采用我们的词汇、阈值和方法,还是Nyalai仍然是一项保留给特定机构利基的专门服务。

12.3 Nyalai与我们服务的行业之间的关系

我们不是这个行业。我们在它之外。我们不管理资本。我们不雇用投资组合经理。我们不参与我们所验证的策略所产生的回报。

这种独立性是结构性的。它不能仅靠意图来维持。它需要一个不制造我们与我们评估的实体之间激励一致的商业模式。

我们当前的模式通过三条原则维护这种独立性。判定定价与判定结果脱钩(无基于业绩的报酬,无或有费用)。带有声明节奏的订阅层级取代临时合同。订阅者可以按统一的单次判定费率委托补充判定;非订阅者支付全额统一费率。如果我们发现这一模式制造了未预见的冲突,我们将在此记录。

12.4 序列承诺

Nyalai绝不在判定作出之前,请求公开某个案例或在任何后续决策中使用它的许可。提交方关于后续使用的同意,在判定之后、在提交者审阅的一份文件上收集。拒绝后续使用,不会改变判定本身。

这不是对心理状态的承诺。它是一项由Nyalai掌控、任何第三方都可审计的操作顺序承诺。其目的是防止一类有效性失败:提交者知道结果将如何被处置,从而修改输入以塑造结果。提交者关于发布的决定,不能追溯作用于他们所写的内容,因为它发生在判定被固定之后。

该承诺适用于提交的每一项后续使用:公开案例研究发布、私人客户披露、汇总方法论研究中的使用、任何沟通中的外部引用。所有这些都以判定作出后收集的同意为条件。这是有效性的纪律,而非美德的纪律。一份被后续使用预期所污染的提交,是一份虚假提交,对其作出的判定将带有我们自己引入的错误。

长期承诺。序列承诺超越即时的判定书,延伸到登记册的多年完整性。2026年在v0.3.2下发布的判定,在2036年仍可对照v0.3.2验证,无论后续原则如何演化。这一姿态借鉴了Sandia National Laboratories在1990年代为美国能源部废物隔离试点工厂开发的万年标记纪律,Peter Galison在2024年4月于UC Santa Cruz的Nauenberg科学史讲座中对此作了详细讨论。Nyalai的台账运行在更短的时间跨度上,但遵循同样的纪律:验证者不追溯取消发布,不追溯重新评分,登记册永久累积。

12.5 关于共识平均

当一份提交在不同评估配置(例如三个前向滚动窗口或三个自助法种子)上产生多次关口3置换运行时,跨运行平均通过或失败的算术,只在三个条件下合法。第一,所有运行都作为判定书方法论附件的一部分被预注册,因此平均不是为获得有利分数的事后平滑。第二,没有单次运行通过而平均失败,也没有单次运行失败而平均通过;当出现任一不一致时,判定列出每次运行的结果,验证者不进行平均。第三,平均遵循事件视界望远镜合作组织在2018年7月下旬采用的保守协议:使用平均,因为它抑制特殊的单次运行产物,同时保留跨运行的共同特征。

认识论锚点。Ramesh Narayan异常清晰地阐述了共识平均背后的原则,由Peter Galison在2019年4月18日的哈佛CMSA Yip讲座中转述:“它们一致的地方,应当告诉我们真正可以相信什么。”Nyalai的平均纪律是这一锚点的操作实现。独立关口算术一致的地方,是判定可以辩护的。它们分歧的地方,是判定必须报告为未解决的不确定性、而非抹平的地方。

保守框定优于包容性框定。Galison在该选择被辩论时在场,他公开表示保守平均的框定胜出,因为共同特征会正确显现,而某一方法得到但其他方法都没得到的特征会被相对抑制。抑制特殊单方法产物的平均是合法的。为整个团队的同事式包容、或为报纸式简洁而进行的平均,是不合法的。

顶端集合报告优于点估计报告。平均协议不得将底层分布坍缩为单个点估计。当机械层面的算术产生一个分布时,判定书报告该分布(例如事件视界望远镜先例中的环直径后验直方图)。点估计在给出时,被注释为分布的摘要,而非其替代。

12.6 监管定位

Nyalai进入市场,正值一波监管浪潮的前沿,该浪潮很可能要求对AI产生的机构分析进行外部验证。美国SR 11-7的当前边界和其他司法管辖区的同等指引,处理机构内部的模型风险。将该边界扩展到对AI产生分析的外部验证,基于过去十五年审慎监管的弧线,是何时而非是否的问题。

我们不游说这一扩展。我们为它而建设。在任何监管授权之前就采用Nyalai纪律的机构,获得一个在授权到来时将被认可的工作流。本原则的立场是,早期采用外部对抗性验证本身就是一种纪律,独立于监管是否曾经规定它。

PRA四阶段政策周期。审慎监管局2025年2月的“Approach to Policy”框架,即PS 3/25,编纂了一个四阶段周期(启动、制定、实施、评估),附有法定成本效益分析和独立的CBA小组。Nyalai在原则撰写规模上采用实质相似的姿态:每一次版本升级都命名触发因素(启动),记录带有理由的变更(制定),在发布前将变更应用于实时验证者会话(实施),并为下一版本的参照记录结果(评估)。

12.7 关于“原则”一词

我们选择“原则”(Doctrine)一词而非“宣言”、“框架”或“方法论”,是有意的。方法论是一套技术。框架是组织技术的脚手架。宣言是价值的声明。原则是关于我们如何运作的基础性声明。它意味着被践行而非被遵循。它承载着创始文件的分量。

我们不打算让这个词暗示刚性。本原则是一个活的框架,预期会演化。

12.8 最后的话

我们可能在本文件中的具体论断上是错的。我们可能在优先级排序上是错的。我们可能在关口上是错的。如果证据积累表明我们错了,我们将修订。

但我们不预期在创始不对称上是错的:假GO判定(资本被部署到有缺陷的策略上)的代价,大于假NO-GO的代价。只要这一不对称成立,拒绝优先就是正确的纪律。

我们以这种精神提供本原则。

12.9 治理

一部规范验证者行为的原则,本身必须被治理。v0.3至v0.3.2.3中缺少治理部分,是一个承重的缺口;v0.3.3填补了它,v0.3.3.1批准了措辞。

版本权威。本原则由Sébastien Assohou撰写。版本升级由作者批准,并通过与一个在结构上独立于撰写路径的对抗性验证者实例共同计算SHA256来封存。在SHA256哈希被共同计算、且对枚举的UNVERIFIED项的裁决被记录之前,任何版本都不会成为正本。

继任。如果作者在未事先转移权威的情况下,超过六十天不可用,版本权威转移至归档于nyalai.com/doctrine/governance的公开继任声明中指定的个人(截至v0.3.3.1该页面待发布);被指定的个人带有三十天的授权来组成治理委员会。在没有继任声明的情况下,本原则冻结在其最后封存版本,在治理法定人数被重新建立之前,没有进一步更新是正本的。冻结的原则仍适用于现有判定和按其条款发布的新判定;它不会失效。六十天阈值是触发默认冻结的下限;任何实际的权威转移都要求继任声明生效。

外部仲裁。一份已按§11.4被争议、且其争议附录本身被提交者争议的判定,可被提交给一个外部仲裁小组,该小组从Nyalai机构之外的合格对抗性验证者公开名册中抽取(该名册按§11.1是愿景性的,将在独立验证者最终并行运作时建立)。小组的裁决对Nyalai是咨询性的;Nyalai保留接受、修订或拒绝裁决的最终权威,接受或拒绝作为第二附录发布在原始判定书上。外部仲裁是一个安全阀,而非例行渠道,其仅具咨询性的性质被公开命名为该机制的局限。

日落。如果Nyalai作为实体停止运营,所有封存的原则版本和所有公布的判定书都以CC0方式保留在其归档位置的公共记录中。本原则的方法论成为一个自足的公共物品,任何继任验证者都可以采用、改编或偏离。没有任何判定书在Nyalai日落时被追溯撤回。该条款的持久性取决于一个位于nyalai.com之外、在Nyalai日落事件中存活下来的归档,即下文归档机制段落中由Nyalai触发的Internet Archive Wayback Machine快照义务;因此,日落的保证以该快照在日落时处于活动状态为条件。

归档机制义务。Nyalai承诺(a)只要Nyalai运营,就维护nyalai.com/doctrine和nyalai.com/verdicts作为正本归档位置,(b)在每次版本升级时触发Internet Archive Wayback Machine快照(截至v0.3.3.1待激活),以及(c)在nyalai.com/doctrine/governance发布治理状态页面(截至v0.3.3.1待发布),概述当前权威、继任和日落准备。

致谢

本原则由Sébastien Assohou撰写。其构建所借鉴的智力影响者,其工作在下文逐一列名。点击任何卡片可查看完整贡献和主要来源。

完整的叙事性致谢,以构成本原则其余部分结构的医学报告语体,如下。

统计与方法论基础。

  • Marcos López de Prado,其2018年的《Advances in Financial Machine Learning》(Wiley)和2014年与David Bailey合著的通缩夏普比率论文(《Journal of Portfolio Management》,第40卷第5期)构成关口1、3和5的统计基础。
  • 应用于金融时间序列的隐马尔可夫模型主要文献:Lawrence Rabiner的1989年教程(《Proceedings of the IEEE》,第77卷第2期)、James Hamilton的1989年马尔可夫转换自回归论文(《Econometrica》,第57卷第2期),以及Andrew Ang和Geert Bekaert的2002年利率市场状态识别论文(《Journal of Business and Economic Statistics》,第20卷第2期),构成关口2所应用的HMM装置。零售到专业的HMM堆栈趋同被引用为外部佐证,表明该框架并非Nyalai方法所特有。
  • David Kipping(哥伦比亚大学天文学),其2016年Sagan暑期工作坊的MCMC教程提供了锚定§9.12的嵌套采样与马尔可夫链蒙特卡洛类比。
  • David Aronson和Timothy Masters,其2013年的《Statistically Sound Machine Learning》提供了关口3所使用的引导式搜索校正方法论。
  • Glenn Brier,其1950年的Verification of Forecasts Expressed in Terms of Probability(《Monthly Weather Review》,第78卷第1期)及其由Guo等人2017年的工作所作的现代操作化,构成关口4的校准基础。
  • Campbell Harvey(杜克大学),其关于样本外收益率曲线模型纪律和横截面资产定价异象多重检验校正严谨性的工作,为关口3关于定向搜索校正的姿态,以及针对p-hacked发表的一般拒绝优先纪律提供依据。
  • Andrew Ang(BlackRock),其对指数、因子和alpha的播放列表隐喻式解绑,提供了使Nyalai判定书对机构读者易读的词汇纪律。
  • Emanuel Derman(哥伦比亚大学),其Modeler's Hippocratic Oath(与Paul Wilmott合著)和“不是上帝的真理”的模型认识论谦逊,为§6.2的校准不确定性属性和§9.12的框架非模型定位提供依据。

机构模型验证。

  • Joseph Simonian,其2020年论文“Modular Machine Learning for Model Validation”(《Journal of Financial Data Science》,第2卷第2期,第41-50页)提供了§2.8的模块化验证纪律和§9.7的沟通层原则。
  • Roland Stamm,Acadia量化服务部门合伙人(现LSEG Post Trade Solutions),其关于机构验证“框架,非模型”定位的公开陈述塑造了§9.12。
  • Senthil Kumar,前BNY Mellon首席风险官(现Huntington Bank首席风险官),其在风险类型、业务情境和监管框架上的三角定位框架,在2022年的哥伦比亚CRO Spotlight Series中阐述,塑造了§9.11。
  • 审慎监管局(英格兰银行),其2023年5月发布、2026年4月更新的SS 1/23模型风险管理原则、PS 6/23政策声明和2025年2月的PRA政策方法PS 3/25,为§12.6的监管定位纪律提供依据。根据PRA政策方法建立的独立成本效益分析小组,在此被命名为元原则参照,说明一个公共政策机构如何在其自身输出的版本周期中维持对抗性校准。

科学哲学与经验验证方法论。

  • Peter Galison(哈佛大学Joseph Pellegrino大学教授),其与Lorraine Daston合著、2007年由Zone Books出版的《Objectivity》、2019年4月18日的哈佛CMSA Yip讲座、2024年4月18日在UC Santa Cruz的Nauenberg科学史讲座和事件视界望远镜参与,提供了三体制图式(真理归于自然、机械客观性、训练有素的专业知识)、§5.3的平行组先例、§12.5的保守平均框定,以及§12.4的WIPP长期信号参照。
  • Lorraine Daston(马克斯·普朗克科学史研究所荣休所长),其与Peter Galison合著《Objectivity》确立了Nyalai堆栈所映射的三体制图式。
  • Sheperd Doeleman(事件视界望远镜创始主任;哈佛-史密森),其对EHT多方法收敛纪律的叙述,为§5.3训练有素的专业知识层的收敛前提操作原则提供依据。
  • Katie Bouman(加州理工),其在加州理工CMS座谈中承认团队隔离不消除共享人类偏差,为§5.3的残余偏差下限附件要求和§9.5a的对抗性形状变体纪律提供依据。
  • Ramesh Narayan(哈佛-史密森天体物理中心),其认识论原则“它们一致的地方,应当告诉我们真正可以相信什么”(由Galison转述),为§12.5的共识平均纪律提供锚点。
  • Andrew Strominger(哈佛自然基本规律中心主任),其关于爱因斯坦1939年黑洞不存在论文的公开评论,为§5.3的爱因斯坦1939年教训锚点提供依据。

认识论基础。

  • Nassim Nicholas Taleb,其2008年Edge.org文章“The Fourth Quadrant: A Map of the Limits of Statistics”及其在《International Journal of Forecasting》上的同行评审后续论文,提供了§1.4的概念锚点。
  • Eugene Fama和Kenneth French,其2018年《Financial Analysts Journal》论文“Volatility Lessons”(第74卷第3期)提供了§2.7的统计推断时间跨度框定。

受托AI框架。

  • Andrew W. Lo(MIT斯隆管理学院Charles E. and Susan T. Harris教授,MIT金融工程实验室主任,CSAIL首席研究员),其与具名MIT CSAIL合作者在受托AI检索增强生成上的持续工作,描述了AI产生的机构分析外部验证的理论基础;其将受托AI问题公开框定为三个组成部分,即能力(由考试表现衡量,包括Series 65和CFA风格测试,GPT-4通过了这些测试)、个性化(通过对客户特定建议的随机对照试验)和信任(从金融顾问道德准则和Lo所称的关于受托责任的判例法“化石记录”系统化而来),为§6的诚实属性提供依据。Lo于2026年发表的哈佛Griffin GSAS演讲“Can ChatGPT Plan Your Retirement?”用一句话阐述了Nyalai的本质论题:“不久将会有这样一个时刻,我们会觉得可以信任这些大语言模型。而那很危险。因为觉得你可以信任某人,并不意味着你应该信任某人。”

资产配置与经理选择中的实践者声音。

  • Matt Bank(GEM,副首席投资官),其在Capital Allocators第419集中阐述的资产配置方风险四类框架(收益缺口、回撤、流动性、声誉难堪),塑造了§9.7的沟通层词汇。
  • Nicholas Csicsko(Trinity Wall Street捐赠基金),其在Capital Allocators的Senior Decision Makers系列中阐述的“在好时光中准备”原则和风格漂移标准,塑造了§11.2。
  • Pat Dorsey(Dorsey Asset Management),其在Capital Allocators第509集中阐述的对管理层谦逊和“明显的核心失败”框定的关注,为Nyalai判定书的诊断纪律提供依据。
  • Dan Rasmussen(Verdad Advisers),其2025年的《The Humble Investor》(Harriman House)和Verdad Weekly Research出版物,提供了§2.4的元分析框定。
  • Cliff Asness(AQR Capital Management),其价值价差工作、2025年12月在Capitalism and Freedom播客第63集提出的“半个回测”样本外折扣规则,以及对速度型与结构型优势的公开处理,为§2.4和§9.7提供依据。本原则在§12.1中关于实时拥挤检测的立场,是在明确同意AQR在同一问题上的立场之下写成的。
  • Antti Ilmanen(AQR),其2011年的《Expected Returns》(Wiley)和2022年的《Investing Amid Low Expected Returns》(Wiley)确立了§1.4中区分公开市场与私募市场验证范围的不对称耐心框定。

结构模板与市场微观结构。

  • Anthropic于2026年1月发布的Claude's Constitution的作者们,其结构模板为本文件的组织提供依据。两者都以CC0授权。
  • Jean-Philippe Bouchaud、Julius Bonart、Jonathan Donier和Martin Gould,其2018年的《Trades, Quotes and Prices: Financial Markets Under the Microscope》(Cambridge University Press)为高频交易扩展的处理提供依据。

本原则中的错误仅属于我们。

主要来源

本原则中的每一条引文都可追溯到一个主要来源:作者自己的论文、书籍、播客、文章或公开演讲。以下是选定的书目锚点;完整登记册保存在THE_REFUSAL_DOCTRINE_v0.3.3.1的正本markdown中。

同行评审论文。

  • Bailey, D. H., and López de Prado, M., 2014. The Deflated Sharpe Ratio. Journal of Portfolio Management, Vol 40 No 5, pp 94-107.
  • Brier, G. W., 1950. Verification of Forecasts Expressed in Terms of Probability. Monthly Weather Review, Vol 78 No 1.
  • Rabiner, L. R., 1989. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. Proceedings of the IEEE, Vol 77 No 2, pp 257-286.
  • Hamilton, J. D., 1989. A New Approach to the Economic Analysis of Nonstationary Time Series and the Business Cycle. Econometrica, Vol 57 No 2, pp 357-384.
  • Ang, A., and Bekaert, G., 2002. Regime Switches in Interest Rates. Journal of Business and Economic Statistics, Vol 20 No 2, pp 163-182.
  • Fama, E. F., and French, K. R., 2018. Volatility Lessons. Financial Analysts Journal, Vol 74 No 3.
  • Kelly, B., Malamud, S., and Zhou, K., 2024. The Virtue of Complexity in Return Prediction. Journal of Finance, Vol 79 No 1, pp 459-503.
  • Simonian, J., 2020. Modular Machine Learning for Model Validation. Journal of Financial Data Science, Vol 2 No 2, pp 41-50.
  • Taleb, N. N., 2009. Errors, Robustness, and the Fourth Quadrant. International Journal of Forecasting, Vol 25 No 4.

书籍。

  • Aronson, D. R., and Masters, T., 2013. Statistically Sound Machine Learning for Algorithmic Trading of Financial Instruments.
  • Bouchaud, J.-P., Bonart, J., Donier, J., and Gould, M., 2018. Trades, Quotes and Prices: Financial Markets Under the Microscope. Cambridge University Press.
  • Galison, P., and Daston, L., 2007. Objectivity. Zone Books. 引用于§5.3历史根基和训练有素的专业知识层。
  • Ilmanen, A., 2011. Expected Returns: An Investor's Guide to Harvesting Market Rewards. Wiley.
  • Ilmanen, A., 2022. Investing Amid Low Expected Returns. Wiley.
  • López de Prado, M., 2018. Advances in Financial Machine Learning. Wiley.
  • Rasmussen, D., 2025. The Humble Investor. Harriman House.

公开演讲和机构文件。

  • Galison, P.,2019年4月18日,哈佛CMSA Yip讲座“Philosophy of the Shadow”。引用于§5.3、§9.5a和§12.5。
  • Galison, P.,2024年4月18日,Nauenberg科学史讲座,UC Santa Cruz。引用于§12.4长期承诺(WIPP处理)和§12.5。
  • Kipping, D.,2016年7月18日,A Beginner's Guide to MCMC,Sagan暑期工作坊。引用于§9.12嵌套采样类比。
  • Sandia National Laboratories,1993年,报告SAND92-1382,为美国能源部废物隔离试点工厂设计的万年标记。参照于§12.4。
  • Federal Reserve Board and Office of the Comptroller of the Currency, 2011. SR 11-7: Guidance on Model Risk Management.
  • Prudential Regulation Authority, Bank of England:SS 1/23 Model Risk Management Principles for Banks,2023年5月,2026年4月更新;PS 6/23 Policy Statement,2023年5月;PS 3/25 The Prudential Regulation Authority's Approach to Policy,2025年2月。参照于§12.6。
  • Central Bank of the U.A.E.,2022年11月,Model Management Standards,Notice 505/2022。
  • Anthropic,2026年1月,Claude's Constitution。以CC0方式发布。

更正协议:如果发现上述任何引文不正确,本原则将在发现后24小时内修订,并附带一个带版本号的变更日志条目记录该更正。

本节于v0.3.3加入,列出非权威作品,来自行业媒体、商业书籍或播客圈的读者会认出它们。列出它们是为了与资产配置方和播客圈建立共享词汇,并从流行参照桥接到同行评审锚点,而不将方法论权威让渡给流行来源。Nyalai不引用这些作品作为方法论论断的权威,也不在判定算术中引用它们。

书籍。

  • Gregory Zuckerman,2019年,《The Man Who Solved the Market: How Jim Simons Launched the Quant Revolution》,Portfolio(Penguin Random House)。资产配置方最常提及的流行参照。其“马尔可夫链和均值回归”框定是一个有用的切入点,尽管关口2方法论借鉴的是同行评审的HMM文献,即Rabiner于1989年、Hamilton于1989年、Ang和Bekaert于2002年的论文,而非行业媒体的框定。当提交者引用Zuckerman作为马尔可夫链策略的智力基础时,判定书将该引用视为词汇对齐,而非方法论权威。

播客。

  • Capital Allocators(主持人:Ted Seides)。来自资产配置方和经理选择者的广泛实践者声音。当直接为特定原则章节提供依据时,个别集数在致谢中引用。

教育类YouTube。

  • Quant Guild(频道@QuantGuild,由Roman Paolucci运营)。量化金融的马尔可夫链、隐马尔可夫模型和ARCH/GARCH波动率建模。零售到专业的桥梁材料,被机构初级量化人员广泛观看。
  • QuantProgram(频道@quantprogram)。Jim Simons的Medallion马尔可夫策略及相关交易频道材料。当提交者引用此类材料时,判定书对齐词汇,但重定向到同行评审锚点。

本节有意简短:它是一座桥,而非竞争性书目。

本原则中的每一条引文都可追溯到一个主要来源:作者自己的论文、书籍、播客采访、文章或公开演讲。没有任何二次解释或中介转述被当作来源材料。

同行评审论文。Bailey和López de Prado,2014年,Journal of Portfolio Management Vol 40 No 5。Brier,1950年,Monthly Weather Review Vol 78 No 1。Fama和French,2018年,Financial Analysts Journal Vol 74 No 3,DOI 10.2469/faj.v74.n3.6。Guo等人,2017年,On Calibration of Modern Neural Networks,ICML,arXiv:1706.04599。Simonian,2020年,Journal of Financial Data Science Vol 2 No 2 pp 41-50。Taleb,2009年,International Journal of Forecasting Vol 25 No 4。

书籍。Aronson和Masters,2013年,Statistically Sound Machine Learning for Algorithmic Trading of Financial Instruments。Bouchaud、Bonart、Donier和Gould,2018年,Trades, Quotes and Prices,Cambridge University Press,ISBN 9781107156050。Ilmanen,2011年,Expected Returns,Wiley,ISBN 9781119990727。Ilmanen,2022年,Investing Amid Low Expected Returns,Wiley,ISBN 9781119860198。López de Prado,2018年,Advances in Financial Machine Learning,Wiley,ISBN 9781119482086。Rasmussen,2025年,The Humble Investor,Harriman House,ISBN 9781804090763。

文章和公开演讲。Taleb,2008年,The Fourth Quadrant,Edge.org。Asness,2025年12月,Capitalism and Freedom播客第63集。Bank,2025年,Capital Allocators第419集。Csicsko,Capital Allocators的Senior Decision Makers系列。Dorsey,2024年,Capital Allocators第509集。Kumar,2022年,哥伦比亚CRO Spotlight Series。Stamm,Ahead of the Curve播客,LSEG Post Trade Solutions。

机构文件。Federal Reserve Board和OCC,2011年,SR 11-7 Guidance on Model Risk Management。Anthropic,2026年1月,Claude's Constitution,CC0。

如果发现上述任何引文不正确,本原则将在发现后24小时内修订,并附带一个带版本号的变更日志条目记录该更正。

贡献

背景

原则中的参照

返回