Méthodologie · une page
Cinq gates adversariales. Un verdict binaire.
Nyalai rend un verdict CALIBRATED ou NOT-CALIBRATED sur chaque système probabiliste soumis à validation. Chaque gate mobilise le cadre statistique approprié à sa question spécifique. Une stratégie qui franchit les cinq est Adversarially Validated. Une stratégie qui échoue à une seule est refusée.
Le problème
La gestion institutionnelle du risque de modèle couvre les trois premiers quadrants. Nyalai ferme le quatrième.
Dans la taxonomie publiée par Nassim Taleb en 2008, les décisions se répartissent selon deux axes : selon que la structure de gain est simple ou complexe, et selon que l'aléa sous-jacent réside dans des distributions à queues fines ou à queues épaisses. Les stratégies quantitatives opèrent dans la région complexe à queues épaisses : gains non linéaires, possibilités de perte non bornées, changements de régime. SR 11-7 et les orientations équivalentes de gestion du risque de modèle couvrent adéquatement les trois premières régions. La quatrième est celle où la méthodologie de validation standard échoue, et où une couche adversariale externe n'est pas un ajout. C'est une exigence.
Les cinq gates
Chaque gate mobilise le cadre statistique approprié à sa question.
Méthodologie de validation modulaire, telle que Joseph Simonian l'a formulée dans le Journal of Financial Data Science en 2020. Chaque gate ci-dessous cite la méthodologie à comité de lecture qu'elle opérationnalise. Chaque seuil porte une justification énoncée. Chaque écart par rapport à la méthode standard est signalé dans le verdict-form.
Détecte les stratégies dont l'avantage observé ne survit pas à la correction pour tests multiples, pour non-normalité des rendements et pour longueur de la fenêtre d'observation.
Détecte les stratégies dont la rentabilité est concentrée dans un seul état de marché et se dégraderait sous un régime non rencontré.
Détecte les stratégies dont la significativité a été gonflée par l'exploration dirigée durant le développement, le mode de défaillance que les chaînes de travail d'apprentissage automatique produisent par défaut.
Détecte les stratégies dont les estimations de confiance annoncées divergent des résultats réalisés. Un signal directionnellement correct mais mal calibré casse le dimensionnement des positions.
Détecte les stratégies dont l'avantage attendu est positif mais dont la variance est suffisamment grande pour que la stratégie puisse ne pas rester rentable sous des variations de trajectoire réalistes.
Vocabulaire de déploiement
Les Model Trust Levels. De MTL-1 Untested à MTL-5 Live.
Un vocabulaire partagé pour le degré de confiance à accorder à un système de prédiction probabiliste. Numérotation en intensité croissante. Chaque niveau est défini par le passage empirique de gates spécifiques. Emboîtement strict. Binaire à chaque niveau. Publiquement contestable. Borné dans le temps.
Chaque attribution MTL est publiquement contestable au moyen de la piste d'audit fournie avec le verdict-form. Tout tiers indépendant peut reproduire le calcul et contester l'attribution.
Ce que reçoivent les allocateurs
Un verdict-form structuré comme un compte rendu médical.
Les constats d'abord, la méthodologie disponible sur demande, les références citées pour audit. Deux couches : la couche haute énonce le verdict en vocabulaire institutionnel ; la couche basse fournit les preuves techniques. La couche haute n'affirme jamais au-delà de ce que la couche basse soutient.
Énoncé de périmètre du verdict
Périmètre de régimes, enveloppe de dimensionnement, hypothèses de construction de portefeuille. Un déploiement hors de l'enveloppe invalide le verdict. Un verdict sur un signal n'est pas un verdict sur le portefeuille construit à partir de ce signal.
Panneau de triangulation
Catégorie de risque croisée avec le contexte d'affaires croisé avec le cadre réglementaire. Adapté du cadre à trois lentilles établi par Senthil Kumar lorsqu'il était Chief Risk Officer de BNY Mellon. Un verdict rendu au regard d'une cellule de triangulation ne s'étend pas à une autre.
Couche de communication
Couche haute en vocabulaire allocateur (shortfall, drawdown, liquidity, embarrassment, selon le cadre des Four Horsemen de Matt Bank chez GEM). Couche basse en preuves techniques (DSR, BSS, ECE, intervalles de confiance bootstrap). Les deux sont requises.
Guide de citation
Le verdict-form est conçu pour être citable par les propriétaires de modèles, les validateurs indépendants et l'audit interne à travers les trois lignes de défense institutionnelles. Un cadre, non un modèle, à la suite de Roland Stamm chez Acadia.
Annexe de reproductibilité
Version de la Doctrine appliquée, hachage de commit du validateur ʼCɩcɛ, versions des bibliothèques statistiques, graines aléatoires, paramètres bootstrap, nombres d'états HMM, provenance des données. Quiconque peut relancer le calcul.
Déclencheur de dérive de style
Tout changement matériel de variables, d'univers d'instruments, de paramètres de risque ou de domaine de problème revendiqué invalide le verdict antérieur. Revalidation requise, non optionnelle.
Intégrité des entrées
Engagement de séquence.
Nyalai ne demande jamais l'autorisation de publier un cas, ni de l'employer dans une décision en aval, avant qu'un verdict soit rendu. Le consentement à la publication ou à la référence en aval est recueilli après que le verdict est rendu, sur un document que le soumissionnaire examine. Le refus de l'usage en aval ne modifie pas le verdict lui-même.
1. La soumission est d'abord gelée. L'horodatage et le hachage sont enregistrés avant que toute conversation sur l'usage en aval commence.
2. Les gates s'exécutent sans exposition aux enjeux. L'auteur de la stratégie n'est jamais informé, durant l'évaluation, des conséquences en aval qui pourraient s'attacher au verdict.
3. Le consentement vient après le verdict. La publication, la divulgation privée au client, la recherche agrégée ou la référence externe sont toutes conditionnées à un consentement recueilli après que le verdict est fixé.
Ce n'est pas une promesse d'état d'esprit. C'est un engagement d'ordre des opérations que Nyalai contrôle et que tout tiers peut auditer. Selon la Refusal Doctrine, section 12.4. Une discipline de validité, non de vertu.
La méthodologie complète est publique.
Chaque gate, chaque seuil, chaque choix méthodologique est documenté dans la Refusal Doctrine v0.3.3.1. Douze sections, plus les remerciements, plus la bibliographie de sources primaires. Publiée sous CC0 1.0. Quiconque peut la réimplémenter, la contester ou s'en écarter.