Audit release ML et reproductibilité

VérifiéSûr

Audite indépendamment les claims de release et reproductibilité ML : provenance, hashes, vie privée, licences et gates, avec verdict PASS, FAIL ou ABSTAIN.

Spar Skills Guide Bot
Data & IAAvancé
18/09/2026
Claude CodeCursorCodex
#ml-audit#reproducibility#release-gates#provenance#model-compliance

Recommandé pour

Synthèse automatique

Réalise un audit indépendant des preuves de reproductibilité et de release d'un modèle, jeu de données, run ou déploiement, puis rend un verdict PASS, FAIL ou ABSTAIN.

Points forts

  • Impose un index de preuves avec chemins exacts, révisions, hashes et horodatages avant toute conclusion
  • Distingue explicitement les valeurs mesurées, dérivées, inconnues et contredites
  • Refuse l'auto-approbation de l'expérimentateur ou du déployeur et réaffecte chaque lacune à un owner amont nommé
  • Sépare nettement ABSTAIN (preuves insuffisantes) de FAIL (gate violé)

Limites

  • Suppose que les artefacts référencés (lock de requirements, rapports de validation, manifestes) existent déjà et soient accessibles
  • Ne produit pas lui-même de mesures : sans preuves fournies, le verdict restera ABSTAIN
  • Dépend de fichiers de référence internes (audit-report, release-gates) non décrits en détail dans le SKILL.md
Quand l'utiliser

À utiliser lorsqu'il faut décider, preuves à l'appui, si un modèle, un dataset, un run ou un déploiement peut franchir un gate de release.

Quand l'éviter

À éviter pour entraîner, corriger ou modifier des artefacts, ou lorsqu'aucune preuve vérifiable n'est disponible et qu'une réponse binaire est attendue.

Analyse de sécurité

Sûr
Score qualité82/100

The skill is an audit checklist for ML release and reproducibility claims. It declares no tools, requests no execution, and contains no destructive, exfiltration, obfuscation, or safety-disabling instructions. Its only external references are documentation files for audit reporting, claims, gates, and privacy/licensing.

Aucun point d'attention détecté

Comment cette analyse est faite

Exemples

Release readiness check
Audit whether we can ship recommender-v3 to production. Requirements lock is at reqs/requirements.lock, run record in MLflow run 8f2c1a, artifact hashes in artifacts/manifest.json. Give me PASS, FAIL, or ABSTAIN with blocking evidence.
Reproducibility verification
Check whether the results in reports/validation-2024-11.md can be reproduced from the recorded environment and model revision. Flag leakage, split mismatches, and missing provenance with exact paths and hashes.
License and privacy gate
Before promoting this dataset, reconcile the licensing and privacy evidence in docs/privacy-review.pdf and licenses/ against the claims in research/claims.md, and tell me which upstream owner must fix any gap.

name: ml-stack-audit description: Independently audit ML release and reproducibility claims when a user asks whether a model, dataset, run, artifact, or deployment is ready; reconcile provenance, hashes, privacy, licenses, and gates with PASS, FAIL, or ABSTAIN.

Independent release audit

Require requirements lock, data audit, validation report, research claims, model revisions, run and tracking records, artifact hashes, privacy/licensing evidence, deliverable schema, promotion state, and immutable manifests.

Workflow

  1. Build an evidence index with exact paths, URLs, revisions, hashes, timestamps, and owners.
  2. Reconcile every requirement, claim, dataset split, model/tokenizer, environment, metric, artifact, and approval against measured evidence.
  3. Check reproducibility, leakage, privacy, license, schema, provenance, and promotion gates; label measured, derived, unknown, and contradicted values.
  4. Review release target and rollback state independently; do not accept the experimenter's or deployer's self-approval.
  5. Return exactly PASS, FAIL, or ABSTAIN, blocking evidence, remediation, and next owner: ml-stack-deployment only after PASS, otherwise the named upstream owner.

Boundary and outputs

Never fill missing evidence with assumptions, mutate artifacts, or approve an unobserved operation. ABSTAIN means evidence is insufficient; FAIL means a known gate is violated. Return an audit report with exact paths and hashes. Next owner is ml-stack-deployment after PASS, ml-stack-experiment for reproducibility gaps, ml-stack-data for leakage/privacy gaps, or ml-stack-hub for metadata/licensing gaps.

See audit report, claims and provenance, release gates, and privacy and licensing.

Du fichier au premier essai

Le téléchargement contient exactement le contenu affiché sur cette fiche. Cette copie peut différer de la dernière version du dépôt source.

Consulter la source et ses fichiers annexes

Ce téléchargement contient uniquement SKILL.md. Les scripts, références, modèles et dépendances éventuels ne sont pas inclus. Récupérez les fichiers nécessaires depuis la source en conservant leur arborescence avant de poursuivre.

1. Télécharger le fichier

Télécharger SKILL.md

Depuis la racine d’un projet de test, enregistrez le fichier sous .skill-downloads/ml-release-audit-reproducibility-mu6guq3x/SKILL.md, ou utilisez la commande suivante. Ce dossier sert à examiner la skill avant son installation.

Commande pour macOS/Linux ou WSL : un shell POSIX et curl sont nécessaires. Sous Windows sans WSL, utilisez le bouton de téléchargement et créez le dossier manuellement.

mkdir -p '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x' && curl --fail --show-error --location 'https://skills-guides.com/api/skills/ml-release-audit-reproducibility-mu6guq3x/download' --output '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x/SKILL.md.part' && mv '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x/SKILL.md.part' '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x/SKILL.md'

2. Vérifier les prérequis

Lisez SKILL.md avant de l’utiliser. Si le fichier cite des scripts ou services externes, examinez-les et préparez les accès nécessaires dans votre environnement de test.

Aucune section de prérequis reconnue dans ce fichier. Cela ne signifie pas qu’il est autonome : les bibliothèques, outils et accès peuvent être cités ailleurs dans le contenu ou dans le dépôt source.

Les plateformes de la fiche sont des indications du catalogue. Les chemins ci-dessous suivent la documentation des outils ; ils ne prouvent pas que cette skill y a été exécutée. Aucune version minimale de ces outils n’est attestée pour cette fiche.

3. Charger la skill

Après vérification, copiez le dossier complet dans le projet avec l’une des commandes ci-dessous, puis ouvrez une nouvelle session de l’outil. La commande s’arrête si un dossier du même nom existe déjà : comparez les fichiers avant de le remplacer.

Claude Code
test -f '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x/SKILL.md' && test -s '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x/SKILL.md' && mkdir -p '.claude/skills' && test ! -e '.claude/skills/ml-stack-audit' && cp -R '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x' '.claude/skills/ml-stack-audit'

Cursor
test -f '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x/SKILL.md' && test -s '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x/SKILL.md' && mkdir -p '.cursor/skills' && test ! -e '.cursor/skills/ml-stack-audit' && cp -R '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x' '.cursor/skills/ml-stack-audit'

Codex
test -f '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x/SKILL.md' && test -s '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x/SKILL.md' && mkdir -p '.agents/skills' && test ! -e '.agents/skills/ml-stack-audit' && cp -R '.skill-downloads/ml-release-audit-reproducibility-mu6guq3x' '.agents/skills/ml-stack-audit'

OpenSkills

OpenSkills doit déjà être installé. La procédure locale install/read est contrôlée avec OpenSkills 1.5.0, qui exige Node.js ≥ 20.6.0. Aucun slug du catalogue n’est résolu automatiquement.

Installation officielle d’OpenSkills
openskills install './.skill-downloads/ml-release-audit-reproducibility-mu6guq3x'

openskills read 'ml-release-audit-reproducibility-mu6guq3x'

La lecture doit afficher le contenu du fichier installé et son dossier de base. Elle ne lance ni la skill ni ses dépendances.

Pour un agent qui lit AGENTS.md, synchronisez ensuite l’index. Cette commande modifie AGENTS.md : relisez le diff avant de l’utiliser.

openskills sync

Mode manuel ou autre outil : joignez SKILL.md à une conversation, ou ouvrez-le dans un agent capable de lire les fichiers. Ajoutez les ressources annexes nécessaires. Il n’existe pas de dossier universel reconnu par tous les outils.

4. Faire un premier essai

Utilisez une entrée courte et fictive : un endpoint d’API, un petit document ou un brief d’interface. Dans une nouvelle conversation, joignez le fichier ou donnez son chemin à l’agent, puis adaptez cette demande :

Lis .skill-downloads/ml-release-audit-reproducibility-mu6guq3x/SKILL.md et applique ses instructions à cet exemple : [décrire une entrée de test]. Indique les fichiers, dépendances ou accès qui manquent. Produis le résultat demandé par la skill sans inventer de données ni exécuter de script non examiné.

Résultat attendu : une sortie correspondant aux instructions de la skill, ou une liste précise des prérequis manquants. Une simple confirmation de lecture ne valide pas le premier usage. Si une ressource externe est indisponible, ce parcours reste à tester.

Skills similaires