Validation de skill en dry-run

VérifiéSûr

Exécute un skill en dry-run dans une sandbox avec des entrées fixes, vérifie les invariants de sortie et rapporte le résultat sans affecter l'environnement réel.

Spar Skills Guide Bot
TestingIntermédiaire
1024/07/2026
Claude CodeCursorWindsurf
#dry-run#skill-validation#sandbox#invariants#golden-test

Recommandé pour

Notre avis

Exécute une simulation contrôlée d'une compétence en prose dans un bac à sable jetable pour valider ses sorties sans affecter l'environnement réel.

Points forts

  • Permet de valider des compétences génératives sans risque de production
  • Utilise des invariants structurels et des snapshots dorés pour des tests robustes
  • Automatise la détection de régressions lors des refontes ou modifications

Limites

  • Ne convient pas aux compétences conversationnelles sans sortie déterministe
  • Nécessite un kit de test préétabli (golden_inputs, verify.sh) pour être efficace
  • Peut être lourd à mettre en place pour des compétences très complexes
Quand l'utiliser

Avant toute modification ou refactorisation d'une compétence qui génère des artefacts vérifiables (fichiers, configs, etc.).

Quand l'éviter

Pour des compétences purement consultatives ou conversationnelles où les réponses ne sont pas prévisibles ou snapshottables.

Analyse de sécurité

Sûr
Score qualité82/100

The skill describes a sandboxed dry-run procedure that explicitly avoids side effects, real-world changes, and destructive actions. No risky commands or data exfiltration are instructed.

Aucun point d'attention détecté

Exemples

Validate /project skill
/dry-run-skill project
Dry-run after refactoring
Run a dry-run on the refactored version of /discovery skill against its golden inputs.
Check new generator skill
Perform a dry-run of the /scaffold skill using its test kit in /tmp/dryrun-scaffold-1.

/dry-run-skill — Valida uno skill in prosa senza eseguirlo in produzione

Quando ricevi questo comando (con il nome di uno skill, es. /dry-run-skill project), esegui un dry-run sorvegliato di quello skill: lo lanci in una sandbox usa-e-getta con input fissi, ne verifichi gli INVARIANTI dell'output, e riferisci PASS/FAIL — senza toccare aree reali.

Perché esiste: gli skill in prosa (/project, /discovery, generatori di scaffold/file) li esegue l'LLM — non hanno un test runtime nativo. Rifattorizzarli o modificarli "al buio" rompe in silenzio. Questa è la rete. Dettaglio e fondamento: SSOT DRYRUN_PROTOCOL e KNOW_HOW_TRANSFER_PROTOCOL (paradigma).

Quando usarlo

  • PRIMA di modificare/rifattorizzare uno skill che genera artefatti verificabili (file, scaffold, descrittori, config).
  • Per validare uno split/refactor (es. /project monolitico → micro-skill): si confronta il nuovo output col golden.
  • Come test di accettazione di uno skill nuovo generatore.
  • NON serve per skill conversazionali/consulenziali (niente output deterministico da snapshottare).

Il "kit" di dry-run di uno skill (convenzione)

Ogni skill validabile ha un kit con tre pezzi (è la convenzione da seguire/creare se manca):

  • golden_inputs.json — risposte canoniche FISSE, scelte deterministiche e senza side-effect (per /project: paradigma-solo, niente librerie, RAG offline).
  • verify.sh <dir> (o verify_scaffold.sh) — verifier degli INVARIANTI strutturali (NON byte-diff): placeholder risolti, campi-chiave corretti, schema atteso, ecc. Deve essere una rete vera (bocciare un albero rotto).
  • golden/<...> — snapshot dell'output dello skill ATTUALE con quegli input (riferimento d'oro).

Kit di riferimento esistente per /project: os3-matrix/docs/tests/m-os3-065/.

Procedura (eseguila così)

  1. Localizza il kit dello skill richiesto (golden_inputs.json + verify*.sh + golden/). Se manca, dillo e proponi di crearlo (non inventare input).
  2. Sandbox: crea una dir usa-e-getta /tmp/dryrun-<skill>-<n>. Lavora SOLO lì.
  3. Esecuzione sorvegliata: spawna un agente (o esegui tu) con istruzione di ESEGUIRE lo skill target (leggi il suo .md) contro la sandbox usando SOLO golden_inputs, in modalità non-interattiva (non chiedere nulla) e senza side-effect (NON clonare, NON installare, NON toccare aree reali).
  4. Verifica: lancia verify*.sh <albero-prodotto> → exit 0 atteso. Se è un refactor, confronta anche i file chiave col golden/ (match semantico, non byte).
  5. Riferisci: PASS (zero violazioni) o FAIL con l'elenco esatto degli scostamenti.
  6. Teardown: rimuovi la sandbox.

Esito

  • PASS = lo skill (o la sua versione rifattorizzata) produce un output conforme agli invarianti e allineato al golden.
  • FAIL = scostamenti da spiegare e correggere PRIMA di attivare/spedire la modifica. Mai attivare al buio.

Vedi anche: agente skill-dryrun-guardian (si auto-attiva quando stai per toccare uno skill in prosa e ti ricorda di usare questa rete), KNOW_HOW_TRANSFER_PROTOCOL (perché questa capacità è nel prodotto, non in memoria privata).

Skills similaires