Synthèse automatique
Exécute une simulation contrôlée d'une compétence en prose dans un bac à sable jetable pour valider ses sorties sans affecter l'environnement réel.
Points forts
- Permet de valider des compétences génératives sans risque de production
- Utilise des invariants structurels et des snapshots dorés pour des tests robustes
- Automatise la détection de régressions lors des refontes ou modifications
Limites
- Ne convient pas aux compétences conversationnelles sans sortie déterministe
- Nécessite un kit de test préétabli (golden_inputs, verify.sh) pour être efficace
- Peut être lourd à mettre en place pour des compétences très complexes
Avant toute modification ou refactorisation d'une compétence qui génère des artefacts vérifiables (fichiers, configs, etc.).
Pour des compétences purement consultatives ou conversationnelles où les réponses ne sont pas prévisibles ou snapshottables.
Analyse de sécurité
SûrThe skill describes a sandboxed dry-run procedure that explicitly avoids side effects, real-world changes, and destructive actions. No risky commands or data exfiltration are instructed.
Aucun point d'attention détecté
Comment cette analyse est faiteExemples
/dry-run-skill projectRun a dry-run on the refactored version of /discovery skill against its golden inputs.Perform a dry-run of the /scaffold skill using its test kit in /tmp/dryrun-scaffold-1./dry-run-skill — Valida uno skill in prosa senza eseguirlo in produzione
Quando ricevi questo comando (con il nome di uno skill, es. /dry-run-skill project), esegui un dry-run
sorvegliato di quello skill: lo lanci in una sandbox usa-e-getta con input fissi, ne verifichi gli INVARIANTI
dell'output, e riferisci PASS/FAIL — senza toccare aree reali.
Perché esiste: gli skill in prosa (
/project,/discovery, generatori di scaffold/file) li esegue l'LLM — non hanno un test runtime nativo. Rifattorizzarli o modificarli "al buio" rompe in silenzio. Questa è la rete. Dettaglio e fondamento: SSOTDRYRUN_PROTOCOLeKNOW_HOW_TRANSFER_PROTOCOL(paradigma).
Quando usarlo
- PRIMA di modificare/rifattorizzare uno skill che genera artefatti verificabili (file, scaffold, descrittori, config).
- Per validare uno split/refactor (es.
/projectmonolitico → micro-skill): si confronta il nuovo output col golden. - Come test di accettazione di uno skill nuovo generatore.
- NON serve per skill conversazionali/consulenziali (niente output deterministico da snapshottare).
Il "kit" di dry-run di uno skill (convenzione)
Ogni skill validabile ha un kit con tre pezzi (è la convenzione da seguire/creare se manca):
golden_inputs.json— risposte canoniche FISSE, scelte deterministiche e senza side-effect (per/project: paradigma-solo, niente librerie, RAG offline).verify.sh <dir>(overify_scaffold.sh) — verifier degli INVARIANTI strutturali (NON byte-diff): placeholder risolti, campi-chiave corretti, schema atteso, ecc. Deve essere una rete vera (bocciare un albero rotto).golden/<...>— snapshot dell'output dello skill ATTUALE con quegli input (riferimento d'oro).
Kit di riferimento esistente per /project: os3-matrix/docs/tests/m-os3-065/.
Procedura (eseguila così)
- Localizza il kit dello skill richiesto (
golden_inputs.json+verify*.sh+golden/). Se manca, dillo e proponi di crearlo (non inventare input). - Sandbox: crea una dir usa-e-getta
/tmp/dryrun-<skill>-<n>. Lavora SOLO lì. - Esecuzione sorvegliata: spawna un agente (o esegui tu) con istruzione di ESEGUIRE lo skill target (leggi il
suo
.md) contro la sandbox usando SOLOgolden_inputs, in modalità non-interattiva (non chiedere nulla) e senza side-effect (NON clonare, NON installare, NON toccare aree reali). - Verifica: lancia
verify*.sh <albero-prodotto>→ exit 0 atteso. Se è un refactor, confronta anche i file chiave colgolden/(match semantico, non byte). - Riferisci: PASS (zero violazioni) o FAIL con l'elenco esatto degli scostamenti.
- Teardown: rimuovi la sandbox.
Esito
- PASS = lo skill (o la sua versione rifattorizzata) produce un output conforme agli invarianti e allineato al golden.
- FAIL = scostamenti da spiegare e correggere PRIMA di attivare/spedire la modifica. Mai attivare al buio.
Vedi anche: agente
skill-dryrun-guardian(si auto-attiva quando stai per toccare uno skill in prosa e ti ricorda di usare questa rete),KNOW_HOW_TRANSFER_PROTOCOL(perché questa capacità è nel prodotto, non in memoria privata).
Du fichier au premier essai
Le téléchargement contient exactement le contenu affiché sur cette fiche. Cette copie peut différer de la dernière version du dépôt source.
Consulter la source et ses fichiers annexesCe téléchargement contient uniquement SKILL.md. Les scripts, références, modèles et dépendances éventuels ne sont pas inclus. Récupérez les fichiers nécessaires depuis la source en conservant leur arborescence avant de poursuivre.
1. Télécharger le fichier
Télécharger SKILL.mdDepuis la racine d’un projet de test, enregistrez le fichier sous .skill-downloads/skill-dry-run-validation-mrwake1t/SKILL.md, ou utilisez la commande suivante. Ce dossier sert à examiner la skill avant son installation.
Commande pour macOS/Linux ou WSL : un shell POSIX et curl sont nécessaires. Sous Windows sans WSL, utilisez le bouton de téléchargement et créez le dossier manuellement.
mkdir -p '.skill-downloads/skill-dry-run-validation-mrwake1t' && curl --fail --show-error --location 'https://skills-guides.com/api/skills/skill-dry-run-validation-mrwake1t/download' --output '.skill-downloads/skill-dry-run-validation-mrwake1t/SKILL.md.part' && mv '.skill-downloads/skill-dry-run-validation-mrwake1t/SKILL.md.part' '.skill-downloads/skill-dry-run-validation-mrwake1t/SKILL.md'2. Vérifier les prérequis
Lisez SKILL.md avant de l’utiliser. Si le fichier cite des scripts ou services externes, examinez-les et préparez les accès nécessaires dans votre environnement de test.
Aucune section de prérequis reconnue dans ce fichier. Cela ne signifie pas qu’il est autonome : les bibliothèques, outils et accès peuvent être cités ailleurs dans le contenu ou dans le dépôt source.
Les plateformes de la fiche sont des indications du catalogue. Les chemins ci-dessous suivent la documentation des outils ; ils ne prouvent pas que cette skill y a été exécutée. Aucune version minimale de ces outils n’est attestée pour cette fiche.
3. Charger la skill
Le fichier ne fournit pas un en-tête name/description exploitable pour cette procédure native. Le téléchargement reste disponible pour lecture ; utilisez le mode manuel ci-dessous.
Mode manuel ou autre outil : joignez SKILL.md à une conversation, ou ouvrez-le dans un agent capable de lire les fichiers. Ajoutez les ressources annexes nécessaires. Il n’existe pas de dossier universel reconnu par tous les outils.
4. Faire un premier essai
Utilisez une entrée courte et fictive : un endpoint d’API, un petit document ou un brief d’interface. Dans une nouvelle conversation, joignez le fichier ou donnez son chemin à l’agent, puis adaptez cette demande :
Lis .skill-downloads/skill-dry-run-validation-mrwake1t/SKILL.md et applique ses instructions à cet exemple : [décrire une entrée de test]. Indique les fichiers, dépendances ou accès qui manquent. Produis le résultat demandé par la skill sans inventer de données ni exécuter de script non examiné.Résultat attendu : une sortie correspondant aux instructions de la skill, ou une liste précise des prérequis manquants. Une simple confirmation de lecture ne valide pas le premier usage. Si une ressource externe est indisponible, ce parcours reste à tester.
Comparaison de performances ClickHouse
Testing
Évaluez les résultats de tests de performance ClickHouse, analysez les régressions de PR, comparez avec l'historique et vérifiez la fiabilité des mesures.
Analyse des rapports de performance CI
Testing
Analyse les rapports de comparaison de performance CI pour une PR ClickHouse. Recoupe l'historique master pour distinguer les vraies régressions des tests instables.
Méthode Santa
Testing
Vérification adversarial multi-agents avec deux réviseurs indépendants. La sortie est vérifiée deux fois et corrigée itérativement jusqu'à ce que les deux acceptent avant publication.