Synthèse automatique
Guide la rédaction des fichiers `fixtures/*.json` consommés par `craw test` et la mise en place d'un portail d'évaluation `craw eval --baseline` pour une Definition.
Points forts
- Décrit précisément la forme d'une fixture (`inputs` mappés sur les Parameters déclarés, `expected` optionnel) avec un exemple concret.
- Impose le mode mock par défaut et le passage de toute aléa par `--seed`, ce qui rend les suites déterministes et gratuites.
- Explique le fonctionnement du portail d'évaluation : comparaison par métrique sous `--tolerance` et rapport des deltas avec la bande de coût.
- Rappelle les règles de sécurité : jamais de secrets dans les fixtures, référence par nom dans `.env.example`.
Limites
- Très spécifique à l'outil `craw` et à sa CLI ; inutilisable tel quel hors de cet écosystème.
- Ne détaille pas le format de sortie des métriques ni la syntaxe exacte des références de baseline.
- Suppose connu le vocabulaire des Definitions, Parameters et Outputs, non défini ici.
À charger lorsqu'on ajoute des jeux d'entrées de test ou un portail d'évaluation à une Definition craw existante.
À éviter pour écrire des tests dans un autre framework ou lorsque aucun projet craw n'est en place.
Analyse de sécurité
SûrThe skill uses Bash only to run legitimate craw test and eval commands for fixture authoring and baseline comparison. It explicitly avoids live model execution by default, forbids inline secrets, and notes consequential actions fire only in eval mode. No destructive, exfiltrating, or obfuscated operations are present.
Aucun point d'attention détecté
Comment cette analyse est faiteExemples
Create fixtures/ for the triage-ticket definition: one fixture with a valid project and ticket_body, one with an empty ticket_body, and one asserting an expected Output. Then run craw test against them.Wire up a craw eval --baseline gate for definitions/classify-ticket with a 0.05 tolerance, and show me the per-metric deltas and total_usd cost band.Our fixtures give different results on each run. Check whether they're hitting a live model and make them mock-by-default with all randomness carried in --seed.name: crawfish-authoring-fixtures-evals description: > Author fixtures/ for craw test and gate on a baseline with craw eval — deterministic, mock-by-default, randomness carried in --seed. Load when adding test inputs or an eval gate to a Definition. user-invocable: false allowed-tools: Read, Grep, Bash
Authoring fixtures/ & evals
Derived from docs/specs/craw-code/authoring/fixtures-evals.md. Golden:
demo/craw-code-golden/fixtures/.
fixtures/ feeds craw test (eval-as-test): each fixtures/*.json is one input set the
Definition runs against. Evals gate against a saved baseline (craw eval --baseline).
The fixture shape
{"inputs": {"project": "acme", "ticket_body": "the login button does nothing"}}
A fixture is {"inputs": {...}, "expected": <optional>}. inputs maps each declared
Parameter name to a value. With no expected, a fixture passes when the run executes
cleanly; with expected, the Output value must match.
craw test definitions/<name> --fixtures fixtures
Determinism: mock-by-default
Fixtures run on the MockRuntime / the command profile's recorded transport, never a live
model, so the suite is deterministic and free. All randomness is carried in --seed; the
same seed replays byte-identically. Promote to --live only deliberately and always under
--budget.
Spine rule (determinism-mock-default): Fixtures run mock-by-default; randomness is carried in --seed.
The eval baseline gate
craw eval --baseline <ref> compares per-metric scores against a saved baseline within a
--tolerance, and reports the deltas plus the cost band (total_usd / expected_usd /
worst_case_usd). Sinks fire only in eval mode; an optimize/search run never fires a
consequential action. Read retryable on a craw.error.v1 to decide retry-vs-stop — a
security rejection is retryable:false.
Fixtures never carry secrets. Reference credentials by name in .env.example, never inline.
Du fichier au premier essai
Le téléchargement contient exactement le contenu affiché sur cette fiche. Cette copie peut différer de la dernière version du dépôt source.
Consulter la source et ses fichiers annexesCe téléchargement contient uniquement SKILL.md. Les scripts, références, modèles et dépendances éventuels ne sont pas inclus. Récupérez les fichiers nécessaires depuis la source en conservant leur arborescence avant de poursuivre.
1. Télécharger le fichier
Télécharger SKILL.mdDepuis la racine d’un projet de test, enregistrez le fichier sous .skill-downloads/authoring-fixtures-evals-mrwakbph/SKILL.md, ou utilisez la commande suivante. Ce dossier sert à examiner la skill avant son installation.
Commande pour macOS/Linux ou WSL : un shell POSIX et curl sont nécessaires. Sous Windows sans WSL, utilisez le bouton de téléchargement et créez le dossier manuellement.
mkdir -p '.skill-downloads/authoring-fixtures-evals-mrwakbph' && curl --fail --show-error --location 'https://skills-guides.com/api/skills/authoring-fixtures-evals-mrwakbph/download' --output '.skill-downloads/authoring-fixtures-evals-mrwakbph/SKILL.md.part' && mv '.skill-downloads/authoring-fixtures-evals-mrwakbph/SKILL.md.part' '.skill-downloads/authoring-fixtures-evals-mrwakbph/SKILL.md'2. Vérifier les prérequis
Lisez SKILL.md avant de l’utiliser. Si le fichier cite des scripts ou services externes, examinez-les et préparez les accès nécessaires dans votre environnement de test.
Outils déclarés par l’auteur (à vérifier dans votre agent) : Read, Grep, Bash
Aucune section de prérequis reconnue dans ce fichier. Cela ne signifie pas qu’il est autonome : les bibliothèques, outils et accès peuvent être cités ailleurs dans le contenu ou dans le dépôt source.
Les plateformes de la fiche sont des indications du catalogue. Les chemins ci-dessous suivent la documentation des outils ; ils ne prouvent pas que cette skill y a été exécutée. Aucune version minimale de ces outils n’est attestée pour cette fiche.
3. Charger la skill
Après vérification, copiez le dossier complet dans le projet avec l’une des commandes ci-dessous, puis ouvrez une nouvelle session de l’outil. La commande s’arrête si un dossier du même nom existe déjà : comparez les fichiers avant de le remplacer.
Claude Code
test -f '.skill-downloads/authoring-fixtures-evals-mrwakbph/SKILL.md' && test -s '.skill-downloads/authoring-fixtures-evals-mrwakbph/SKILL.md' && mkdir -p '.claude/skills' && test ! -e '.claude/skills/crawfish-authoring-fixtures-evals' && cp -R '.skill-downloads/authoring-fixtures-evals-mrwakbph' '.claude/skills/crawfish-authoring-fixtures-evals'OpenSkills
OpenSkills doit déjà être installé. La procédure locale install/read est contrôlée avec OpenSkills 1.5.0, qui exige Node.js ≥ 20.6.0. Aucun slug du catalogue n’est résolu automatiquement.
Installation officielle d’OpenSkillsopenskills install './.skill-downloads/authoring-fixtures-evals-mrwakbph'openskills read 'authoring-fixtures-evals-mrwakbph'La lecture doit afficher le contenu du fichier installé et son dossier de base. Elle ne lance ni la skill ni ses dépendances.
Pour un agent qui lit AGENTS.md, synchronisez ensuite l’index. Cette commande modifie AGENTS.md : relisez le diff avant de l’utiliser.
openskills syncMode manuel ou autre outil : joignez SKILL.md à une conversation, ou ouvrez-le dans un agent capable de lire les fichiers. Ajoutez les ressources annexes nécessaires. Il n’existe pas de dossier universel reconnu par tous les outils.
4. Faire un premier essai
Utilisez une entrée courte et fictive : un endpoint d’API, un petit document ou un brief d’interface. Dans une nouvelle conversation, joignez le fichier ou donnez son chemin à l’agent, puis adaptez cette demande :
Lis .skill-downloads/authoring-fixtures-evals-mrwakbph/SKILL.md et applique ses instructions à cet exemple : [décrire une entrée de test]. Indique les fichiers, dépendances ou accès qui manquent. Produis le résultat demandé par la skill sans inventer de données ni exécuter de script non examiné.Résultat attendu : une sortie correspondant aux instructions de la skill, ou une liste précise des prérequis manquants. Une simple confirmation de lecture ne valide pas le premier usage. Si une ressource externe est indisponible, ce parcours reste à tester.
Comparaison de performances ClickHouse
Testing
Évaluez les résultats de tests de performance ClickHouse, analysez les régressions de PR, comparez avec l'historique et vérifiez la fiabilité des mesures.
Analyse des rapports de performance CI
Testing
Analyse les rapports de comparaison de performance CI pour une PR ClickHouse. Recoupe l'historique master pour distinguer les vraies régressions des tests instables.
Méthode Santa
Testing
Vérification adversarial multi-agents avec deux réviseurs indépendants. La sortie est vérifiée deux fois et corrigée itérativement jusqu'à ce que les deux acceptent avant publication.