Synthèse automatique
Réalise un audit rétroactif de la couverture d'évaluation d'une phase IA déjà exécutée, en comparant l'implémentation réelle à la stratégie définie dans AI-SPEC.md.
Points forts
- Attribue un score COVERED/PARTIAL/MISSING à chaque dimension d'évaluation, ce qui rend les lacunes immédiatement lisibles
- Produit un livrable structuré, EVAL-REVIEW.md, avec verdict, écarts et plan de remédiation actionnable
- S'appuie sur des workflows et références dédiés (ai-evals.md) plutôt que sur une inspection ad hoc
- Peut cibler une phase précise ou, par défaut, la dernière phase terminée
Limites
- Suppose qu'un AI-SPEC.md avec une stratégie d'évaluation existe déjà ; sans lui, l'audit n'a pas de référentiel
- L'analyse reste rétroactive : elle constate les manques mais n'implémente pas les évaluations manquantes
- La qualité du verdict dépend de la capacité à retrouver les artefacts d'évaluation réellement exécutés
À utiliser après qu'une phase IA a été livrée, pour vérifier objectivement que la stratégie d'évaluation prévue a bien été mise en œuvre avant de passer à la suite.
Ne pas l'utiliser en amont d'une phase ou sur un projet sans spécification d'évaluation, car il n'existe alors aucun référentiel à auditer.
Analyse de sécurité
SûrThe skill defines an audit workflow that reads and writes files, uses glob/grep to inspect project contents, and may run Bash for inspection purposes. No destructive commands, data exfiltration, obfuscation, or secret handling are specified. The allowed tools are used for legitimate evaluation review tasks.
Aucun point d'attention détecté
Comment cette analyse est faiteExemples
/gsd:eval-review 3Run an eval coverage review of the last completed phase and write EVAL-REVIEW.md with the remediation plan.Before we ship this phase, audit whether the evaluation strategy from AI-SPEC.md was actually implemented and list what's COVERED, PARTIAL, or MISSING.name: gsd:eval-review description: Retroactively audit an executed AI phase's evaluation coverage — scores each eval dimension as COVERED/PARTIAL/MISSING and produces an actionable EVAL-REVIEW.md with remediation plan argument-hint: "[phase number]" allowed-tools:
- Read
- Write
- Bash
- Glob
- Grep
- Task
- AskUserQuestion
<objective> Conduct a retroactive evaluation coverage audit of a completed AI phase. Checks whether the evaluation strategy from AI-SPEC.md was implemented. Produces EVAL-REVIEW.md with score, verdict, gaps, and remediation plan. </objective>
<execution_context> @${CLAUDE_PLUGIN_ROOT}/workflows/eval-review.md @${CLAUDE_PLUGIN_ROOT}/references/ai-evals.md </execution_context>
<context> Phase: $ARGUMENTS — optional, defaults to last completed phase. </context> <process> Execute @${CLAUDE_PLUGIN_ROOT}/workflows/eval-review.md end-to-end. Preserve all workflow gates. </process>Du fichier au premier essai
Le téléchargement contient exactement le contenu affiché sur cette fiche. Cette copie peut différer de la dernière version du dépôt source.
Consulter la source et ses fichiers annexesCe téléchargement contient uniquement SKILL.md. Les scripts, références, modèles et dépendances éventuels ne sont pas inclus. Récupérez les fichiers nécessaires depuis la source en conservant leur arborescence avant de poursuivre.
1. Télécharger le fichier
Télécharger SKILL.mdDepuis la racine d’un projet de test, enregistrez le fichier sous .skill-downloads/evaluation-coverage-audit-msba3mnj/SKILL.md, ou utilisez la commande suivante. Ce dossier sert à examiner la skill avant son installation.
Commande pour macOS/Linux ou WSL : un shell POSIX et curl sont nécessaires. Sous Windows sans WSL, utilisez le bouton de téléchargement et créez le dossier manuellement.
mkdir -p '.skill-downloads/evaluation-coverage-audit-msba3mnj' && curl --fail --show-error --location 'https://skills-guides.com/api/skills/evaluation-coverage-audit-msba3mnj/download' --output '.skill-downloads/evaluation-coverage-audit-msba3mnj/SKILL.md.part' && mv '.skill-downloads/evaluation-coverage-audit-msba3mnj/SKILL.md.part' '.skill-downloads/evaluation-coverage-audit-msba3mnj/SKILL.md'2. Vérifier les prérequis
Lisez SKILL.md avant de l’utiliser. Si le fichier cite des scripts ou services externes, examinez-les et préparez les accès nécessaires dans votre environnement de test.
Aucune section de prérequis reconnue dans ce fichier. Cela ne signifie pas qu’il est autonome : les bibliothèques, outils et accès peuvent être cités ailleurs dans le contenu ou dans le dépôt source.
Les plateformes de la fiche sont des indications du catalogue. Les chemins ci-dessous suivent la documentation des outils ; ils ne prouvent pas que cette skill y a été exécutée. Aucune version minimale de ces outils n’est attestée pour cette fiche.
3. Charger la skill
Le fichier ne fournit pas un en-tête name/description exploitable pour cette procédure native. Le téléchargement reste disponible pour lecture ; utilisez le mode manuel ci-dessous.
Mode manuel ou autre outil : joignez SKILL.md à une conversation, ou ouvrez-le dans un agent capable de lire les fichiers. Ajoutez les ressources annexes nécessaires. Il n’existe pas de dossier universel reconnu par tous les outils.
4. Faire un premier essai
Utilisez une entrée courte et fictive : un endpoint d’API, un petit document ou un brief d’interface. Dans une nouvelle conversation, joignez le fichier ou donnez son chemin à l’agent, puis adaptez cette demande :
Lis .skill-downloads/evaluation-coverage-audit-msba3mnj/SKILL.md et applique ses instructions à cet exemple : [décrire une entrée de test]. Indique les fichiers, dépendances ou accès qui manquent. Produis le résultat demandé par la skill sans inventer de données ni exécuter de script non examiné.Résultat attendu : une sortie correspondant aux instructions de la skill, ou une liste précise des prérequis manquants. Une simple confirmation de lecture ne valide pas le premier usage. Si une ressource externe est indisponible, ce parcours reste à tester.
Comparaison de performances ClickHouse
Testing
Évaluez les résultats de tests de performance ClickHouse, analysez les régressions de PR, comparez avec l'historique et vérifiez la fiabilité des mesures.
Analyse des rapports de performance CI
Testing
Analyse les rapports de comparaison de performance CI pour une PR ClickHouse. Recoupe l'historique master pour distinguer les vraies régressions des tests instables.
Méthode Santa
Testing
Vérification adversarial multi-agents avec deux réviseurs indépendants. La sortie est vérifiée deux fois et corrigée itérativement jusqu'à ce que les deux acceptent avant publication.