Évaluer une compétence externe pour miroir Foundry

VérifiéPrudence

Évalue dans quelle mesure une compétence externe pourrait être reflétée dans Foundry selon quatre rubriques mold-eval, en déléguant la recherche à des sous-agents et la notation aux fichiers de rubrique.

Spar Skills Guide Bot
Data & IAAvancé
03/08/2026
Claude Code
#skill-evaluation#multi-agent#rubric-grading#bioinformatics#feasibility-analysis

Recommandé pour

Synthèse automatique

Établit un scorecard à quatre axes (Operability, Assessability, Traceability, Refereeability) évaluant la faisabilité de construire un miroir « Foundry » d'une skill externe, en répartissant la recherche entre sous-agents et en déléguant la notation aux fichiers de rubrique.

Points forts

  • Sépare explicitement la recherche (rôle de la commande) de la notation (rôle des fichiers de rubrique), ce qui évite de dupliquer ou de paraphraser les critères.
  • Réutilise une décomposition partagée produite par un sous-agent de reconnaissance, évitant ainsi de re-télécharger la SKILL.md cible à chaque axe.
  • Impose des étiquettes d'honnêteté ([observed], [design-inference], [verify]) et une règle « vecteur, pas moyenne » pour ne pas masquer un axe faible.
  • Cadre la notation sur « le meilleur miroir constructible » plutôt que sur l'artefact externe tel quel, et escalade vers /ingest-bioskill quand un vrai verdict de récupérabilité est requis.

Limites

  • Suppose présents dans le dépôt le glossaire et les quatre fichiers de rubrique sous content/research/mold-eval/rubrics/, sans lesquels la notation n'a pas d'autorité.
  • Produit uniquement un scorecard de faisabilité, pas le miroir lui-même ; la passe Traceability reste un triage sommaire.
  • Consomme plusieurs appels de sous-agents (reconnaissance + quatre axes), donc coût et latence non négligeables.
Quand l'utiliser

À utiliser lorsqu'on veut une lecture rapide et comparative de la facilité à reproduire une skill externe (par exemple une bioSkill) avant d'investir dans un véritable travail d'ingestion.

Quand l'éviter

À éviter si l'on cherche à construire ou valider réellement un miroir, ou si les fichiers de rubrique mold-eval ne sont pas disponibles localement.

Analyse de sécurité

Prudence
Score qualité88/100

The skill orchestrates read-only research, writes a local scorecard, and does not include destructive or exfiltrating commands. However, it fetches untrusted external content and delegates processing to subagents, which could be vulnerable to prompt injection or unintended tool use, so caution is warranted.

Points d'attention
  • •Fetches external SKILL.md content via WebFetch and processes it through subagents without explicit prompt-injection mitigations.
  • •Uses Agent tool to spawn multiple subagents, increasing attack surface if external content is malicious.
  • •Declares Bash as an allowed tool, though the skill itself does not instruct its use; a subagent could potentially invoke it.
Comment cette analyse est faite

Exemples

Assess a bioSkills skill by path
/assess-external-skill comparative-genomics/synteny-analysis
Assess from a raw SKILL.md URL
/assess-external-skill https://raw.githubusercontent.com/example/bioSkills/main/single-cell/clustering/SKILL.md
Assess a local skill file
/assess-external-skill ./vendor-skills/variant-calling/SKILL.md

description: Score how well we could build a Foundry mirror of an external skill (e.g. a bioSkill) across the four mold-eval rubrics — defers research to per-axis subagents, delegates grading to the rubric files argument-hint: "<external skill> (bioSkills path like comparative-genomics/synteny-analysis, a SKILL.md URL, or a local path)" allowed-tools: Read, Write, Edit, Bash, WebFetch, WebSearch, Agent

/assess-external-skill

Take ONE external skill (a bioSkills SKILL.md or equivalent) and produce a four-axis scorecard answering: how well could we construct a Foundry mirror of this skill? The axes are the mold-eval rubrics — Operability, Assessability, Traceability, Refereeability. This command does not restate their criteria: it fans research out to subagents and delegates every grade to the rubric file. Split of labor:

  • The rubric owns the grading criteria (dimensions, bands, open questions) — the authority.
  • This command owns the research protocol (what evidence to gather, how to fan out) — nothing more.

Output is a scorecard, not a mirror — a feasibility read that drives further work.

Relation to /ingest-bioskill: that command is the deep Traceability probe (ingests sources, blind-assembles molds, diffs). This is the fast scorecard across all four axes; its Traceability pass is a lightweight triage that escalates to /ingest-bioskill when a real recoverability verdict is needed. Do not re-run the ingest here.

Input

$ARGUMENTS = the external skill: a bioSkills <category>/<name>, a raw SKILL.md URL, or a local path. Derive <skill-slug> (kebab-case name). If ambiguous or a likely typo vs. bioSkills' categories, stop and confirm before spending subagent budget.

Phase 0 — ground (you)

Read content/meta/glossary.md (vocabulary) and the four axis files under content/research/mold-eval/rubrics/ plus its README.md — the vector-not-GPA rule and the [observed] / [design-inference] / [verify] honesty tags live there. These are the grading authority; do not paraphrase their bands into this run.

Phase 1 — recon (subagent → returns a report, writes nothing)

Spawn one recon subagent. It fetches the actual SKILL.md (raw URL / local file, not memory of it — bioSkills moves fast) and returns a shared decomposition the four axis passes reuse, so nothing downstream re-fetches:

  • Tool inventory — every external tool/package the skill names (Operability substrate).
  • Claim/threshold inventory — load-bearing method choices, citations, CLI details, numeric thresholds (Traceability substrate).
  • Candidate cardinal sin — the validity threat a Family-B referee would guard (Refereeability substrate).
  • Fixture/data mentions — any dataset the skill uses or implies, and whether the domain has a small open-access benchmark (Assessability substrate).

Phase 2 — one research subagent per axis (parallel → each returns a graded report, writes nothing)

Spawn four subagents, one per rubric. Give each: the shared decomposition, the subject framing — "grade the best mirror we could build," not the external artifact as-shipped — and a pointer to its ONE rubric file. Each subagent reads its rubric, gathers the evidence that rubric's Scored-dimensions table names, and returns a grade per that rubric's bands, with evidence pointers, [verify] items it could not confirm, and gaps. Do not restate criteria in the prompt; the rubric is the spec.

Research protocol per axis (what to gather; the rubric says how to grade it):

  • Operability (operability.md) — per tool: bioconda recipe? biocontainer/quay tag? container reference? LICENSE (open? copyleft?)? cross-platform? Grade the worst-case load-bearing tool.
  • Assessability (assessability.md) — could we build a fixture-bound test for the mirror: a small, unrestricted dataset with known ground truth covering the skill's surface? Feasibility, not "does the skill ship one."
  • Traceability (traceability.md) — lightweight recoverability triage: do the load-bearing claims / citations / CLI details resolve to real, ideally-OA primaries, or confabulate? Flag where a full /ingest-bioskill is needed to firm the grade.
  • Refereeability (refereeability.md) — is the cardinal sin nameable, and can we construct a real Family-B referee (Critique plus an empirical Calibrate check) for the mirror?

House rule: subagents report, you write. No subagent writes files.

Phase 3 — assemble the scorecard (you write)

Write content/research/mold-eval/assessments/external-<skill-slug>.md:

  • Header: subject, subject-type (external skill), source URL, date (today).
  • The vector, up top: Operability <G> · Assessability <G> · Traceability <G> · Refereeability <G> — four letters, never a composite.
  • Per axis: grade, evidence, unresolved [verify] items, gaps — each labeled [observed] / [design-inference].
  • Work-list — the low axes are the actionable next steps (e.g. Traceability C → run /ingest-bioskill; Assessability D → no OA fixture, source one). This is the point of the card.

Keep the abstract rubrics untouched — the scorecard lives under assessments/, not in the rubric files.

Phase 4 — report (you)

Summarize: the four-letter vector, the sharpest strength and sharpest gap, the work-list, and any axis whose grade is [verify]-blocked (unconfirmed). Do not commit unless asked. List unresolved questions concisely.

Du fichier au premier essai

Le téléchargement contient exactement le contenu affiché sur cette fiche. Cette copie peut différer de la dernière version du dépôt source.

Consulter la source et ses fichiers annexes

Ce téléchargement contient uniquement SKILL.md. Les scripts, références, modèles et dépendances éventuels ne sont pas inclus. Récupérez les fichiers nécessaires depuis la source en conservant leur arborescence avant de poursuivre.

1. Télécharger le fichier

Télécharger SKILL.md

Depuis la racine d’un projet de test, enregistrez le fichier sous .skill-downloads/assess-external-skill-for-foundry-mirror-mscrf01m/SKILL.md, ou utilisez la commande suivante. Ce dossier sert à examiner la skill avant son installation.

Commande pour macOS/Linux ou WSL : un shell POSIX et curl sont nécessaires. Sous Windows sans WSL, utilisez le bouton de téléchargement et créez le dossier manuellement.

mkdir -p '.skill-downloads/assess-external-skill-for-foundry-mirror-mscrf01m' && curl --fail --show-error --location 'https://skills-guides.com/api/skills/assess-external-skill-for-foundry-mirror-mscrf01m/download' --output '.skill-downloads/assess-external-skill-for-foundry-mirror-mscrf01m/SKILL.md.part' && mv '.skill-downloads/assess-external-skill-for-foundry-mirror-mscrf01m/SKILL.md.part' '.skill-downloads/assess-external-skill-for-foundry-mirror-mscrf01m/SKILL.md'

2. Vérifier les prérequis

Lisez SKILL.md avant de l’utiliser. Si le fichier cite des scripts ou services externes, examinez-les et préparez les accès nécessaires dans votre environnement de test.

Outils déclarés par l’auteur (à vérifier dans votre agent) : Read, Write, Edit, Bash, WebFetch, WebSearch, Agent

Aucune section de prérequis reconnue dans ce fichier. Cela ne signifie pas qu’il est autonome : les bibliothèques, outils et accès peuvent être cités ailleurs dans le contenu ou dans le dépôt source.

Les plateformes de la fiche sont des indications du catalogue. Les chemins ci-dessous suivent la documentation des outils ; ils ne prouvent pas que cette skill y a été exécutée. Aucune version minimale de ces outils n’est attestée pour cette fiche.

3. Charger la skill

Le fichier ne fournit pas un en-tête name/description exploitable pour cette procédure native. Le téléchargement reste disponible pour lecture ; utilisez le mode manuel ci-dessous.

Mode manuel ou autre outil : joignez SKILL.md à une conversation, ou ouvrez-le dans un agent capable de lire les fichiers. Ajoutez les ressources annexes nécessaires. Il n’existe pas de dossier universel reconnu par tous les outils.

4. Faire un premier essai

Utilisez une entrée courte et fictive : un endpoint d’API, un petit document ou un brief d’interface. Dans une nouvelle conversation, joignez le fichier ou donnez son chemin à l’agent, puis adaptez cette demande :

Lis .skill-downloads/assess-external-skill-for-foundry-mirror-mscrf01m/SKILL.md et applique ses instructions à cet exemple : [décrire une entrée de test]. Indique les fichiers, dépendances ou accès qui manquent. Produis le résultat demandé par la skill sans inventer de données ni exécuter de script non examiné.

Résultat attendu : une sortie correspondant aux instructions de la skill, ou une liste précise des prérequis manquants. Une simple confirmation de lecture ne valide pas le premier usage. Si une ressource externe est indisponible, ce parcours reste à tester.

Skills similaires