Synthèse automatique
Vérifie qu'un mock pour une API silicium dans tt-emule est complet en parcourant une checklist couvrant la correspondance de signature, l'exactitude mathématique, le dispatch de format, la fraîcheur du cache JIT et les bases de régression.
Points forts
- Détecte les dérives de signature silencieuses
- Empêche les stubs sans opération réelle
- Assure un dispatch correct selon le format de données
- Valide automatiquement les bases de régression
Limites
- Nécessite un nettoyage manuel des répertoires temporaires JIT
- Applicable uniquement à l'environnement tt-emule
- Dépend de spécifications silicium propres à chaque architecture
Après avoir implémenté un mock pour une API silicium dans tt-emule, avant de le déclarer complet.
Pour des tâches non liées à emule ou au mock silicium, ou lorsqu'aucune base de régression n'est disponible.
Analyse de sécurité
SûrThe skill is a verification checklist for development workflows, executing only safe local commands (cmake build, rm -rf of JIT temp dirs, running regression scripts). No external data exfiltration, destructive actions beyond intended cleanup, or obfuscation.
Aucun point d'attention détecté
Comment cette analyse est faiteExemples
I just finished implementing a mock for `typecast` in tt-emule. Run /verify-mock to check everything is correct before I ship.I'm in /compute-llk-bringup triaging a PCC failure. The issue might be a bad mock. Run /verify-mock on the `compute_reduce` mock to confirm.name: verify-mock description: Verification checklist to walk before declaring a tt-emule mock complete. Use after implementing a stub (typically at the end of /implement-mock or /compute-llk-bringup) to catch the recurring failure modes — signature drift, no-op math, missing format dispatch, JIT-cache staleness, regression baseline drift. user_invocable: true
/verify-mock — Verify your mock before declaring done
You've implemented a mock for a silicon API in tt-emule. Before declaring it complete, walk this checklist. Skipping any step is how regressions creep in.
Invoke from /implement-mock Step 4 or /compute-llk-bringup PCC
triage, or directly when finishing up a mock.
Pre-implementation
- Confirm you ran
/arch-lookup "<silicon_function>"and have the authoritative HW spec. - Confirm you picked a Strategy (A/B/C — see
/implement-mockStep 2) and which kernel-API layer (layer-1 / 1.5 / 2 / 3, perdocs/kernel-api-layers.md) the mock targets. - If the spec is arch-specific (WH vs BH vs QSR), confirm which arch
the target test uses (
TT_EMULE_ARCH=blackhole|wormhole|quasar). - Check no existing mock already covers the same surface (avoid duplicates / conflicting overloads).
Implementation
- The mock signature exactly matches silicon's signature (template params, defaults, return type). Mismatches cause silent ADL surprises.
- Real math (not a no-op) if the test will check PCC against torch. No-op stubs are only OK for HW pipeline state (UNPACK/MATH/PACK config calls).
- Format-aware path for bf16 vs fp32 vs uint16 vs Bfp8_b vs Bfp4_b if
the API reads/writes a CB. Use the enum-driven predicates
(
__emule_compute::cb_is_32bit_format(cb_id)and siblings) — never page-size heuristics (seedocs/cb-dataformat.md). - Use
__emule_nfaces::rowmajor_to_nfaces[]on CB reads/writes — emule DST is row-major, CB tiles are face-packed. - If touching DST: call
__emule_dst_check(idst, "name")early and__emule_dst_mark_dirty(idst)on writes. - If the silicon impl has multiple template variants (e.g.
<BroadcastType bcast_type>), all variants are supported (useif constexprto dispatch). - Comment cites silicon source (DeepWiki page, Confluence page, or
tt_llk_*/...:line) for non-obvious choices.
Build + sanity
- Build passes (only when you touched
emulated_program_runner.cppor other runner sources):cmake --build ${TT_METAL_DIR}/build_emule -j$(nproc) - Wipe per-test JIT temp dirs before testing:
The persistent disk cache atrm -rf /tmp/tt_emule_jit_* /tmp/tt_emule_src_*/tmp/tt_emule_jit_cache_*is hashed and self-invalidates on header content change; per-test temp dirs at/tmp/tt_emule_jit_*/need an explicit wipe.
Verification
- Sentinel test passes — your project's smallest end-to-end emule test that exercises the JIT compile + dispatch path.
- Target test reaches the new mock (verify with
TT_EMULE_KEEP_JIT_TEMP=1+ grep the patchedkernel.cpp/wrapper.cppunder/tmp/tt_emule_jit_*/). - Target test passes (or PCC improves above its threshold).
- tt-metal regression matches the recorded baseline:
Run the three sequentially (shared JIT cache). Any test that previously passed and now fails blocks ship; consultTT_METAL_DIR=<tt-metal-checkout> bash scripts/run_regression_wormhole.sh 2>&1 | tee /tmp/rg-wh.log TT_METAL_DIR=<tt-metal-checkout> bash scripts/run_regression_blackhole.sh 2>&1 | tee /tmp/rg-bh.log TT_METAL_DIR=<tt-metal-checkout> bash scripts/run_regression_quasar.sh 2>&1 | tee /tmp/rg-qs.log.github/known-failures-quasar.txtfor the QS allowlist. - Coverage came from an existing tt-metal test, not a new one.
Prefer fixing the mock so a canonical tt-metal test passes over
authoring a test. A new tt-metal test is a last resort; when
genuinely unavoidable it must live under
tests/emule/(e.g.tests/emule/ccl/), formatted to tt-metal's pre-commit config (black line-length 120, isort, autoflake), wired into the emule pytest runner (scripts/run_ttnn_pytests_*.sh), with the pin bumped to the companion commit. See the CLAUDE.md project rule.
Documentation
- If you added a new strategy / pattern, append to
.claude/references/emule-mapping.md(the catalog) and link from/implement-mockStep 2 (the strategy taxonomy). - If you discovered a HW-spec-vs-emule-mock divergence the test
doesn't catch, note it in the commit message and in any relevant
docs/<subsystem>-emulation.md.
Common gotchas
- No-op stub compiles but produces zero/garbage at runtime. Add
real math even if "obvious" —
recip_tilereturning 0 is harder to debug thanrecip_tileundefined. - Template parameter mismatch with silicon signature. Causes "no matching function" errors that look like the mock isn't found. Always copy the silicon signature exactly, then maybe add defaults.
#ifdef __EMULE_JIT_MODEplaced inside a#if defined(COMPILE_FOR_*)block. Both run; the inner one wins. Make sure the gate is at the right level — usually OUTSIDE the per-RISC guard.- Allowlist-add poisons sentinel. If the op's op.hpp doesn't compile under TRISC (even if your test only uses BRISC), the whole allowlist breaks. The sentinel run catches this.
tt_l1_ptr,VALID/INVALIDundefined. These come fromdataflow_api.h(tt_l1_ptr) andhostdevcommon/common_values.hpp(VALID/INVALID). Both must be#included for any code path that uses them — silicon path may pull them transitively, emule may not.compute_kernel_hw_startupredefinition. Bothjit_kernel_stubs.hppandapi/compute/compute_kernel_hw_startup.hdefine overloads. Use the__EMULE_COMPUTE_KERNEL_HW_STARTUP_DEFINEDguard pattern (first-included-wins).
Anti-checklist
These are NOT done criteria — don't get hung up:
- Bit-exact match with silicon output. PCC > test's threshold (~0.998) is the bar.
- Real
sfpi::SIMD math (the shim provides types only). - Fabric / multichip semantics (out of scope).
Related skills
/implement-mock— end-to-end workflow (this checklist is its Step 4 in expanded form)./compute-llk-bringup— specialization for LLK compute shims./memory-debug— when verification fails with PCC < threshold or ATOL mismatch (partial zeros, off-by-N writes).
Du fichier au premier essai
Le téléchargement contient exactement le contenu affiché sur cette fiche. Cette copie peut différer de la dernière version du dépôt source.
Consulter la source et ses fichiers annexesCe téléchargement contient uniquement SKILL.md. Les scripts, références, modèles et dépendances éventuels ne sont pas inclus. Récupérez les fichiers nécessaires depuis la source en conservant leur arborescence avant de poursuivre.
1. Télécharger le fichier
Télécharger SKILL.mdDepuis la racine d’un projet de test, enregistrez le fichier sous .skill-downloads/verify-tt-emule-mock-mrx3xwfa/SKILL.md, ou utilisez la commande suivante. Ce dossier sert à examiner la skill avant son installation.
Commande pour macOS/Linux ou WSL : un shell POSIX et curl sont nécessaires. Sous Windows sans WSL, utilisez le bouton de téléchargement et créez le dossier manuellement.
mkdir -p '.skill-downloads/verify-tt-emule-mock-mrx3xwfa' && curl --fail --show-error --location 'https://skills-guides.com/api/skills/verify-tt-emule-mock-mrx3xwfa/download' --output '.skill-downloads/verify-tt-emule-mock-mrx3xwfa/SKILL.md.part' && mv '.skill-downloads/verify-tt-emule-mock-mrx3xwfa/SKILL.md.part' '.skill-downloads/verify-tt-emule-mock-mrx3xwfa/SKILL.md'2. Vérifier les prérequis
Lisez SKILL.md avant de l’utiliser. Si le fichier cite des scripts ou services externes, examinez-les et préparez les accès nécessaires dans votre environnement de test.
Aucune section de prérequis reconnue dans ce fichier. Cela ne signifie pas qu’il est autonome : les bibliothèques, outils et accès peuvent être cités ailleurs dans le contenu ou dans le dépôt source.
Les plateformes de la fiche sont des indications du catalogue. Les chemins ci-dessous suivent la documentation des outils ; ils ne prouvent pas que cette skill y a été exécutée. Aucune version minimale de ces outils n’est attestée pour cette fiche.
3. Charger la skill
Après vérification, copiez le dossier complet dans le projet avec l’une des commandes ci-dessous, puis ouvrez une nouvelle session de l’outil. La commande s’arrête si un dossier du même nom existe déjà : comparez les fichiers avant de le remplacer.
Claude Code
test -f '.skill-downloads/verify-tt-emule-mock-mrx3xwfa/SKILL.md' && test -s '.skill-downloads/verify-tt-emule-mock-mrx3xwfa/SKILL.md' && mkdir -p '.claude/skills' && test ! -e '.claude/skills/verify-mock' && cp -R '.skill-downloads/verify-tt-emule-mock-mrx3xwfa' '.claude/skills/verify-mock'OpenSkills
OpenSkills doit déjà être installé. La procédure locale install/read est contrôlée avec OpenSkills 1.5.0, qui exige Node.js ≥ 20.6.0. Aucun slug du catalogue n’est résolu automatiquement.
Installation officielle d’OpenSkillsopenskills install './.skill-downloads/verify-tt-emule-mock-mrx3xwfa'openskills read 'verify-tt-emule-mock-mrx3xwfa'La lecture doit afficher le contenu du fichier installé et son dossier de base. Elle ne lance ni la skill ni ses dépendances.
Pour un agent qui lit AGENTS.md, synchronisez ensuite l’index. Cette commande modifie AGENTS.md : relisez le diff avant de l’utiliser.
openskills syncMode manuel ou autre outil : joignez SKILL.md à une conversation, ou ouvrez-le dans un agent capable de lire les fichiers. Ajoutez les ressources annexes nécessaires. Il n’existe pas de dossier universel reconnu par tous les outils.
4. Faire un premier essai
Utilisez une entrée courte et fictive : un endpoint d’API, un petit document ou un brief d’interface. Dans une nouvelle conversation, joignez le fichier ou donnez son chemin à l’agent, puis adaptez cette demande :
Lis .skill-downloads/verify-tt-emule-mock-mrx3xwfa/SKILL.md et applique ses instructions à cet exemple : [décrire une entrée de test]. Indique les fichiers, dépendances ou accès qui manquent. Produis le résultat demandé par la skill sans inventer de données ni exécuter de script non examiné.Résultat attendu : une sortie correspondant aux instructions de la skill, ou une liste précise des prérequis manquants. Une simple confirmation de lecture ne valide pas le premier usage. Si une ressource externe est indisponible, ce parcours reste à tester.
Comparaison de performances ClickHouse
Testing
Évaluez les résultats de tests de performance ClickHouse, analysez les régressions de PR, comparez avec l'historique et vérifiez la fiabilité des mesures.
Analyse des rapports de performance CI
Testing
Analyse les rapports de comparaison de performance CI pour une PR ClickHouse. Recoupe l'historique master pour distinguer les vraies régressions des tests instables.
Méthode Santa
Testing
Vérification adversarial multi-agents avec deux réviseurs indépendants. La sortie est vérifiée deux fois et corrigée itérativement jusqu'à ce que les deux acceptent avant publication.