Synthèse automatique
Ce skill permet d'exécuter et d'analyser les tests API avec Newman, le CLI de Postman.
Points forts
- Automatise l'exécution des collections Postman en ligne de commande.
- Fournit des scripts d'analyse détaillée des résultats (JSON, JUnit).
- S'intègre facilement dans les pipelines CI/CD.
- Inclut la validation de structure des collections.
Limites
- Nécessite une installation préalable de Newman et Python.
- Les scripts fournis sont spécifiques à ce skill et peuvent nécessiter des adaptations.
- Ne couvre pas la gestion des environnements ou des variables avancées de Postman.
Utilisez ce skill lorsque vous devez exécuter des tests API à partir d'une collection Postman existante, que ce soit localement ou dans un pipeline CI.
Évitez ce skill si vous n'avez pas de collection Postman prête ou si vos tests API nécessitent des interactions complexes non supportées par Newman.
Analyse de sécurité
SûrThe skill executes npm install and runs test scripts, but does so in a controlled manner for legitimate API testing purposes. There is no exfiltration, obfuscation, or destructive behavior. It uses Bash, Read, Write tools which are standard for such tasks.
Aucun point d'attention détecté
Comment cette analyse est faiteExemples
Run the Newman tests from my Postman collection file and analyze the results.Validate my Postman collection structure to ensure it's correct before running tests.Execute the API tests optimized for CI with JUnit output and collect the results.name: newman-runner description: Run and analyze Newman (Postman CLI) tests. Use when running API tests, validating Postman collections, testing HTTP endpoints, or when user mentions Newman, Postman tests, API validation. allowed-tools: Bash, Read, Write
Newman Runner
This skill provides tools to run Newman (Postman CLI) tests and analyze the results for API testing and validation.
Instructions
Running Newman Tests
-
Verify Newman Installation
- Check if Newman is installed:
which newman - If not installed, install with:
npm install -g newman
- Check if Newman is installed:
-
Run Collection
- Use script:
scripts/run-newman.sh <collection.json> - Or manually:
newman run collection.json --reporters cli,json --reporter-json-export output.json
- Use script:
-
Analyze Results
- Parse JSON output with:
scripts/analyze-newman-results.py output.json - Extract: Pass/fail status, response times, error messages, assertions
- Parse JSON output with:
-
Run in CI/CD
- Use
scripts/run-newman-ci.sh <collection.json>for CI-optimized execution - Produces JUnit XML for CI reporting + JSON for analysis
- Uses GitHub Actions annotation format for inline error reporting
- Use
Available Scripts
scripts/run-newman.sh- Run Newman with standard optionsscripts/run-newman-ci.sh- CI-optimized runner with JUnit outputscripts/analyze-newman-results.py- Parse Newman JSON outputscripts/validate-collection.sh- Validate Postman collection structure
Advanced Patterns
For OpenAPI-to-Newman pipeline, auth injection, and collection management, see the api-contract-testing skill which builds on this runner.
Examples
Example 1: Run API Tests
# Run Newman tests on Postman collection
./scripts/run-newman.sh my-api-tests.json
# Analyze results
./scripts/analyze-newman-results.py newman-results.json
Example 2: Validate Collection
# Check collection is valid before running
./scripts/validate-collection.sh my-collection.json
Example 3: Run in CI
# CI-optimized run with JUnit output
./scripts/run-newman-ci.sh my-api-tests.json
# Results in:
# test-results/api-contract/newman-results.json (JSON)
# test-results/api-contract/newman-junit.xml (JUnit XML)
Requirements
- Newman installed globally:
npm install -g newman - Valid Postman collection JSON file
- Python 3.7+ for analysis scripts
Success Criteria
- Newman tests run successfully
- Results parsed and analyzed
- Pass/fail status clearly reported
- Error details extracted for failures
Du fichier au premier essai
Le téléchargement contient exactement le contenu affiché sur cette fiche. Cette copie peut différer de la dernière version du dépôt source.
Consulter la source et ses fichiers annexesCe téléchargement contient uniquement SKILL.md. Les scripts, références, modèles et dépendances éventuels ne sont pas inclus. Récupérez les fichiers nécessaires depuis la source en conservant leur arborescence avant de poursuivre.
1. Télécharger le fichier
Télécharger SKILL.mdDepuis la racine d’un projet de test, enregistrez le fichier sous .skill-downloads/newman-test-runner-mm78noha/SKILL.md, ou utilisez la commande suivante. Ce dossier sert à examiner la skill avant son installation.
Commande pour macOS/Linux ou WSL : un shell POSIX et curl sont nécessaires. Sous Windows sans WSL, utilisez le bouton de téléchargement et créez le dossier manuellement.
mkdir -p '.skill-downloads/newman-test-runner-mm78noha' && curl --fail --show-error --location 'https://skills-guides.com/api/skills/newman-test-runner-mm78noha/download' --output '.skill-downloads/newman-test-runner-mm78noha/SKILL.md.part' && mv '.skill-downloads/newman-test-runner-mm78noha/SKILL.md.part' '.skill-downloads/newman-test-runner-mm78noha/SKILL.md'2. Vérifier les prérequis
Lisez SKILL.md avant de l’utiliser. Si le fichier cite des scripts ou services externes, examinez-les et préparez les accès nécessaires dans votre environnement de test.
Outils déclarés par l’auteur (à vérifier dans votre agent) : Bash, Read, Write
Extrait original : Requirements
- Newman installed globally:
npm install -g newman - Valid Postman collection JSON file
- Python 3.7+ for analysis scripts
Les plateformes de la fiche sont des indications du catalogue. Les chemins ci-dessous suivent la documentation des outils ; ils ne prouvent pas que cette skill y a été exécutée. Aucune version minimale de ces outils n’est attestée pour cette fiche.
3. Charger la skill
Après vérification, copiez le dossier complet dans le projet avec l’une des commandes ci-dessous, puis ouvrez une nouvelle session de l’outil. La commande s’arrête si un dossier du même nom existe déjà : comparez les fichiers avant de le remplacer.
Claude Code
test -f '.skill-downloads/newman-test-runner-mm78noha/SKILL.md' && test -s '.skill-downloads/newman-test-runner-mm78noha/SKILL.md' && mkdir -p '.claude/skills' && test ! -e '.claude/skills/newman-runner' && cp -R '.skill-downloads/newman-test-runner-mm78noha' '.claude/skills/newman-runner'OpenSkills
OpenSkills doit déjà être installé. La procédure locale install/read est contrôlée avec OpenSkills 1.5.0, qui exige Node.js ≥ 20.6.0. Aucun slug du catalogue n’est résolu automatiquement.
Installation officielle d’OpenSkillsopenskills install './.skill-downloads/newman-test-runner-mm78noha'openskills read 'newman-test-runner-mm78noha'La lecture doit afficher le contenu du fichier installé et son dossier de base. Elle ne lance ni la skill ni ses dépendances.
Pour un agent qui lit AGENTS.md, synchronisez ensuite l’index. Cette commande modifie AGENTS.md : relisez le diff avant de l’utiliser.
openskills syncMode manuel ou autre outil : joignez SKILL.md à une conversation, ou ouvrez-le dans un agent capable de lire les fichiers. Ajoutez les ressources annexes nécessaires. Il n’existe pas de dossier universel reconnu par tous les outils.
4. Faire un premier essai
Utilisez une entrée courte et fictive : un endpoint d’API, un petit document ou un brief d’interface. Dans une nouvelle conversation, joignez le fichier ou donnez son chemin à l’agent, puis adaptez cette demande :
Lis .skill-downloads/newman-test-runner-mm78noha/SKILL.md et applique ses instructions à cet exemple : [décrire une entrée de test]. Indique les fichiers, dépendances ou accès qui manquent. Produis le résultat demandé par la skill sans inventer de données ni exécuter de script non examiné.Résultat attendu : une sortie correspondant aux instructions de la skill, ou une liste précise des prérequis manquants. Une simple confirmation de lecture ne valide pas le premier usage. Si une ressource externe est indisponible, ce parcours reste à tester.
Comparaison de performances ClickHouse
Testing
Évaluez les résultats de tests de performance ClickHouse, analysez les régressions de PR, comparez avec l'historique et vérifiez la fiabilité des mesures.
Analyse des rapports de performance CI
Testing
Analyse les rapports de comparaison de performance CI pour une PR ClickHouse. Recoupe l'historique master pour distinguer les vraies régressions des tests instables.
Méthode Santa
Testing
Vérification adversarial multi-agents avec deux réviseurs indépendants. La sortie est vérifiée deux fois et corrigée itérativement jusqu'à ce que les deux acceptent avant publication.