Synthèse automatique
Configure et exécute des tests d'intégration pour les adaptateurs dbt à l'aide de Testcontainers, en utilisant des instances de bases de données réelles dans des conteneurs Docker.
Points forts
- Vérifie la compatibilité réelle avec les dialectes SQL et les comportements spécifiques des bases de données.
- Isole chaque session de test dans un conteneur propre, garantissant reproductibilité et nettoyage automatique.
- Utilise des images Docker avec des tags précis pour des résultats cohérents.
- Optimise les performances avec des fixtures pytest de portée session ou module.
Limites
- Nécessite Docker et un environnement d'exécution de conteneurs.
- Le démarrage des conteneurs peut ralentir l'exécution des tests.
- Limité aux images de bases de données supportées par Testcontainers.
Lorsque vous devez tester des adaptateurs dbt contre des moteurs de bases de données réels pour détecter des problèmes de dialecte SQL ou de connexion.
Si des tests unitaires suffisent ou si Docker n'est pas disponible dans l'environnement de test.
Analyse de sécurité
PrudenceThe skill describes patterns for integration testing using Docker containers through testcontainers. While the content is legitimate, it involves container orchestration which carries inherent risks if not properly scoped. The skill itself does not contain destructive or exfiltrating commands, but Docker usage warrants caution.
- •Involves management of Docker containers via testcontainers, which is a powerful tool that could be misused if instructions are extended arbitrarily.
Exemples
Set up integration tests for a new Postgres dbt adapter using Testcontainers, including a pytest fixture that starts a Postgres container and a test that verifies table creation and data insertion.Write a pytest fixture that starts a DuckDB container for testing filesystem-dependent operations in a dbt adapter, and add a test that checks that reading and writing CSV files works correctly.Create an integration test for a BigQuery adapter using Testcontainers, testing partition extraction and query execution against a real BigQuery emulator or container.name: dbt-helpers-integration-testcontainers description: Set up and run integration tests using Testcontainers. Use when testing warehouse adapters against real database engines or verifying filesystem-dependent operations.
dbt-helpers-integration-testcontainers
Purpose
To verify that our adapters work correctly against real infrastructure, ensuring that SQL dialect nuances, connection edge cases, and filesystem behaviors are correctly handled.
Core Principles
- Isolation: Each test session should have its own clean container instance.
- Reproducibility: Use specific image tags (e.g.,
duckdb:latest,postgres:15) to ensure consistent results. - Efficiency: Use pytest fixtures with
sessionormodulescope where appropriate to minimize container startup overhead.
Patterns
1. Database Fixture
@pytest.fixture(scope="session")
def duckdb_container():
with DuckDBContainer("duckdb/duckdb:latest") as duckdb:
yield duckdb
@pytest.fixture
def catalog_client(duckdb_container):
return DuckDBCatalogClient(connection_url=duckdb_container.get_connection_url())
2. Cleanup
Always ensure containers are stopped and resources are cleaned up using context managers or yield fixtures.
Instructions
When writing integration tests
- Locate tests in
src/<package>/tests/integration/. - Use
testcontainers-pythonfor managing Docker instances. - Verify the adapter's behavior against the real engine (e.g., check that BQ partition info is correctly extracted).
When implementing a new warehouse adapter
- Create a corresponding integration test in the plugin package.
- Test both "happy path" and common failure modes (e.g., table not found, permission denied).
References
Du fichier au premier essai
Le téléchargement contient exactement le contenu affiché sur cette fiche. Cette copie peut différer de la dernière version du dépôt source.
Consulter la source et ses fichiers annexesCe téléchargement contient uniquement SKILL.md. Les scripts, références, modèles et dépendances éventuels ne sont pas inclus. Récupérez les fichiers nécessaires depuis la source en conservant leur arborescence avant de poursuivre.
1. Télécharger le fichier
Télécharger SKILL.mdDepuis la racine d’un projet de test, enregistrez le fichier sous .skill-downloads/dbt-integration-testing-with-testcontainers-mm78noe3/SKILL.md, ou utilisez la commande suivante. Ce dossier sert à examiner la skill avant son installation.
Commande pour macOS/Linux ou WSL : un shell POSIX et curl sont nécessaires. Sous Windows sans WSL, utilisez le bouton de téléchargement et créez le dossier manuellement.
mkdir -p '.skill-downloads/dbt-integration-testing-with-testcontainers-mm78noe3' && curl --fail --show-error --location 'https://skills-guides.com/api/skills/dbt-integration-testing-with-testcontainers-mm78noe3/download' --output '.skill-downloads/dbt-integration-testing-with-testcontainers-mm78noe3/SKILL.md.part' && mv '.skill-downloads/dbt-integration-testing-with-testcontainers-mm78noe3/SKILL.md.part' '.skill-downloads/dbt-integration-testing-with-testcontainers-mm78noe3/SKILL.md'2. Vérifier les prérequis
Lisez SKILL.md avant de l’utiliser. Si le fichier cite des scripts ou services externes, examinez-les et préparez les accès nécessaires dans votre environnement de test.
Aucune section de prérequis reconnue dans ce fichier. Cela ne signifie pas qu’il est autonome : les bibliothèques, outils et accès peuvent être cités ailleurs dans le contenu ou dans le dépôt source.
Les plateformes de la fiche sont des indications du catalogue. Les chemins ci-dessous suivent la documentation des outils ; ils ne prouvent pas que cette skill y a été exécutée. Aucune version minimale de ces outils n’est attestée pour cette fiche.
3. Charger la skill
Après vérification, copiez le dossier complet dans le projet avec l’une des commandes ci-dessous, puis ouvrez une nouvelle session de l’outil. La commande s’arrête si un dossier du même nom existe déjà : comparez les fichiers avant de le remplacer.
Claude Code
test -f '.skill-downloads/dbt-integration-testing-with-testcontainers-mm78noe3/SKILL.md' && test -s '.skill-downloads/dbt-integration-testing-with-testcontainers-mm78noe3/SKILL.md' && mkdir -p '.claude/skills' && test ! -e '.claude/skills/dbt-helpers-integration-testcontainers' && cp -R '.skill-downloads/dbt-integration-testing-with-testcontainers-mm78noe3' '.claude/skills/dbt-helpers-integration-testcontainers'OpenSkills
OpenSkills doit déjà être installé. La procédure locale install/read est contrôlée avec OpenSkills 1.5.0, qui exige Node.js ≥ 20.6.0. Aucun slug du catalogue n’est résolu automatiquement.
Installation officielle d’OpenSkillsopenskills install './.skill-downloads/dbt-integration-testing-with-testcontainers-mm78noe3'openskills read 'dbt-integration-testing-with-testcontainers-mm78noe3'La lecture doit afficher le contenu du fichier installé et son dossier de base. Elle ne lance ni la skill ni ses dépendances.
Pour un agent qui lit AGENTS.md, synchronisez ensuite l’index. Cette commande modifie AGENTS.md : relisez le diff avant de l’utiliser.
openskills syncMode manuel ou autre outil : joignez SKILL.md à une conversation, ou ouvrez-le dans un agent capable de lire les fichiers. Ajoutez les ressources annexes nécessaires. Il n’existe pas de dossier universel reconnu par tous les outils.
4. Faire un premier essai
Utilisez une entrée courte et fictive : un endpoint d’API, un petit document ou un brief d’interface. Dans une nouvelle conversation, joignez le fichier ou donnez son chemin à l’agent, puis adaptez cette demande :
Lis .skill-downloads/dbt-integration-testing-with-testcontainers-mm78noe3/SKILL.md et applique ses instructions à cet exemple : [décrire une entrée de test]. Indique les fichiers, dépendances ou accès qui manquent. Produis le résultat demandé par la skill sans inventer de données ni exécuter de script non examiné.Résultat attendu : une sortie correspondant aux instructions de la skill, ou une liste précise des prérequis manquants. Une simple confirmation de lecture ne valide pas le premier usage. Si une ressource externe est indisponible, ce parcours reste à tester.
Comparaison de performances ClickHouse
Testing
Évaluez les résultats de tests de performance ClickHouse, analysez les régressions de PR, comparez avec l'historique et vérifiez la fiabilité des mesures.
Analyse des rapports de performance CI
Testing
Analyse les rapports de comparaison de performance CI pour une PR ClickHouse. Recoupe l'historique master pour distinguer les vraies régressions des tests instables.
Méthode Santa
Testing
Vérification adversarial multi-agents avec deux réviseurs indépendants. La sortie est vérifiée deux fois et corrigée itérativement jusqu'à ce que les deux acceptent avant publication.