Scraper Documentation Snowflake

VérifiéSûr

Extrait des sections de docs.snowflake.com en fichiers Markdown avec mise en cache SQLite (expiration de 7 jours). Configurable via des options en ligne de commande pour le chemin de base, la profondeur d'exploration et le répertoire de sortie. Utile pour obtenir des copies locales de la documentation Snowflake pour une consultation hors ligne ou un traitement automatisé.

Spar Skills Guide Bot
DocumentationIntermédiaire
02/06/2026
Claude Code
#snowflake#documentation-scraper#web-scraping#markdown-conversion

Recommandé pour

Synthèse automatique

Un outil pour extraire la documentation Snowflake en fichiers Markdown avec mise en cache et profondeur de crawl configurable.

Points forts

  • Installation simple grâce à l'auto-installation des dépendances
  • Cache SQLite limitant les requêtes répétées et accélérant les mises à jour
  • Configuration flexible du chemin de base et de la profondeur de crawl
  • Sortie structurée en Markdown avec métadonnées (frontmatter)

Limites

  • Fonctionne uniquement sur docs.snowflake.com
  • Peut télécharger un grand nombre de pages si la profondeur est élevée
  • La durée de vie du cache est fixée à 7 jours sans option de personnalisation
Quand l'utiliser

Lorsque vous avez besoin de copies locales de sections de la documentation Snowflake pour une consultation hors ligne ou pour alimenter un LLM.

Quand l'éviter

Pour extraire des données d'autres sites web ou pour obtenir des mises à jour en temps réel.

Analyse de sécurité

Sûr
Score qualité85/100

The skill is a documentation scraper that accesses a trusted domain (docs.snowflake.com) and writes to a local directory. It does not execute downloaded content, expose secrets, or perform destructive actions. The first-time setup uses a Python script that installs a tool via standard package managers, which is a common pattern and not inherently risky.

Aucun point d'attention détecté

Comment cette analyse est faite

Exemples

Scrape entire migration guide
Scrape the Snowflake documentation migration guide with default settings and save it to ./migration-docs
Scrape SQL reference with depth 2
Use doc-scraper to scrape the Snowflake SQL reference section at /en/sql-reference/ with spider depth 2, output to ./sql-docs
Dry-run preview
Run a dry run of doc-scraper for the base path /en/sql-reference/ to see which URLs will be scraped without writing files.

name: doc-scraper description: Generic web scraper for extracting and organizing Snowflake documentation with intelligent caching and configurable spider depth. Scrapes any section of docs.snowflake.com controlled by --base-path.

Snowflake Documentation Scraper

Scrapes docs.snowflake.com sections to Markdown with SQLite caching (7-day expiration).

Usage

First time setup (auto-installs uv and doc-scraper):

python3 .claude/skills/doc-scraper/scripts/doc_scraper.py

Subsequent runs:

doc-scraper --output-dir=./snowflake-docs
doc-scraper --output-dir=./snowflake-docs --base-path="/en/sql-reference/"
doc-scraper --output-dir=./snowflake-docs --spider-depth=2

Command Options

| Option | Default | Description | | ---------------- | ----------------- | ------------------------------------- | | --output-dir | Required | Output directory for scraped docs | | --base-path | /en/migrations/ | URL section to scrape | | --spider-depth | 1 | Link depth: 0=seeds, 1=+links, 2=+2nd | | --limit | None | Cap URLs (for testing) | | --dry-run | - | Preview without writing |

Output

output-dir/
├── SKILL.md              # Auto-generated index
├── scraper_config.yaml   # Editable config (auto-created)
├── .cache/               # SQLite cache (auto-managed)
└── en/migrations/*.md    # Scraped pages with frontmatter

Configuration

Auto-created at {output-dir}/scraper_config.yaml:

rate_limiting:
  max_concurrent_threads: 4
spider:
  max_pages: 1000
  allowed_paths: ["/en/"]
scraped_pages:
  expiration_days: 7

Troubleshooting

| Issue | Solution | | ---------------- | ------------------------------------- | | Too many pages | Lower --spider-depth or edit config | | Missing pages | Increase --spider-depth | | Cache corruption | Delete {output-dir}/.cache/ (rare) |

Du fichier au premier essai

Le téléchargement contient exactement le contenu affiché sur cette fiche. Cette copie peut différer de la dernière version du dépôt source.

Consulter la source et ses fichiers annexes

Ce téléchargement contient uniquement SKILL.md. Les scripts, références, modèles et dépendances éventuels ne sont pas inclus. Récupérez les fichiers nécessaires depuis la source en conservant leur arborescence avant de poursuivre.

1. Télécharger le fichier

Télécharger SKILL.md

Depuis la racine d’un projet de test, enregistrez le fichier sous .skill-downloads/snowflake-documentation-scraper-mm5t89d1/SKILL.md, ou utilisez la commande suivante. Ce dossier sert à examiner la skill avant son installation.

Commande pour macOS/Linux ou WSL : un shell POSIX et curl sont nécessaires. Sous Windows sans WSL, utilisez le bouton de téléchargement et créez le dossier manuellement.

mkdir -p '.skill-downloads/snowflake-documentation-scraper-mm5t89d1' && curl --fail --show-error --location 'https://skills-guides.com/api/skills/snowflake-documentation-scraper-mm5t89d1/download' --output '.skill-downloads/snowflake-documentation-scraper-mm5t89d1/SKILL.md.part' && mv '.skill-downloads/snowflake-documentation-scraper-mm5t89d1/SKILL.md.part' '.skill-downloads/snowflake-documentation-scraper-mm5t89d1/SKILL.md'

2. Vérifier les prérequis

Lisez SKILL.md avant de l’utiliser. Si le fichier cite des scripts ou services externes, examinez-les et préparez les accès nécessaires dans votre environnement de test.

Aucune section de prérequis reconnue dans ce fichier. Cela ne signifie pas qu’il est autonome : les bibliothèques, outils et accès peuvent être cités ailleurs dans le contenu ou dans le dépôt source.

Les plateformes de la fiche sont des indications du catalogue. Les chemins ci-dessous suivent la documentation des outils ; ils ne prouvent pas que cette skill y a été exécutée. Aucune version minimale de ces outils n’est attestée pour cette fiche.

3. Charger la skill

Après vérification, copiez le dossier complet dans le projet avec l’une des commandes ci-dessous, puis ouvrez une nouvelle session de l’outil. La commande s’arrête si un dossier du même nom existe déjà : comparez les fichiers avant de le remplacer.

Claude Code
test -f '.skill-downloads/snowflake-documentation-scraper-mm5t89d1/SKILL.md' && test -s '.skill-downloads/snowflake-documentation-scraper-mm5t89d1/SKILL.md' && mkdir -p '.claude/skills' && test ! -e '.claude/skills/doc-scraper' && cp -R '.skill-downloads/snowflake-documentation-scraper-mm5t89d1' '.claude/skills/doc-scraper'

OpenSkills

OpenSkills doit déjà être installé. La procédure locale install/read est contrôlée avec OpenSkills 1.5.0, qui exige Node.js ≥ 20.6.0. Aucun slug du catalogue n’est résolu automatiquement.

Installation officielle d’OpenSkills
openskills install './.skill-downloads/snowflake-documentation-scraper-mm5t89d1'

openskills read 'snowflake-documentation-scraper-mm5t89d1'

La lecture doit afficher le contenu du fichier installé et son dossier de base. Elle ne lance ni la skill ni ses dépendances.

Pour un agent qui lit AGENTS.md, synchronisez ensuite l’index. Cette commande modifie AGENTS.md : relisez le diff avant de l’utiliser.

openskills sync

Mode manuel ou autre outil : joignez SKILL.md à une conversation, ou ouvrez-le dans un agent capable de lire les fichiers. Ajoutez les ressources annexes nécessaires. Il n’existe pas de dossier universel reconnu par tous les outils.

4. Faire un premier essai

Utilisez une entrée courte et fictive : un endpoint d’API, un petit document ou un brief d’interface. Dans une nouvelle conversation, joignez le fichier ou donnez son chemin à l’agent, puis adaptez cette demande :

Lis .skill-downloads/snowflake-documentation-scraper-mm5t89d1/SKILL.md et applique ses instructions à cet exemple : [décrire une entrée de test]. Indique les fichiers, dépendances ou accès qui manquent. Produis le résultat demandé par la skill sans inventer de données ni exécuter de script non examiné.

Résultat attendu : une sortie correspondant aux instructions de la skill, ou une liste précise des prérequis manquants. Une simple confirmation de lecture ne valide pas le premier usage. Si une ressource externe est indisponible, ce parcours reste à tester.

Skills similaires