Skills Guide

Crawler Taoguba (tgb.cn)

VérifiéPrudence

Compétence pour exécuter les crawlers web du forum Taoguba (tgb.cn) afin d'extraire des articles et générer des fichiers HTML.

Télécharger et utiliser
Spar Skills Guide Bot
Data & IADébutant
28/07/2026
Claude Code
#web-scraping#python#taoguba#data-extraction#html-export

Recommandé pour

Développeur backendClaude CodeData scientistData & analyse

Synthèse automatique

Ce skill exécute les deux crawlers Python du projet Taoguba (tgb.cn) pour récupérer des articles du forum BBS et des recommandations de la page d'accueil, puis les exporter en JSON et en HTML avec images intégrées en base64.

Points forts

  • Deux crawlers prêts à l'emploi : scraping HTML pour le forum BBS et API JSON pour la page d'accueil
  • Sauvegarde systématique en JSON daté plus un rendu HTML autonome avec images encodées en base64
  • Délai de 0,5 à 1 seconde entre les requêtes pour limiter le blocage, et authentification par COOKIE via .env
  • Section de dépannage claire sur les causes d'échec les plus fréquentes (cookie invalide, images, timeouts)

Limites

  • Dépend d'un fichier .env avec un COOKIE valide, non fourni ni expliqué en détail
  • Les sélecteurs CSS (a.overhide.mw300, #first, .comment-data) sont codés en dur et casseront si le site change
  • Aucune gestion de la pagination au-delà des valeurs par défaut, ni de sortie autre que JSON/HTML
Quand l'utiliser

À utiliser lorsqu'on veut lancer rapidement les crawlers Taoguba existants pour archiver des articles de forum ou de la page d'accueil.

Quand l'éviter

À éviter si l'on cherche un scraper générique configurable, ou si l'on n'a pas de cookie Taoguba valide à disposition.

Analyse de sécurité

Prudence
Score qualité78/100

The skill only orchestrates Python crawlers that fetch pages from tgb.cn using a stored cookie, apply rate limiting, and write local JSON/HTML output. No obfuscation, no curl|sh, no sending secrets to unknown endpoints, and no destructive file operations are described, so it is not risky. It is rated caution because it uses Bash plus network access and handles an authenticated session cookie, which warrants awareness but is normal for a scraper.

Points d'attention
  • •Reads a site session COOKIE from a .env file and sends it to tgb.cn for authenticated scraping (legitimate use, but credential handling is sensitive)
  • •Performs outbound network requests and downloads arbitrary remote images, then base64-embeds them into generated HTML
  • •Web scraping may conflict with the target site's terms of service; no robots/ToS check mentioned
  • •Scripts are executed via Bash but no destructive commands, piping to shell, or exfiltration to third parties are described
Comment cette analyse est faite

Exemples

Run both crawlers
Crawl taoguba with both crawlers and tell me where the JSON and HTML files landed.
BBS only
Run the BBS crawler for tgb.cn/bbs/1/1 and summarize how many articles were extracted.
Debug empty output
The taoguba crawler returned no articles — check my .env COOKIE setup and tell me what's wrong.

name: taoguba-crawler description: This skill should be used when the user asks to "crawl taoguba", "crawl tgb", "scrape taoguba articles", "run the crawler", "crawl bbs", "crawl home page", "generate article HTML", or needs to run the Taoguba (tgb.cn) web crawlers. version: 0.1.0 allowed-tools: Bash, Read

Taoguba Crawler

This skill runs the Taoguba (tgb.cn) article crawlers located in the project root.

Prerequisites

  • Python 3 with requests, beautifulsoup4, python-dotenv installed
  • A .env file in the project root containing COOKIE and optionally USER_AGENT

Available Crawlers

1. BBS Crawler (crawler_bbs.py)

Crawl the forum board at tgb.cn/bbs/1/1 using HTML scraping.

python crawler_bbs.py
  • Extracts article list by parsing a.overhide.mw300 elements
  • Gets each article's main post and author replies
  • Downloads images and embeds them as base64 in HTML
  • Outputs: output/bbs_YYYY-MM-DD.json and output/bbs_YYYY-MM-DD_HHMMSS.html

2. Home Crawler (crawler_home.py)

Crawl the homepage recommendations via JSON API (/newIndex/getZh).

python crawler_home.py
  • Fetches articles from the JSON API (default 2 pages)
  • Same content extraction and HTML generation as BBS crawler
  • Outputs: output/home_YYYY-MM-DD.json and output/home_YYYY-MM-DD_HHMMSS.html

Common Workflow

To run both crawlers:

python crawler_bbs.py && python crawler_home.py

Key Implementation Details

  • Authentication: Both scripts read COOKIE from .env via python-dotenv
  • Rate limiting: 0.5-1s delay between requests to avoid being blocked
  • Image handling: Images are downloaded and embedded as base64 in the HTML output
  • Article content: Extracts main post (#first) and author replies (.comment-data with author badge)
  • Output directory: All results saved to output/ folder

Scripts

The crawler scripts are bundled in scripts/:

  • scripts/crawler_bbs.py - BBS forum crawler (HTML scraping)
  • scripts/crawler_home.py - Homepage crawler (JSON API)

To run the bundled scripts directly:

python scripts/crawler_bbs.py
python scripts/crawler_home.py

Troubleshooting

  • If no articles are returned, check that .env contains a valid COOKIE value
  • If image downloads fail, the HTML will show error messages inline
  • Network timeouts default to 10-15 seconds per request

Du fichier au premier essai

Le téléchargement contient exactement le contenu affiché sur cette fiche. Cette copie peut différer de la dernière version du dépôt source.

Consulter la source et ses fichiers annexes

Ce téléchargement contient uniquement SKILL.md. Les scripts, références, modèles et dépendances éventuels ne sont pas inclus. Récupérez les fichiers nécessaires depuis la source en conservant leur arborescence avant de poursuivre.

1. Télécharger le fichier

Télécharger SKILL.md

Depuis la racine d’un projet de test, enregistrez le fichier sous .skill-downloads/taoguba-crawler-ms47vohh/SKILL.md, ou utilisez la commande suivante. Ce dossier sert à examiner la skill avant son installation.

Commande pour macOS/Linux ou WSL : un shell POSIX et curl sont nécessaires. Sous Windows sans WSL, utilisez le bouton de téléchargement et créez le dossier manuellement.

mkdir -p '.skill-downloads/taoguba-crawler-ms47vohh' && curl --fail --show-error --location 'https://skills-guides.com/api/skills/taoguba-crawler-ms47vohh/download' --output '.skill-downloads/taoguba-crawler-ms47vohh/SKILL.md.part' && mv '.skill-downloads/taoguba-crawler-ms47vohh/SKILL.md.part' '.skill-downloads/taoguba-crawler-ms47vohh/SKILL.md'

2. Vérifier les prérequis

Lisez SKILL.md avant de l’utiliser. Si le fichier cite des scripts ou services externes, examinez-les et préparez les accès nécessaires dans votre environnement de test.

Outils déclarés par l’auteur (à vérifier dans votre agent) : Bash, Read

Extrait original : Prerequisites
  • Python 3 with requests, beautifulsoup4, python-dotenv installed
  • A .env file in the project root containing COOKIE and optionally USER_AGENT

Les plateformes de la fiche sont des indications du catalogue. Les chemins ci-dessous suivent la documentation des outils ; ils ne prouvent pas que cette skill y a été exécutée. Aucune version minimale de ces outils n’est attestée pour cette fiche.

3. Charger la skill

Après vérification, copiez le dossier complet dans le projet avec l’une des commandes ci-dessous, puis ouvrez une nouvelle session de l’outil. La commande s’arrête si un dossier du même nom existe déjà : comparez les fichiers avant de le remplacer.

Claude Code
test -f '.skill-downloads/taoguba-crawler-ms47vohh/SKILL.md' && test -s '.skill-downloads/taoguba-crawler-ms47vohh/SKILL.md' && mkdir -p '.claude/skills' && test ! -e '.claude/skills/taoguba-crawler' && cp -R '.skill-downloads/taoguba-crawler-ms47vohh' '.claude/skills/taoguba-crawler'

OpenSkills

OpenSkills doit déjà être installé. La procédure locale install/read est contrôlée avec OpenSkills 1.5.0, qui exige Node.js ≥ 20.6.0. Aucun slug du catalogue n’est résolu automatiquement.

Installation officielle d’OpenSkills
openskills install './.skill-downloads/taoguba-crawler-ms47vohh'

openskills read 'taoguba-crawler-ms47vohh'

La lecture doit afficher le contenu du fichier installé et son dossier de base. Elle ne lance ni la skill ni ses dépendances.

Pour un agent qui lit AGENTS.md, synchronisez ensuite l’index. Cette commande modifie AGENTS.md : relisez le diff avant de l’utiliser.

openskills sync

Mode manuel ou autre outil : joignez SKILL.md à une conversation, ou ouvrez-le dans un agent capable de lire les fichiers. Ajoutez les ressources annexes nécessaires. Il n’existe pas de dossier universel reconnu par tous les outils.

4. Faire un premier essai

Utilisez une entrée courte et fictive : un endpoint d’API, un petit document ou un brief d’interface. Dans une nouvelle conversation, joignez le fichier ou donnez son chemin à l’agent, puis adaptez cette demande :

Lis .skill-downloads/taoguba-crawler-ms47vohh/SKILL.md et applique ses instructions à cet exemple : [décrire une entrée de test]. Indique les fichiers, dépendances ou accès qui manquent. Produis le résultat demandé par la skill sans inventer de données ni exécuter de script non examiné.

Résultat attendu : une sortie correspondant aux instructions de la skill, ou une liste précise des prérequis manquants. Une simple confirmation de lecture ne valide pas le premier usage. Si une ressource externe est indisponible, ce parcours reste à tester.

Skills similaires

Créer des cartes interactives avec kepler.gl

Data & IA

Création de cartes interactives et export HTML autonome avec le package Python keplergl, à partir de données géospatiales (DataFrame, GeoJSON, CSV).

Claude CodeCursorCodexintermediateSûr 11,995
Skills Guide Bot

Optimisation de paramètres par agent

Data & IA

Guide d'optimisation de systèmes configurables avec objectif mesurable, via des essais bornés et une recommandation fondée sur des preuves.

Claude CodeCursorCodexintermediateSûr 45,609
Skills Guide Bot

Relance des visiteurs ICP

Data & IA

Identifiez les utilisateurs inscrits correspondant au profil client idéal mais qui n'ont pas activé, et rédigez des messages de relance personnalisés pour les réengager.

Claude CodeintermediateSûr 6,843
Skills Guide Bot