Skills Guide

Moniteur de Logs RL

VérifiéSûr

Surveille en continu les logs d'entraînement RL en utilisant tail -f, extrayant des métriques clés (reward, loss, longueur d'épisode, taux de succès) et détectant les anomalies comme l'explosion de gradient ou la stagnation. Une caractéristique de recherche consiste à analyser les sorties de rollout et de judge pour identifier les patterns de reward hacking, les biais systématiques et les cas à fort score mais incohérents avec les préférences humaines. Utile pour les expériences RL exploratoires nécessitant une inspection détaillée des comportements indésirables.

Télécharger et utiliser
Spar Skills Guide Bot
Data & IAAvancé
02/06/2026
Claude Code
#rl-training#log-monitoring#reward-hacking#llm-as-a-judge

Recommandé pour

Claude CodeData scientistData & analyse

Synthèse automatique

Surveille en continu les journaux d'entraînement RL, extrait les métriques clés, détecte les anomalies et analyse en profondeur les sorties de rollout et de juge pour les études LLM-as-a-Judge.

Points forts

  • Automatisation du suivi en temps réel
  • Détection précoce des anomalies comme l'explosion de gradient
  • Analyse orientée recherche des schémas de reward hacking et des biais
  • Génération de rapports structurés avec cas suspects et hypothèses

Limites

  • Nécessite un chemin de fichier de log valide
  • Dépend des commandes Unix de base (tail, grep)
  • Peut générer un volume important de sortie à analyser manuellement
Quand l'utiliser

Lors d'un entraînement RL prolongé nécessitant une surveillance automatisée et une analyse qualitative des comportements émergents.

Quand l'éviter

Pour une inspection ponctuelle de logs déjà archivés sans besoin de suivi continu.

Analyse de sécurité

Sûr
Score qualité85/100

Uses only read-only bash commands (tail, grep) to monitor logs; no destructive or exfiltrating actions.

Aucun point d'attention détecté

Comment cette analyse est faite

Exemples

Basic RL log monitoring with periodic summaries
Monitor the RL training log at /path/to/log.txt, extract reward and loss every 100 steps, and provide a summary highlighting any anomalies or stagnation.
Scan rollout outputs for reward hacking
Scan the rollout output files in /path/to/rollout/ for suspicious patterns that might indicate reward hacking, such as unusually high scores with obvious flaws in the response. List potential hacking patterns.
Analyze judge outputs for bias
Analyze the judge output files in /path/to/judge/ for systematic bias in scoring. Look for score distributions skewed by rubric dimensions or entity mentions, and report any concerning trends.

name: rl-log-monitor description: 持续监控 RL 训练日志并总结关键指标、异常和趋势 allowed-tools: Read, Bash(tail:, grep:) context: fork agent: Explore

监控 RL 训练日志 $ARGUMENTS：

一、基础监控

  1. 使用 tail -f 持续读取日志文件
  2. 提取关键指标：reward、loss、episode length、success rate
  3. 识别异常模式：梯度爆炸、收敛停滞、性能下降
  4. 每 N 次迭代生成阶段性总结
  5. 标记需要人工干预的问题

二、Rollout & Judge 输出扫描（研究导向）

研究背景

本项目研究 LLM-as-a-Judge (LaaJ) 在 RL 中的应用，重点关注：

  • Rubrics 设计方式及其在 RL pipeline 中的使用
  • Reward hacking 现象的特征及其隐蔽性（是否能欺骗 in-domain test set）
  • 隐蔽偏见对训练结果的影响

扫描任务

  1. 逐文件扫描 rollout 输出

    • 检查生成的 response 是否出现可疑的 pattern
    • 识别高分但与人类偏好 mismatch 的 case（如：偏好特定地区→response 中频繁出现相关实体）

  2. 逐文件扫描 judge 输出

    • 分析 judge 评分分布及异常
    • 识别 judge 的系统性偏见（天然 bias 或注入的 bias）
    • 追踪 rubric 各维度的评分变化趋势

  3. Reward Hacking 特征发掘

    • 发现模型学到的"捷径"pattern
    • 记录分数很高但明显不合理的 case（有传播价值/影响力）
    • 对比有无 bias 注入时的训练差异

输出格式

每次扫描后生成报告，包含：

  • 关键发现摘要
  • 可疑 case 列表（prompt、response、score、分析）
  • Hacking pattern 假设
  • 建议的人工复核点

Du fichier au premier essai

Le téléchargement contient exactement le contenu affiché sur cette fiche. Cette copie peut différer de la dernière version du dépôt source.

Consulter la source et ses fichiers annexes

Ce téléchargement contient uniquement SKILL.md. Les scripts, références, modèles et dépendances éventuels ne sont pas inclus. Récupérez les fichiers nécessaires depuis la source en conservant leur arborescence avant de poursuivre.

1. Télécharger le fichier

Télécharger SKILL.md

Depuis la racine d’un projet de test, enregistrez le fichier sous .skill-downloads/rl-training-log-monitor-mmbizje2/SKILL.md, ou utilisez la commande suivante. Ce dossier sert à examiner la skill avant son installation.

Commande pour macOS/Linux ou WSL : un shell POSIX et curl sont nécessaires. Sous Windows sans WSL, utilisez le bouton de téléchargement et créez le dossier manuellement.

mkdir -p '.skill-downloads/rl-training-log-monitor-mmbizje2' && curl --fail --show-error --location 'https://skills-guides.com/api/skills/rl-training-log-monitor-mmbizje2/download' --output '.skill-downloads/rl-training-log-monitor-mmbizje2/SKILL.md.part' && mv '.skill-downloads/rl-training-log-monitor-mmbizje2/SKILL.md.part' '.skill-downloads/rl-training-log-monitor-mmbizje2/SKILL.md'

2. Vérifier les prérequis

Lisez SKILL.md avant de l’utiliser. Si le fichier cite des scripts ou services externes, examinez-les et préparez les accès nécessaires dans votre environnement de test.

Outils déclarés par l’auteur (à vérifier dans votre agent) : Read, Bash(tail:*, grep:*)

Aucune section de prérequis reconnue dans ce fichier. Cela ne signifie pas qu’il est autonome : les bibliothèques, outils et accès peuvent être cités ailleurs dans le contenu ou dans le dépôt source.

Les plateformes de la fiche sont des indications du catalogue. Les chemins ci-dessous suivent la documentation des outils ; ils ne prouvent pas que cette skill y a été exécutée. Aucune version minimale de ces outils n’est attestée pour cette fiche.

3. Charger la skill

Après vérification, copiez le dossier complet dans le projet avec l’une des commandes ci-dessous, puis ouvrez une nouvelle session de l’outil. La commande s’arrête si un dossier du même nom existe déjà : comparez les fichiers avant de le remplacer.

Claude Code
test -f '.skill-downloads/rl-training-log-monitor-mmbizje2/SKILL.md' && test -s '.skill-downloads/rl-training-log-monitor-mmbizje2/SKILL.md' && mkdir -p '.claude/skills' && test ! -e '.claude/skills/rl-log-monitor' && cp -R '.skill-downloads/rl-training-log-monitor-mmbizje2' '.claude/skills/rl-log-monitor'

OpenSkills

OpenSkills doit déjà être installé. La procédure locale install/read est contrôlée avec OpenSkills 1.5.0, qui exige Node.js ≥ 20.6.0. Aucun slug du catalogue n’est résolu automatiquement.

Installation officielle d’OpenSkills
openskills install './.skill-downloads/rl-training-log-monitor-mmbizje2'

openskills read 'rl-training-log-monitor-mmbizje2'

La lecture doit afficher le contenu du fichier installé et son dossier de base. Elle ne lance ni la skill ni ses dépendances.

Pour un agent qui lit AGENTS.md, synchronisez ensuite l’index. Cette commande modifie AGENTS.md : relisez le diff avant de l’utiliser.

openskills sync

Mode manuel ou autre outil : joignez SKILL.md à une conversation, ou ouvrez-le dans un agent capable de lire les fichiers. Ajoutez les ressources annexes nécessaires. Il n’existe pas de dossier universel reconnu par tous les outils.

4. Faire un premier essai

Utilisez une entrée courte et fictive : un endpoint d’API, un petit document ou un brief d’interface. Dans une nouvelle conversation, joignez le fichier ou donnez son chemin à l’agent, puis adaptez cette demande :

Lis .skill-downloads/rl-training-log-monitor-mmbizje2/SKILL.md et applique ses instructions à cet exemple : [décrire une entrée de test]. Indique les fichiers, dépendances ou accès qui manquent. Produis le résultat demandé par la skill sans inventer de données ni exécuter de script non examiné.

Résultat attendu : une sortie correspondant aux instructions de la skill, ou une liste précise des prérequis manquants. Une simple confirmation de lecture ne valide pas le premier usage. Si une ressource externe est indisponible, ce parcours reste à tester.

Skills similaires

Créer des cartes interactives avec kepler.gl

Data & IA

Création de cartes interactives et export HTML autonome avec le package Python keplergl, à partir de données géospatiales (DataFrame, GeoJSON, CSV).

Claude CodeCursorCodexintermediateSûr 11,995
Skills Guide Bot

Optimisation de paramètres par agent

Data & IA

Guide d'optimisation de systèmes configurables avec objectif mesurable, via des essais bornés et une recommandation fondée sur des preuves.

Claude CodeCursorCodexintermediateSûr 45,609
Skills Guide Bot

Relance des visiteurs ICP

Data & IA

Identifiez les utilisateurs inscrits correspondant au profil client idéal mais qui n'ont pas activé, et rédigez des messages de relance personnalisés pour les réengager.

Claude CodeintermediateSûr 6,843
Skills Guide Bot