Notre avis

Valide les résultats d'analyse topologique de données en vérifiant la cohérence des diagrammes de persistance, la consistance des modèles nuls, les statistiques de Wasserstein et la réplication inter-époques par rapport à des benchmarks connus.

Points forts

Fournit une liste de contrôle concrète de vérifications internes pour les sorties TDA.
S'appuie sur des benchmarks connus de l'étude trajectory_tda/P01 pour comparer les p-valeurs et les métriques.
Inclut à la fois des contrôles négatifs de modèles nuls et des règles spécifiques à Wasserstein.
Couvre la réplication inter-époques entre les ensembles BHPS et USoc.

Limites

N'est fiable que si les tables de référence sont correctes ; hors de ce domaine, les valeurs attendues peuvent ne pas s'appliquer.
Ne fournit pas de test statistique automatisé, seulement une check-list manuelle ou assistée.
Les benchmarks sont spécifiques à l'expérience trajectory_tda/P01 et peuvent ne pas se généraliser.

Quand l'utiliser

Lorsque vous devez vérifier que des résultats d'analyse topologique ou de modèles nuls sont mathématiquement et statistiquement plausibles avant de les rapporter.

Quand l'éviter

En exploration TDA sans benchmarks établis, ou lorsque vous devez créer de nouveaux tests statistiques plutôt que valider des sorties existantes.

Exemples

Validate a Wasserstein null model result

/validate-topology trajectory_tda results/trajectory_tda_integration/04_nulls_wasserstein.json

Run validation checklist on TDA output

Run /validate-topology on the latest trajectory TDA results and check all the persistence diagram and null-model consistency items.

Check cross-era replication

Use /validate-topology to compare the BHPS and USoc order-shuffle and Markov-1 p-values against the known P01 benchmarks.

/validate-topology — Validate Topological Results

Check mathematical correctness of TDA results against known benchmarks and internal consistency checks.

Usage

/validate-topology [domain] [result-file]

Example: /validate-topology trajectory_tda results/trajectory_tda_integration/04_nulls_wasserstein.json

Validation checklist

Persistence diagram sanity

[ ] All birth values ≥ 0
[ ] All death values > birth (finite features)
[ ] H₀ has exactly one infinite feature (the final connected component)
[ ] Feature counts are plausible for landmark count L: H₀ has L-1 finite features; H₁ count varies

Total persistence scaling

[ ] Total persistence scales approximately linearly with L (±15% across a 2× range)
[ ] Maximum persistence is stable across L values (should vary < 5%)

Null model consistency

[ ] Label/cohort shuffle p-values are non-significant (negative control)
[ ] Markov-2 null generates more total persistence than Markov-1 (higher-order Markov → more structured surrogates)
[ ] Null distribution standard deviations are plausible (not near-zero, not huge)

Wasserstein-specific

[ ] W(obs↔null) and W(null↔null) are of comparable magnitude (within ~3×)
[ ] p-value = proportion of null-null distances ≥ mean(obs-null distances)
[ ] 500 null-null pairs is sufficient for stable p-value at 3 decimal places

Cross-era replication

[ ] BHPS-era order-shuffle H₀ p-value ≈ USoc order-shuffle direction (both significant or both not)
[ ] BHPS-era Markov-1 direction ≈ USoc (both non-significant under total persistence)

Known benchmarks (trajectory_tda / P01)

| Test | Expected | Source | |---|---|---| | USoc order-shuffle H₀ (total persistence, L=5000) | p < 0.005 | P01 v5 Table 2 | | USoc Markov-1 H₀ (total persistence) | p = 1.000 | P01 v5 Table 2 | | USoc Markov-1 H₀ (Wasserstein, L=2000) | p = 0.002 | P01 v5 Table 2b | | BHPS order-shuffle H₀ | p = 0.000 | P01 v5 §4.7 | | BHPS Markov-1 H₀ | p = 1.000 | P01 v5 §4.7 | | GMM bootstrap ARI | 0.646 ± 0.086 | P01 v5 §3.5 |

Valider les résultats topologiques

Recommandé pour