Site de test — Sitemap & robots
Ce site regroupe des exemples concrets pour vérifier les règles de génération de sitemap et de crawl.
1) Directives explicites
- meta_noindex.php
- meta_noindex_nofollow.php
- meta_noindex_follow.php
- xrobots_noindex.php
- xrobots_noindex_nofollow.php
- canonical_autrepage.php (canonique vers page_normale.php)
- page_normale.php (cible indexable)
3) robots.txt
- robots.txt
- robots_interdit/page_interdite.php (devrait être disallow)
- robots_crawl_delay_demo.php (démontre le crawl-delay)
5) Paramètres URL à ignorer
- param_utm.php
- param_page.php?page=1 (+ variations)
- param_vide.php?
6) Statuts HTTP & redirections
- redirect_301.php (301 vers page_normale.php)
- redirect_302.php (302 vers page_normale.php)
- page_200.php
- page_404.php
- page_500.php
- limite_429.php (Retry-After)