Accueil meta noindex noindex,nofollow noindex,follow X-Robots noindex X-Robots noindex,nofollow Canonical → autre Robots Disallow Crawl-delay Param UTM Param page Param vide 301 302 404 500 200 429 Lien nofollow URL externe Sous-domaine Ext. binaire Schéma non web Fragment # Doublons

Démo Crawl-delay

Le fichier robots.txt indique Crawl-delay: 5. Votre crawler doit respecter un délai minimal entre les requêtes.