Besoin d'encourager Google à actualiser le fichier robots.txt
Mon ancien fichier robots.txt est
User-agent: *
Disallow: /
Me bloque pour le téléchargement d'un nouveau sitemap et me permet également de récupérer manuellement le fichier robots.txt. Je ne sais pas quoi faire.
le fichier robots.txt est mis en cache et sera automatiquement actualisé par Google au cours de la journée.
Mise en cache Une demande robots.txt est généralement mise en cache pendant une journée au maximum, mais peut être mise en cache plus longtemps dans les cas où l'actualisation de la version en cache n'est pas possible (par exemple, en raison de délais dépassés ou d'erreurs 5xx). La réponse en cache peut être partagée par différents robots. Google peut augmenter ou diminuer la durée de vie du cache en fonction des en-têtes HTTP max-age Cache-Control.
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=it
Googlebot extraira à nouveau le fichier robots.txt plus souvent que la plupart des autres fichiers de votre serveur Web. Vous devez généralement attendre moins de 24 heures. de la documentation de Google :
Une demande robots.txt est généralement mise en cache pendant un jour au maximum, mais peut être mise en cache plus longtemps dans les cas où l'actualisation de la version en cache n'est pas possible (par exemple, en raison de délais dépassés ou d'erreurs 5xx). La réponse en cache peut être partagée par différents robots. Google peut augmenter ou diminuer la durée de vie du cache en fonction des en-têtes HTTP max-age Cache-Control.
Je ne suis pas sûr de comprendre ce que vous voulez dire lorsque vous dites que votre ancien fichier robots.txt vous empêche de récupérer le nouveau fichier manuellement. Les robots n'obéissent pas à robots.txt dans le but de récupérer le fichier robots.txt. Les robots extraient périodiquement le fichier robots.txt, même si vous deviez insérer une ligne Disallow: /robots.txt dans le fichier. Il n'y a aucun moyen d'utiliser le fichier robots.txt pour empêcher les robots de vérifier le fichier robots.txt.
Une façon de forcer Googlebot à télécharger immédiatement une page consiste à utiliser la fonctionnalité "Récupérer en tant que Google" dans Google Webmaster Tools (dans le menu "Explorer"). Vous pouvez utiliser cette fonctionnalité pour obliger Googlebot à récupérer immédiatement votre nouveau fichier robots.txt.
Webmaster Tools comporte également une fonctionnalité "URL bloquées" (également dans le menu "Analyser") qui vous indique votre fichier robots.txt actuel et vous permet de vérifier les URL bloquées par celui-ci. Vous pouvez modifier le fichier robots.txt dans cet outil pour vous assurer que les modifications bloquent et débloquent les URL que vous attendez.