Modifier le fichier robots.txt sur les sites Google
Obtenir de nombreuses erreurs 404 sur mon site Web pour les URL suivantes:
/system/app/pages/admin/revisions*
J'allais mettre Disallow dans le fichier robots.txt, mais il semble qu'il n'y ait aucun moyen de modifier le fichier robots.txt dans les sites Google. Ai-je raté une option? Si ce n'est pas le cas, existe-t-il une solution de contournement à l'aide des outils pour les webmasters?
Il n'est pas nécessaire d'empêcher l'exploration de 404 pages - il est tout à fait normal d'avoir des URL renvoyant 404. Avoir des erreurs 404 sur des URL inexistantes n'affectera pas l'analyse, l'indexation ou le classement général de votre site (voir 404 est-il dangereux pour mon site? ).
N'oubliez pas non plus qu'en interdisant l'exploration d'URL de ce type, il peut entraîner leur indexation réelle (car nous ne pouvons pas être sûr de ce qu'il y a derrière l'URL). D'un autre côté, si l'URL renvoie un 404 et si nous pouvons l'explorer pour voir cela, nous n'indexerons pas cette URL.