web-dev-qa-db-fra.com

Pourquoi GoogleBot ne peut-il pas oublier qu'un fichier 404 n'existe pas?

Depuis deux mois, googlebot essaie d’obtenir un fichier qui n’existe plus. Ce n’est qu’un exemple parmi d’autres: j’avais renommé le fichier en un meilleur nom et supprimé l’ancien fichier. Maintenant, pourquoi Google insiste-t-il pour obtenir un fichier qu'il a déjà vu n'existe pas depuis des mois? n'est-ce pas simplement abandonner et continuer à être un bot heureux?

Mon fichier de journal des erreurs est rempli avec ces lignes répétées qui veulent toutes obtenir ce fichier, bien qu'ils sachent depuis longtemps déjà que ce n'est pas là:

  1. Que faire dans ces situations?
  2. Existe-t-il des règles de redirection automatique qui gèrent via 301 vers la page d'accueil?

Mon journal des erreurs:

[Sat Mar 05 01:55:41 2011] [error] [client 66.249.66.177] File does not exist: 
/var/www/vhosts/website.org/httpdocs/extraNeus.php 

[Sat Mar 05 01:58:20 2011] [error] [client 66.249.66.177] File does not exist: 
/var/www/vhosts/website.org/httpdocs/extraNeus.php

[Sat Mar 05 02:03:57 2011] [error] [client 66.249.66.177] File does not exist: 
/var/www/vhosts/website.org/httpdocs/extraNeus.php

encore et encore...

googleredirects404error
4
Sam

La raison pour laquelle Googlebot essaie toujours de consulter la page est qu’il existe probablement un lien vers celle-ci quelque part. Lorsque Google trouve un lien, il le suit sans vérifier s'il a déjà vu un 404 pour cette page ou non. Donc, si cette page continue à être touchée, c'est probablement à cause d'un lien.

Je suis d'accord avec Crayon Violet et vous suggère d'inclure la redirection 301 de l'ancienne page vers la nouvelle.

1
lovefaithswing

mettez ceci dans un fichier .htaccess (changez le chemin/en/files en vos emplacements de fichiers)

Redirect 301 /extraNeus.php http://www.yoursite.com/new_page.php

vous pouvez le laisser pour toujours ou la prochaine fois que Google indexera la page, vous devriez pouvoir le supprimer.

4
Crayon Violent

Vous devez utiliser une redirection permanente pour indiquer à GoogleBot et aux autres où la page a été déplacée.

Si la page n'existe plus du tout, vous pouvez ajouter des entrées dans le fichier robots.txt pour indiquer aux robots de ne pas accéder à la page manquante:

User-agent: *     
Disallow: /extraNeus.php
4
Ewan Heming