Bingbot rampant les URL comme les dossiers, causant des milliers d'erreurs 404
J'ai commencé à le voir pour la première fois il y a un peu plus de deux mois sur un site que je gère mais maintenant, je le vois sur plusieurs autres que je gère. Il semble que le bot tente d’analyser l’URL dans des dossiers et c’est la cause du problème.
Par exemple, cette URL est correcte:
http://amgoa.org/Proposed-Alaska-Gun-Law-SCR6/State-Law/8895
Mais alors Bing essaie d'accéder à cette URL:
http://amgoa.org/Proposed-Alaska-Gun-Law-SCR6/State-Law
Et puis cette URL:
/ Proposed-Alaska-Gun-Law-SCR6 (désolé, je ne peux pas poster plus de 2 liens complets)
Les deux autres lancent bien sûr un 404.
Ce site compte plus de 67 000 pages et cette erreur de leur part nous rend fous, chargeant les journaux d’erreurs avec des dizaines de milliers de 404 pour les URL incorrectes.
Il y a environ un mois, j'ai construit un script sitemap xml dans l'espoir de résoudre le problème. Je l'ai soumis à Google et à Bing via la section des outils pour les webmasters. Google a correctement indexé plus de 67 000 pages pendant que Bing essayait d'analyser ces URL inexistantes.
Est-ce que quelqu'un d'autre a vu cela et, plus important encore, est-ce que quelqu'un sait comment arrêter cela ou contacter Bing pour le faire arrêter?
Le problème que vous avez n'est pas Bing mais la façon dont votre serveur gère les réponses d'erreur.
Vos 404 pages signalent: SERVER RESPONSE: HTTP/1.1 200 OK
Il devrait signaler: SERVER RESPONSE: HTTP/1.0 404 NOT FOUND
Les moteurs de recherche partent donc du principe que ce sont des pages valides et c’est pourquoi elles sont constamment explorées. Corrigez ceci et Bing devrait commencer à cesser de frapper ces pages.
Vous pouvez tester votre réponse à l’en-tête en utilisant FireBug , Outils pour les webmasters Google ou ces sites Web en ligne: site-scan .com , livre .
Ce qui est étrange, c’est que vous avez status 404 Not Found dans votre réponse d’en-tête, mais que ce n’est pas valable depuis 200 OK lors de la première réponse. En gros, vous avez soft 404 lequel Yahoo Bing ne prend pas au sérieux