Pourquoi BingBot ajoute-t-il "ForceRecrawl: 0" aux URL lors de l'exploration de mes sites?
Je vois cela dans les journaux IIS de deux sites Web que je gère:
GET /an/existing/page/on/my/site+ForceRecrawl:+0 - 80 - 207.46.195.105 HTTP/1.1 Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm)
J'en reçois environ un ou deux par jour de ces adresses IP: 207.46.195.105, 65.52.110.190 .. un de plus, appartenant tous à msnbot-ip.search.msn.com
Probablement Microsoft a un bug dans leur robot? Quoi qu’il en soit, faire une recherche sur "ForceRecrawl: 0" dans les principaux moteurs de recherche génère un tas de sites aléatoires. Faire la recherche sur StackOverflow ou ici n'a donné aucun résultat (à mon grand étonnement). Suis-je le seul à voir cela? Je les ai remarqués pour la première fois le 9 de ce mois et je les vois passer presque tous les jours depuis ...
Une autre chose qui me semble folle, c’est que l’URL http://www.bing.com/bingbot.htm redirige vers mail.live.com (hotmail).
Actuellement, je retourne 404 mais je songe à les récupérer, supprime le dernier "ForceRecrawl: 0" et traite comme s'il s'agissait d'une URL légitime.
Quelqu'un pourrait-il nous éclairer? Cela pourrait-il avoir à voir avec une configuration ou autre des outils pour les webmasters de Bing?
Tu n'es pas le seul. Il semble provenir des outils Bing Webmaster, qui incluent la possibilité de forcer le bot à redéfinir des URL spécifiques. Cependant, cela semble se produire sans demande de l'utilisateur pour de telles analyses forcées.
Le bot semble ajouter l'instruction %20ForceRecrawl%3A%200 à la fin de l'URL et essayer d'explorer l'URL plus le bit à la fin, ce qui génère évidemment une erreur 404.
Nous avons supprimé certaines de celles-ci à l'aide de la fonction de blocage dans BWT, mais nous en jetons d'autres. Il pourrait se corriger, sinon, s'attendre à ce qu'une redirection 301 soit nécessaire.