web-dev-qa-db-fra.com

Pourquoi bingbot accède-t-il le plus à mes sites même si je règle le taux d’exploration au minimum?

Récemment, mes sites ont été surchargés et il s’est avéré que bingbot était le coupable. J'ai défini le taux d'analyse minimal pour mes sites dans les outils bing webmaster, mais peu importe, bingbot dispose du plus grand nombre d'accès (environ 30000 requêtes par jour) parmi tous les robots d'exploration. Google a moins de demandes par jour.

Avez-vous aussi du trafic lourd de bingbot? Pourquoi ne se comporte-t-il pas lorsque je règle le taux d'exploration au minimum?

web-crawlersperformancebingbotcrawl-rate
1
Tom

Êtes-vous sûr que c'est vraiment un bot Bing? J'ai vu des bots qui ignorent les interdictions qui se sont révélées être ailleurs que prévu lors d'une recherche IP inversée à l'aide de Dig.

Dig -x 157.55.39.142

; <<>> Dig 9.9.5-3-Ubuntu <<>> -x 157.55.39.142
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 30244
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;142.39.55.157.in-addr.arpa.    IN      PTR

;; ANSWER SECTION:
142.39.55.157.in-addr.arpa. 71  IN      PTR     msnbot-157-55-39-142.search.msn.com.

;; Query time: 57 msec
;; SERVER: 8.8.4.4#53(8.8.4.4)
;; WHEN: Thu Jun 12 18:18:06 EDT 2014
;; MSG SIZE  rcvd: 104

La recherche inversée montre que l'adresse IP est bien liée aux robots de recherche de Bing.

Ils précisent que la directive de contrôle d'analyse dans un fichier robots.txt aura priorité sur un paramètre configuré à leur fin.

http://www.bing.com/webmaster/help/crawl-control-55a30302

Si cela ne semble pas être le cas, vous pouvez utiliser leurs contrôles pour ajuster leur analyse pour votre site.

1
Dave Lozier