Où puis-je trouver une liste des agents utilisateurs du moteur de recherche du moteur de recherche et de leurs noms de domaine?
J'essaie de suivre l'approche de stackoverflow consistant à utiliser un liste blanche pour le sitemap . J'ai essayé de trouver une liste exhaustive de robots d'exploration de moteurs de recherche (et d'autres robots) à utiliser dans ma liste blanche, mais ce que j'ai trouvé jusqu'à présent sont des informations obsolètes (elles n'ont pas été mises à jour depuis des années). Y a-t-il un endroit sur le réseau où je peux trouver une liste régulièrement mise à jour contenant l'agent utilisateur de chaque robot de moteur de recherche ainsi que son nom de domaine (pour le DNS inversé)?
Merci
Voici comment vérifier Googlebot: vérification de Googlebot
Cela semble couvrir BING indirectement . n script qui peut vous aider à préciser quand Bing est sur votre site (en PHP).
La question que vous avez référencée indique que le répondeur inscrit en liste blanche les agents utilisateurs eux-mêmes, et non les domaines ou adresses IP associés à des spiders particuliers.
Il semble que ser-agents.org ait une liste exhaustive si vous prévoyez de travailler avec la chaîne user-agent.
Peut-être une meilleure approche que d’essayer d’inscrire la liste blanche de tous les moteurs de recherche est d’opter pour les trois grands (Google, Yahoo, Bing) plus éventuellement Ask (qui sont également connus pour prendre en charge les sitemaps).
La liste blanche de tous semble être une tâche longue, difficile et finalement inutile. Vous pouvez toujours identifier qui frappe à la porte et élargir votre liste en fonction de cela.