web-dev-qa-db-fra.com

Pourquoi Disallow: / search est-il dans le fichier robots.txt de Blogger?

Quelqu'un peut-il me dire ce que cela signifie dans le fichier "robots.txt" de Blogger? Dois-je modifier quoi que ce soit? Dois-je retirer /search de la ligne Disallow:?

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://css3wdesign.blogspot.com/sitemap.xml
robots.txtbloggerblogspot
7
arximughal

En plus de la réponse de closetnoc ...

Dois-je retirer /search de la ligne Disallow:?

C'est une bonne idée d'empêcher les bots d'explorer vos résultats de recherche (ce qui, je suppose, est ce à quoi cela fait référence).

Normalement, vous ne voulez pas que vos pages de résultats de recherche apparaissent dans les pages de résultats de recherche de Google! Et Google ne veut pas cela non plus. Google souhaite indexer vos pages réelles et les renvoyer dans les SERP. Permettre aux robots d'analyser les résultats de votre recherche (qui pourraient être infinis) pourrait également utiliser beaucoup de bande passante inutile.

Toutefois, Mediapartners-Google (le robot AdSense de Google) est autorisé à analyser vos/résultats de recherche. Je pense que cela est nécessaire si vous souhaitez diffuser des annonces depuis vos pages de résultats de recherche.

Dois-je modifier quoi que ce soit?

Non, sauf si vous souhaitez/devez empêcher certains robots d'explorer certaines zones de votre site. Notez que certains robots ignorent complètement votre fichier robots.txt de toute façon.

7
MrWhite

Robots.txt est un moyen de dire aux robots (agents de robot) où ils peuvent aller et ne peuvent pas aller. Il est placé à la racine de votre site Web en tant que norme facile à trouver. C'est vraiment aussi simple.

Dans votre exemple:

Agent utilisateur: Mediapartners-Google est not interdit. The Disallow: avec rien de suivi, c'est un autoriser tout (sans restriction).

User-agent: * est une directive qui s’applique à tous les robots pour interdire l’accès à l’URI/recherche (example.com/search) et autoriser l’accès au site.

Plan du site: indique aux bots que vous avez un plan du site disponible. Un sitemap est un fichier au format XML (langage de balisage de données normalisé) qui répertorie les pages de votre site. C'est pratique pour les moteurs de recherche pour connaître les pages de vos sites. Les sitemaps ne sont pas toujours nécessaires. Toutefois, si certaines pages ne sont pas facilement accessibles à un moteur de recherche, le sitemap facilite la recherche de notre page par le moteur de recherche.

3
closetnoc

Robots.txt est un fichier que d'autres sites Web, fournisseurs de services Internet et moteurs de recherche utilisent pour vous "demander" quel type de site vous souhaitez visiter. Il vous permet de mettre en liste blanche ou de mettre en liste noire tous les robots ou des robots spécifiques de zones de votre royaume. C'est comme un traité. C'est une promesse. Les bonnes choses tiennent la promesse, les mauvaises ne le font pas.

En ce qui concerne la recherche: Je conviens que par le passé, il n'était pas recommandé de laisser les robots lancer une recherche. De nos jours, autoriser Google à lancer une recherche peut bien fonctionner; au moins dans certaines niches; et vous n'avez même pas besoin de mettre en cache la recherche.

Le fichier robots.txt varie selon les plates-formes, mais nous laissons toujours la recherche interdite (les robots AKA sont autorisés à rechercher, mais il est prêt à être supprimé si nécessaire). Il y a quelques raisons:

  • Remplit dans le référencement - parfois, vous verrez apparaître des résultats de recherche pour les niches de catégorie que vous avez manquées.
  • Remplit dans LSI - vous aide à créer des matières organiques à partir de matières organiques, de manière automagique
  • Peut aider RDF - ceci est Edge mais permettre à G de rechercher risque d'exposer les extraits enrichis plus rapidement
  • Donne autorité - Voir une page de recherche SERP résultat dominant organique? Transformez-le en atterrisseur pour gagner des relations publiques
  • Aide G à comprendre - entre la recherche par onglets dans la barre d’adresse, l’apprentissage de la recherche analytique et les outils de webmaster interrogeant les paramètres de chaîne, G comprendra et aidera.

Recherchez les zones dans G analytics, les outils pour webmasters G et les autres zones G pour configurer la recherche maintenant et dans le futur.

2
dhaupin