web-dev-qa-db-fra.com

Empêcher les sitemaps XML d'apparaître dans les résultats de recherche Google

Comment éviter que mes fichiers de sitemap XML apparaissent dans les résultats de recherche Google, tels que le résultat d'une requête de recherche site::

sitemap in search results

Je ne comprends pas pourquoi Google choisirait de commencer par afficher les fichiers de sitemap dans les résultats de recherche. Ces fichiers ne sont pas destinés à la consommation humaine.

Google doit pouvoir l'explorer pour pouvoir le traiter. Par conséquent, je ne peux pas l'interdire dans robots.txt. Je ne veux tout simplement pas qu'ils l'inscrivent dans les résultats de la recherche après le traitement.

googlesitemapindexinggooglebotxml-sitemap
23
Stephen Ostermiller

Google indexe les sitemaps XML (comme tout fichier XML). Si Google connaît une URL et renvoie une réponse valide, il va passer les règles d'inclusion de Google et pourrait être indexé. Personnellement, je soumets uniquement le plan du site via GWT et inclut une référence Sitemap: dans le fichier robots.txt, ce qui est certainement suffisant pour l'indexer.

La méthode recommandée pour empêcher l'indexation de ces fichiers par Google consiste à inclure un en-tête de réponse HTTP X-Robots-Tag lors de la diffusion du sitemap XML. Par exemple:

X-Robots-Tag: noindex

Tout comme l'ajout d'une balise META de robot dans des fichiers HTML, l'en-tête X-Robots-Tag peut être utilisé pour tout type de fichier.

Référence: Ce document (à partir de novembre 2008!) Semble citer nos propres John Mueller (Google) en ce qui concerne la utilisation de la réponse X-Robots-Tag lors de l'utilisation de sitemaps XML.
Oui, Google indexera et classera votre fichier de sitemap XML

Pour plus d'informations, consultez le guide du développeur de Google:
Spécifications de la balise méta et de l'en-tête HTTP X-Robots-Tag Robots

18
MrWhite

La réponse de Mr White à propos de l'utilisation de X-Robots-Tag semble être la bonne façon de procéder.

Voici le code qui peut être utilisé dans . Htaccess ou Apache fichiers de configuration faire cela. (Référence: WebmasterWorld - Les plans Sitemap dans SERP - Comment éviter cela? )

<Files ~ "sitemap.*\.xml(\.gz)?$">
  Header append X-Robots-Tag "noindex"
</Files>

Sous nginx , la configuration serait la suivante. (Référence: exemples de Yoast X-Robots-Tag )

location ~* sitemap.*\.xml(\.gz)?$ {
    add_header X-Robots-Tag "noindex";
}
8
Stephen Ostermiller

Pourquoi est-ce important?

Si vous pouvez réellement trouver votre sitemap dans SERP, vous avez de plus gros problèmes.

Je me concentrerais plutôt sur la création de pages contenant du contenu utile. De cette façon, vous aurez du mal à trouver votre sitemap. Pas que vous vous en souciez à ce stade de toute façon.

P.S.

Presque tout le monde garde les sitemaps au même endroit. Donc si quelqu'un veut trouver où vous le gardez, il le fera :)

2
dasickle