Robots.txt et sitemaps
Si je bloque une page Web, disons 404Error.aspx, dans robots, txt (je ne vois aucune raison pour que cette page soit indexée par Google). Cependant, est-ce que j'inclus toujours cette page dans le sitemap XML ou pas?
Modifier:
Si je voulais que ma page soit indexée (Google suit les liens qui s'y trouvent), mais ne s'affiche pas dans les résultats de recherche, dois-je supprimer le fichier robots.txt et utiliser la balise méta des robots avec "noindex"?
Si je voulais que ma page soit indexée (Google suit les liens qui s'y trouvent), mais ne s'affiche pas dans les résultats de recherche, dois-je supprimer le fichier robots.txt et utiliser la balise méta des robots avec "noindex"?
Oui.
Si vous souhaitez arrêter Google et les autres moteurs de recherche pour qu'ils aient cette page dans leur index, je ne vois aucune raison d'avoir également le lien dans le plan du site. Vous ne devriez avoir le lien que dans votre fichier robots.txt