Robots.txt vs Noindex Tags
Selon Matt Cutts, même si nous bloquons la page avec Robots.txt, il vaut mieux utiliser la balise noindex. (Source: https://www.youtube.com/watch?v=KBdEwpRQRD )
S'il est bloqué par Robots.txt, comment le bot Google peut-il savoir s'il contient ou non une balise noindex? Parce que comme je le sais s'il est bloqué par Robots.txt, Google ne lira rien dans ce message.
Bonne prise! Si vous bloquez une page avec le fichier robots.txt, les robots d'exploration ne pourront pas lire la balise méta noindex. Dans ces cas, vous devez envoyer l'en-tête HTTP de x-robots-tag via le code côté serveur ou .htaccess.
.htaccess exemple:
X-Robots-Tag: noindex
Exemple de code PHP:
en-tête ('X-Robots-Tag: noindex');