Comment empêcher les pages d'être indexées dans Google Search à l'aide de robots.txt?
Dans mon robots.txt, j'ai refusé certaines des pages de remerciement de mon site que je ne voulais pas indexer par Google ni figurer dans les résultats de recherche Google. Mais ces pages sont récemment devenues consultables sur Google. Que dois-je faire pour les supprimer?
Le fichier robots.txt ne peut et ne doit pas être utilisé pour interdire l'indexation par un moteur de recherche. Cela empêche uniquement les pages d'être explorées et non indexées.
Pour empêcher les pages d'être indexées, vous pouvez soit les servir avec cette balise méta HTML dans l'en-tête:
<meta name="robots" content="noindex">
Ou avec cet en-tête HTTP:
X-Robots-Tag: noindex
Une fois que vous aurez diffusé la directive noindex, les pages disparaîtront de la recherche Google au fil du temps. Si vous devez les supprimer de toute urgence, soumettez-les à l'aide de l'outil outil de suppression du contenu obsolète Google . Cela ne fonctionnera que si les pages servent la directive noindex ou ont complètement disparu.