web-dev-qa-db-fra.com

Comment interdire une page spécifique de robots.txt

Je crée deux pages sur mon site qui sont très similaires mais servent à des fins différentes. L'une consiste à remercier les utilisateurs d'avoir laissé un commentaire et l'autre à encourager les utilisateurs à s'abonner.

Je ne veux pas le contenu en double mais je veux que les pages soient disponibles. Puis-je définir le plan du site pour en masquer un? Le ferais-je dans le fichier robots.txt?

Le refus ressemble à ceci:

Interdire:/wp-admin

Comment pourrais-je personnaliser une page spécifique comme:

http://sweatingthebigstuff.com/thank-you-for-commenting

robots.txt
24
Daniel
Disallow: /thank-you-for-commenting

dans robots.txt

Jetez un œil à fichier last.fm robots.txt pour vous inspirer.

44
AlexanderMP

les fichiers robots.txt utilisent des expressions régulières pour faire correspondre les pages, afin d'éviter de cibler plus de pages que vous n'en avez l'intention, vous devrez peut-être ajouter un $ à la fin du nom de la page:

Disallow: /thank-you-for-commenting$

Si vous ne le faites pas, vous interdirez également la page/merci de commenter sur ceci aussi

5
Highly Irregular

Vous pouvez également ajouter une page spécifique avec une extension dans le fichier robots.txt. En cas de test, vous pouvez spécifier le chemin de la page de test pour empêcher les robots d'explorer.

Pour des exemples:

 Disallow: /index_test.php
 Disallow: /products/test_product.html
 Disallow: /products/

Le premier Disallow: /index_test.php interdira aux robots d'explorer la page de test dans le dossier racine.

Seconde Disallow: /products/test_product.html interdira test_product.html dans le dossier "produits".

Enfin le dernier exemple Disallow: /products/ empêchera l'exploration de tout le dossier.

3
Nikz

C'est très simple, n'importe quelle page que vous souhaitez interdire, donnez simplement l'URL racine de ce fichier ou dossier. Mettez-le simplement dans votre fichier robots.txt.

Disallow: /thank-you-for-commenting
1
Waqas Ahmad