Dans Robots.txt, comment puis-je interdire toutes les pages à l'exception de la page d'index?
Je souhaite que Google indexe ma page d'indexation, mais n'indexe aucune autre page.
User-agent: *
Disallow: /
Jusqu'ici j'ai ceci. Cependant ... lorsque je le fais, Google n'indexe pas ma page d'index. Lorsque je recherche mon nom dans Google, tout ce qui est affiché est "www.mondomaine.com" en tant que premier résultat sans description.
Au lieu de cela, je souhaite que Google indexe également ma page d'index principale, AVEC la balise méta-description.
Pour Google, en particulier, les règles suivantes feront l'affaire:
User-Agent: *
Allow: /$
Disallow: /
Pour plus d'informations, voir Documentation de Google sur la syntaxe robots.txt prise en charge . Toutefois, notez que la ligne médiane est non standard pour deux raisons: premièrement, il s’agit d’une directive Allow (le standard de base de robots.txt ne supporte que Disallow) et deuxièmement, il utilise l'ancre non standard de fin d'URL $. Cela dit, plusieurs autres moteurs de recherche majeurs, y compris Bing , supportent plus ou moins la même syntaxe.
Google et d'autres moteurs de recherche prennent en charge l'instruction Allow: en plus de Disallow:... bien qu'ils puissent se comporter différemment sur différents moteurs de recherche et ne puissent pas être pris en charge ou appliqués par d'autres types de grattoirs de site.
Documentation ici
Pourquoi voudriez-vous interdire vos pages à Google?
Quoi qu'il en soit, vous pouvez le faire:
Disallow: /
Allow: /index.html
J'utilise comme ça:
User-agent: Yandex
Allow: /index.html
Disallow: /
User-agent: Googlebot
Allow: /index.html
Disallow: /