Prévention de l'apparition de certains annuaires / pages dans les résultats de recherche Google
J'ai ma page d'accueil personnelle et je souhaite que la page principale elle-même apparaisse dans les résultats de recherche. Mais je ne veux pas qu'un certain répertoire et ses sous-répertoires apparaissent dans les résultats de recherche Google. Comment puis-je faire cela?
Vous pouvez utiliser plusieurs mécanismes pour cela.
Le premier est le fichier robots.txt . Il s'agit d'un protocole volontairement suivi de "bons" moteurs de recherche par Google, qui vous permet de répertorier des sections de votre site qu'ils ne suivront pas.
Agent utilisateur: *
Interdit:/mon dossier /
Le prochain est les balises méta. Des métadonnées peuvent être associées aux pages individuelles, qui indiquent aux robots de ne pas les indexer ni les afficher. Google a un Belle description de la mise en œuvre .
<meta name="robots" content="noindex,nofollow">
Le mécanisme final, si les pages ont déjà été indexées, consiste à utiliser le mécanisme de suppression du moteur de recherche, s'il en existe un. J'ai lié à la documentation des mécanismes de suppression de Google, Bing et Yahoo ici:
interdire aux robots de recherche d'entrer dans ces emplacements:
http://www.robotstxt.org/robotstxt.html
google décrit la procédure plutôt bien , exemple donné:
User-agent: *
Disallow: /folder1/
Cela interdit à tous les robots d'indexer le contenu de "/ folder1 /"
Utilisez un fichier robots.txt dans votre dossier principal et réglez-le sur:
User-agent: *
Allow: /
Dans le dossier auquel vous ne voulez pas que quelqu'un accède, mettez un fichier robots.txt avec ce corps:
User-agent: *
Disallow: /
Checkout http://www.robotstxt.org/ pour plus d'informations sur les fichiers robot.txt.