Est-ce que tout mon site est bloqué par cette interdiction: /
Ceci est une vue de mon fichier robots.txt cette requête a-t-elle bloqué uniquement le moteur de recherche Baiduspider ou tous les moteurs de recherche permettant de consulter mon site?.
User-agent: Baiduspider
Disallow: /
User-agent: *
Disallow: /templates_c/
Si vous utilisez disallow:/ avec user-agent: *, seul le site entier est bloqué avec robots.txt .
Sinon, seul l'agent utilisateur sera bloqué avec vos sites.
Blocage des agents utilisateurs:
La ligne Disallow répertorie les pages que vous souhaitez bloquer. Vous pouvez répertorier une URL spécifique ou un modèle. L'entrée doit commencer par une barre oblique (/).
To block the entire site, use a forward slash.
Disallow: /
To block a directory and everything in it, follow the directory name with a forward slash.
Disallow: /junk-directory/
To block a page, list the page.
Disallow: /private_file.html
To remove a specific image from Google Images, add the following:
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg
To remove all images on your site from Google Images:
User-agent: Googlebot-Image
Disallow: /
To block files of a specific file type (for example, .gif), use the following:
User-agent: Googlebot
Disallow: /*.gif$
To prevent pages on your site from being crawled, while still displaying AdSense ads on those pages, disallow all bots other than Mediapartners-Google. This keeps the pages from appearing in search results, but allows the Mediapartners-Google robot to analyze the pages to determine the ads to show. The Mediapartners-Google robot doesn't share pages with the other Google user-agents. For example:
User-agent: *
Disallow: /
User-agent: Mediapartners-Google
Allow: /
Pour plus de détails, voir this , et user-agents for Google here .
Le Baiduspider bot n'est pas autorisé à analyser quoi que ce soit sur votre hôte.
Tous les autres robots ne sont pas autorisés à explorer les URL dont le chemin commence par /templates_c/. Ils peuvent explorer toutes les autres URL de votre hôte.