web-dev-qa-db-fra.com

Les publications privées sont-elles visibles pour les moteurs de recherche?

Je souhaite afficher une liste de messages (offres) sur la page d'accueil (et avoir un lien vers le site du fournisseur d'origine), mais je ne souhaite pas que les messages individuels soient accessibles à qui que ce soit, même aux moteurs de recherche. Est-ce possible? Peut-on faire de tels postes comme travail privé?

postsprivatesearch-engines
1
a_fan

Les moteurs de recherche DEVRAIENT respecter le fichier standard de robots.txt que vous pouvez utiliser pour bloquer l'accès à un type de publication. Tels que bloquer l'accès à quoi que ce soit sous example.com/deals.

Vous pouvez également aller au-delà et vérifier le $_SERVER['HTTP_USER_AGENT'] pour les robots. Quelque chose comme:

$bot_list = array("Teoma", "Alexa", "froogle", "Gigabot", "inktomi",
"looksmart", "URL_Spider_SQL", "Firefly", "NationalDirectory",
"Ask Jeeves", "TECNOSEEK", "InfoSeek", "WebFindBot", "girafabot",
"crawler", "www.galaxy.com", "Googlebot", "Scooter", "Slurp",
"msnbot", "appie", "FAST", "WebBug", "Spade", "ZyBorg", "rabaz",
"Baiduspider", "Feedfetcher-Google", "TechnoratiSnoop", "Rankivabot",
"Mediapartners-Google", "Sogou web spider", "WebAlta Crawler"); 

if (in_array($_SERVER['HTTP_USER_AGENT'], $bot_list )) {
    wp_die("You are a robot, I don't like you so go away!";
}

La liste de robots ci-dessus provient de ce bon tutoriel sur la détection de bot

Maintenant, si vous utilisez la publication privée si l'utilisateur y accède, il obtiendra une erreur 404. Ceci est également vrai pour les bots, ils verront aussi un 404. Maintenant, si l'index du bot est le 404 qui dépend du bot (la plupart n'en ont pas)

Cependant, si vous ne faites que relier des offres à d'autres auteurs, pourquoi utilisez-vous même un message si le message n'est pas accessible? Cela peut être une meilleure utilisation des liens et des catégories de liens.

1
Brooke.