Comment puis-je bloquer les visiteurs situés aux États-Unis tout en autorisant Googlebot?
En raison de réglementations et de problèmes juridiques, nous ne pouvons pas permettre aux visiteurs basés aux États-Unis d’accéder à notre site Web. Pour cette raison, nous redirigeons tout notre trafic américain vers une page spécialisée.
Bien que nous ayons ces restrictions, nos produits (financiers) sont parfaitement légaux et réglementés dans d’autres pays d’Europe, du Moyen-Orient et d’Asie.
Puisque nous ne voulons pas être considérés comme faisant taire, nous redirigeons tous les droits de propriété intellectuelle, qu’ils soient humains ou non.
Autant que je sache, les plages d'adresses IP de Googlebot proviennent des États-Unis. Ma question est donc de savoir comment autoriser Google à indexer son site Web pour le bénéfice d'utilisateurs non-américains et à éviter la dissimulation (ou post-masquage). Googlebot peut-il accéder à des plages IP autres que les États-Unis? Quel serait le plan d'action préféré?
Googlebot a des adresses IP situées dans d'autres pays. Pour une liste (probablement incomplète), voir le lien suivant et cliquer sur chaque adresse IP indiquée pour voir son pays d'origine:
Bots vs Browsers - Détails sur l'agent utilisateur pour "+ http: //www.googlebot.com/bot.html"
Vous pouvez ajouter ces adresses IP, et d'autres que vous pourriez trouver ailleurs, en tant qu'exclusions à vos règles de blocage d'adresses IP. Toutefois, rien ne garantit que ces adresses IP spécifiques exploreront votre site si vous bloquez celles qui sont basées aux États-Unis.
Par conséquent, pour vous aider, vous devez indiquer un géotarget pour un pays en dehors des États-Unis dans Google Outils pour les webmasters, comme détaillé ici: Géotargeting
L'utilisation d'un domaine de premier niveau de code de pays (ccTLD) peut également vous aider à répertorier votre site dans des versions de recherche Google spécifiques à un pays, telles que google.de (pour l'Allemagne) et, espérons-le, explorées par des serveurs. situé en dehors des États-Unis.
Si vous essayez de bloquer le trafic américain, vous aurez probablement des problèmes avec l'indexation de Google. Googlebot explore principalement des États-Unis.
Google dit
"À l'heure actuelle, Google n'effectue aucune analyse à partir d'adresses IP autres que les États-Unis. À l'heure actuelle, seuls les États-Unis sont analysés."
Source http://www.youtube.com/watch?v=7paVYBgH0Hw
Une solution javascript a été suggérée par Google il y a quelques années:
Une solution potentielle consiste à utiliser un interstitiel basé sur JavaScript qui vérifie l'adresse IP et bloque sinon l'accès à votre site. Je suppose que vous devez utiliser JavaScript sur votre site, n'est-ce pas? Dans ce cas, il n'y aurait pas de moyen simple pour un utilisateur de bloquer sélectivement l'interstitiel JavaScript et d'autoriser le contenu de casino JavaScript. En supposant que le code JavaScript se trouve dans un fichier externe interdit par le biais de votre fichier robots.txt, Googlebot ne pourra pas afficher l'interstitiel et sera en mesure d'analyser le site normalement.
Source http://productforums.google.com/d/msg/webmasters/thqhs2Mrmtw/LdSu7vj8Oi4J