Confus par Fetch en tant que comportement Googlebot
J'essaie d'indexer un site et je suis un peu confus par ce que je devrais m'attendre à voir dans le résultat de l'outil Fetch as Googlebot. Le site utilise des hashbangs. Selon Google, il devrait être explorable en remplaçant hashbangs par ?_escaped_fragment_. Cependant, les résultats de l'extraction n'indiquent pas le contenu réel. Est-ce normal?
En fait, j'ai trouvé la réponse et il s'avère que _Fetch as Googlebot_ fonctionne comme il se doit. Mon problème était que chaque fois que je détectais une URL __escaped_fragment__, je redirigais vers un contenu statique. Le fait est que l’outil ne comprend pas les redirections (peut-être avec une bonne raison). Quand j'ai résolu le problème, Ajax crawling fonctionnait à merveille.
Je ne pense pas que l'outil "fetch as Googlebot" utilise réellement les mêmes programmes que ceux qui utilisent son moteur de recherche. Il est plus probable qu'une extraction de page Web standard utilise leur chaîne d'agent d'utilisateur.
Donc, tout ce qu'il va faire, c'est récupérer la page au fur et à mesure que vous la fournissez. Si vous rencontrez des problèmes d’indexation, assurez-vous d’avoir des liens authentiques vers vos URL hashbang. Si le site entier, y compris la page d'accueil, est en Javascript, vous risquez d'avoir des problèmes.