web-dev-qa-db-fra.com

Googlebot est bloqué de mon domaine

Mon robots.txt est:

User-agent: *
Disallow: /

Sitemap:  http://example.com/sitemap.xml
Sitemap: http://example.com/sitemap.xml.gz

C'est la même chose depuis plus d'une semaine maintenant, mais quand je vais chercher Google, je reçois toujours le même message d'erreur: Googlebot est bloqué de http://www.example.com/.

Selon les outils Google pour les webmasters, l'actualisation d'un fichier robots.txt peut ne prendre que deux jours.

Certaines de mes pages sont en train d'être explorées et je les ai répertoriées, mais pourquoi y en a-t-il toujours niées par le fichier robots.txt? Les paramètres de mon site permettent aux moteurs de recherche d'indexer. Combien de temps faut-il à Googlebot pour voir que j'ai autorisé l'exploration de tout mon site?

googlerobots.txtgooglebot
1
user27707

Votre robots.txt possède ces lignes:

User-agent: *
Disallow: /

Il indique à Googlebot et aux autres robots de recherche de ne pas indexer votre site Web.

Il suffit de mettre ces lignes à la place et d'attendre:

User-agent: *
Allow: /

Ainsi, tous les robots de recherche (Googlebot inclus) indexeront votre site Web.

1
Zistoloen

Je peux confirmer que votre robots.txt et votre HTML n'empêchent pas Google de balayer votre site, alors quel est le problème? En peu de temps.

Google peut indiquer qu'il faut deux jours à Google pour prendre note d'un robots.txt, mais cela ne signifie nullement que toutes ces pages précédemment bloquées seront débloquées et analysées instantanément.

Maintenant que Google peut explorer votre site, quelques visites peuvent être nécessaires pour rassembler les données à indexer dans leur moteur. Cela varie et peut aller d'une à deux semaines, mais parfois, malheureusement, cela prend plus de temps. Il vous suffit de faire preuve de patience. Rien de plus dans Google Outils pour les webmasters ne va accélérer ce processus.

Il est également important de noter que même si Google visite votre site, par exemple sur la page de couverture, il ne doit pas nécessairement capturer toutes les données qu'il souhaite, il faut parfois quelques analyses. Encore une fois, asseyez-vous et prenez de la limonade. ;)

0
Simon Hayter

Votre fichier robots.txt indique à tous les robots (User-agent: *) non (Disallow:) d'explorer toute URL commençant par une barre oblique (/), ce qui serait toutes les URL, bien sûr.

Si vous voulez autoriser tous les robots à explorer toutes vos pages, supprimez la barre oblique:

User-agent: *
Disallow:

Notez que Allow: ne fait pas partie de la spécification spécification originale de robots.txt , cependant, quelques crawlers le reconnaissent. Disallow: et Allow: / seraient équivalents dans ce cas, alors pourquoi ne pas utiliser celui "standard".

0
unor