web-dev-qa-db-fra.com

Empêcher l'exploration du site mobile

J'ai un problème avec les robots qui explorent le site mobile et renvoient des hits sur le site mobile pour les utilisateurs de bureau.

Le contenu mobile se trouve dans/mobile/Le site habituel redirige les utilisateurs mobiles vers le site/mobile /. Les navigateurs de bureau ordinaires sont autorisés dans le site/mobile/et verront la version mobile (utilisée pour tester facilement le contenu mobile à partir du bureau).

Quelqu'un peut-il aider avec un fichier robots.txt sain pour ce site qui fonctionnerait avec Google et Bing. Je veux que les deux robots d'exploration indexent le site de trou, mais seul le robot mobile devrait indexer le site mobile.

J'ai trouvé user-agent: GoogleBot-Mobile pour Google, mais y a-t-il quelque chose qui ressemble à BingBot-Mobile ou est-il analysé uniquement avec bingbot? Aussi, msnbot est-il parti?

Est-ce correct?

User-agent: *
Allow: /

User-agent: Googlebot,bingbot
Disallow: /mobile/
Allow: /

User-agent: Googlebot-Mobile,bingbot-mobile
Disallow: /
Allow: /mobile/

J'imagine qu'il serait préférable que les utilisateurs d'ordinateurs de bureau soient redirigés du contenu/mobile/site vers le contenu normal, mais cela sort du cadre de la question.

Merci de votre aide!

robots.txtbinggooglebot
2
grm

Je pense que vous devriez gérer ce problème différemment. Vous voulez que Google comprenne bien qu'il s'agit d'une version de page alternative destinée à différentes tailles d'écran. Il s'assurera qu'un utilisateur de bureau sera dirigé au bon endroit (ainsi que les utilisateurs mobiles).

Je recommanderais ce qui suit:

Dans tout/mobile/pages, utilisez:

  <link rel="canonical" href="/non-mobile-url"/>

Et dans l'URL non mobile mettez ceci

  <link rel="alternate" media="only screen and (max-width: 640px)" href="/mobile/..." />
2
Noam

Chaque bot nécessite sa propre ligne.

Votre fichier robots.txt devrait ressembler à ceci

User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /mobile/
Allow: /

User-agent: bingbot
Disallow: /mobile/
Allow: /

User-agent: Googlebot-Mobile
Disallow: /
Allow: /mobile/

User-agent: bingbot-mobile
Disallow: /
Allow: /mobile/

De plus, il vaut toujours mieux utiliser Noindex et Robots.txt

Vous devriez envisager d'utiliser à la fois des robots et noindex ... Utilisez simplement les métas suivants.

Sur le site mobile et pas le site normal

<meta name="Googlebot" content="nofollow, follow">
<meta name="bingbot" content="noindex, follow">

Sur toutes les pages normales et non sur l'utilisation du site mobile:

<meta name="Googlebot-Mobile" content="nofollow, follow">
<meta name="bingbot-mobile" content="noindex, follow">
2
Simon Hayter