web-dev-qa-db-fra.com

Empêcher les sous-domaines de l'indexation Google

J'ai cPanel Hosting avec seulement 1 IP. Je suis en train de diriger tous mes TLDS vers ce serveur.

J'ai créé 'Addon Domains' et tous les dossiers à partir desquels il se trouve se trouvent dans les sous-répertoires 'domain1.com', 'domain2.com' de mon site Web racine '/ home/user/public_html/client /', mais ils peuvent l'être. accessible depuis 'domain1.maindomain.com'. Ce qui m'inquiète, c'est si Google indexe ces sous-domaines.

Que puis-je faire pour empêcher cela, une règle de réécriture comme celle-ci serait-elle suffisante?

 RewriteEngine on RewriteCond 
% {HTTP_Host}! ^ Www www .domainpointtosubfolder\.com $ [NC] RewriteRule 
 ^ (. *) $ Http: //www.domainpointtosubfolder. com/$ 1 [L, R = 301] 

Ou y a-t-il un meilleur moyen?

2
tom

Si vous n'utilisez pas cPanel, la bonne façon de le faire est de mettre chaque domaine dans son propre répertoire. Apache n'est pas vraiment conçu pour gérer les domaines qui se chevauchent de la manière dont cPanel configure les choses. Cela semble être une limitation de cPanel.

Une technique qui devrait fonctionner consiste à traiter tous de vos domaines comme "ajouter des domaines". Définissez votre nom de domaine principal dans cPanel sur un sous-domaine ne comportant pas d'entrée DNS. Quelque chose comme allmysites.example.com. Dans ce cas, Google ne peut pas réellement explorer le répertoire principal. Votre structure de répertoire ressemblerait alors à:

  • allmysites (sert allmysites.example.com qui n'est pas accessible via DNS)
    • site1 (sert site1.example.com)
    • site2 (sert site2.example.com)
    • site3 (sert site3.example.com)
1
Stephen Ostermiller

Google, comme tous les robots d’exploration du Web, respecte la norme d’exclusion des robots (robots.txt). S'il y a vraiment une limitation à ne pas utiliser des dossiers séparés pour chaque domaine et que vous ne voulez pas traiter tous les domaines comme cPanel "Ajouter aux domaines", vous pouvez empêcher l'indexation de ces dossiers (mais pas l'accès aux dossiers) en ajoutant /home/user/public_html/client/robots.txt:

User-agent: *
Disallow: /site1-directory/
Disallow: /site2-directory/

Comme les domaines supplémentaires ont des racines différentes, ce robots.txt n'affectera que le site principal.

0
Esa Jokinen