robots.txt pour un site Web basé sur CodeIgniter?
Je travaille sur un site php qui utilise la structure Code Igniter et possède la structure de dossiers suivante sur le serveur.
public_html
- application
- publique
- sql
- style
- système
- conception
- images
- js
- brancher
.htaccess
robots.txt
sitemap.xml
index.php
La liste à puces des éléments sont des sous-dossiers sous public_html.
Le dossier application contient le code composé de vues et de contrôleurs.
Ma question est,
googlebot devrait-il pouvoir analyser des dossiers autres que application?
OR
devrais-je interdire tous les dossiers autres que application afin qu'aucun moteur de moteur de recherche ne puisse analyser d'autres dossiers?
Votre dossier d'images peut être utile si vous souhaitez que les images apparaissent dans la recherche d'images Google.
Tout le reste devrait probablement être interdit.
Aucune araignée de moteur de recherche ne saurait même connaître le dossier de l'application et ne pourrait donc pas l'explorer de toute façon. Ils ne verraient que les URL que vous fournissez à partir de la page d'accueil.
En réalité, le IIRC que les fournitures de CI de fichier .htaccess ne devrait autoriser que l'accès à des dossiers spécifiques tels que images, de sorte que le dossier de l'application ne soit jamais accessible. Vous n'avez donc pas besoin de bloquer quoi que ce soit dans le fichier robots.txt.