Empêcher les URL se terminant par "/" des index de moteur de recherche avec robots.txt ou une règle de réécriture
Existe-t-il un moyen programmatique de traiter facilement la question des moteurs de recherche en considérant les pages où la page fonctionne avec et sans les doublons de fin de barre oblique, par exemple via une règle robots.txt ou Nginx Rewrite?
Exemples de "doublons de contenu" selon les moteurs de recherche:
https://www.jumpingthruhoops.com/filepath
https://www.jumpingthruhoops.com/filepath/
Peut-être quelque chose comme ceci pour la règle de réécriture, sauf que je ne suis pas sûr de ce qu'il faut utiliser pour savoir où rediriger (d'où le point d'interrogation ci-dessous)
rewrite ^/$ ? permanent;
Nous utilisons Magento 1.13, où certains contenus ont déjà des liens canoniques générés automatiquement. Donc, si les robots ou les règles de réécriture ne fonctionnent pas, je devrai probablement essayer de trouver une extension effectuant cette tâche sur des pages ne disposant pas encore de liens canoniques. Ou si quelqu'un a une meilleure approche, cela m'intéresserait beaucoup.
rewrite ^/$ ? permanent;
Cela correspond uniquement à la racine du document (demande valide) - il ne s'agit pas d'une URL qui se termine par une barre oblique, mais d'une URL qui qui commence par une barre oblique.
Essayez plutôt quelque chose comme ce qui suit, pour faire correspondre toute URL de requête qui se termine par une barre oblique:
rewrite ^(.+)/$ $1 redirect;
$1 est une référence arrière au chemin d'URL d'origine, moins la barre oblique finale.
Définissez l’indicateur redirect sur permanent une fois que vous avez vérifié qu’il fonctionne correctement et que vous évitiez ainsi tout problème de mise en cache.