web-dev-qa-db-fra.com

Comment des sites importants tels que StackOverflow traitent-ils leurs journaux d'accès?

Je me demande comment des sites tels que StackOverflow gèrent leurs journaux d'accès. Une écriture sur le disque à chaque demande semble un peu peu économique, mais Google Analytics est-il fiable pour l'utiliser comme seule source d'informations?

google-analyticsanalyticstrafficloggingapache-log-files
8
KitKat

Les journaux de serveur Web contiennent de nombreuses informations qui ne seront jamais disponibles pour Google Analytics. Deux choses auxquelles je peux penser:

  • Des erreurs comme 404, etc.
  • Accès aux fichiers multimédias, tels que les images, etc. (y compris les sites Web externes contenant des liens vers vos images)
  • Adresses IP, bien qu'une réponse à une autre question indique qu'elle peut être définie en tant que variable utilisateur
  • URL de référence complètes, par exemple Google envoie des liens à partir d'une recherche de produit, d'une recherche sur le Web, etc. Chaque recherche comporte des mots clés, mais Google Analytics n'affiche pas les autres variables telles que &source=products, etc.

Ça doit être plus de choses auxquelles je ne peux pas penser maintenant.

Et il y a aussi les journaux d'erreurs; doit être important pour qu'un site Web fonctionne correctement, à mon avis. Pas quelque chose que vous voudriez ignorer.

2
Evgeny

Sur un système * nix, vous pouvez utiliser syslog-ng pour stocker les messages de journalisation sur un serveur de journalisation dédié à votre (vos) cluster (s) à équilibrage de charge, puis utiliser une solution d'analyse de journal telle que Splunk pour garder un œil sur les choses - quant à ce que les sites StackExchange exécutent réellement, peut être une bonne question pour StackOverflow Meta .

2
danlefree

Je ne regarde pas vraiment ces journaux et je les efface tous les mois. Je ne les regarde que pour résoudre les problèmes. En ce qui concerne les applications de surveillance, Google Analytics, CrazyEgg et d’autres font un excellent travail.

Avant de tels services existaient ces journaux étaient très précieux. Ce sont de bons outils de développement, mais je ne connais aucun de mes collègues ou amis qui archive activement ces journaux ou les analyse pour en extraire des données.

0
Frank