web-dev-qa-db-fra.com

Comment analyser les fichiers journaux Amazon S3?

Quelles sont les meilleures options pour analyser les fichiers journaux Amazon S3 (Simple Storage)? J'ai activé la journalisation et j'ai maintenant des fichiers journaux qui ressemblent à ceci:

858e709ba90996df37d6f5152650086acb6db14a67d9aaae7a0f3620fdefb88f files.example.com [08/Jul/2010:10:31:42 +0000] 68.114.21.105 65a011a29cdf8ec533ec3d1ccaae921c 13880FBC9839395C REST.GET.OBJECT example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg "GET /example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg HTTP/1.1" 200 - 32957 32957 12 10 "http://atlanta.craigslist.org/forums/?act=Q&ID=163218891" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.19) Gecko/2010031422 Firefox/3.0.19" -

Quelles sont les meilleures options pour automatiser les fichiers journaux? Je n'utilise aucun autre service Amazon que S3.

2
artlung

Amazon recommande d'utiliser AWStats et includes instructions sur la configuration d'un fichier de configuration AWStats . Vous devrez également configurer une méthode pour automatiser le téléchargement des journaux à l'emplacement de votre installation AWStats.

Personnellement, j'utilise cron pour lancer un script Python qui utilise boto pour récupérer les fichiers.

"""s3logDL.py

Downloads S3 logs and deletes old logs

Usage: python s3logDL.py"""

import sys
import os
from boto.s3 import Connection
import boto.s3

########################


########################

def main(argv):
    s3 = Connection('ACCESS_ID', 'PASSWORD')
    logsBucket = s3.get_bucket('logbucket')

    for b in logsBucket:
        #Download log
        print b.name
        key = logsBucket.get_key(b.name)
        fp = open("/PATH/TO/SAVE/POINT/" + b.name, "w")
        key.get_file(fp)

        #Delete log
        key.delete()

    exit(0)


########################

if __== '__main__':
    main(sys.argv)
2
Chealion

Nous sommes sur le point de lancer Qloudstat qui vous donnera des analyses pour votre compte S3 en tant que service.

1
David Kocher