AWS S3 facturant 4 TB de stockage lorsque vous utilisez uniquement moins de 1 Go
J'ai du mal à comprendre ma grosse facture S3 et je me suis dit que je demanderais ici avant de déposer 30 $ sur le support mensuel AWS.
Fondamentalement, j'ai une instance Amazon EC2 qui crée une API pour différents échanges de crypto-monnaie et enregistre les réponses sur l'instance HD. Les appels sont effectués toutes les 5 minutes environ, les objets de réponse font environ 100 Ko, sont lus par un script R et ajoutés à un FICHIER CSV toutes les ~ 8 minutes. Ce fichier CSV est synchronisé avec un compartiment Amazon S toutes les 15 minutes environ.
Les fichiers CSV font généralement 10 Mo environ, pour environ 15 crypto-monnaies, toutes les 15 minutes. Donc, dans le compartiment Amazon S3, il pourrait y avoir au plus 0,5 Go d'espace utilisé.
Cependant, le "TimedStorage-ByteHours" se lit à environ 4 To!
Amazon Simple Storage Service TimedStorage-ByteHrs 89,55 $
0,000 $ par Go - stockage sous le niveau mondial gratuit mensuel 5 Go - Mo 0,00 $
0,023 $ par Go - 50 premiers TB/mois de stockage utilisé 3 893,399 Go - Mo 89,55 $
Des idées?
Vous avez probablement la version S3 activée - cela signifie que les anciens objets lorsqu'ils sont remplacés par une version plus récente ne sont pas supprimés mais sont plutôt cachés dans un historique . Pour vérifier, allez dans Bucket -> Properties -> Versioning.
Vous pouvez également afficher les anciennes versions dans le navigateur, comme sur cette capture d'écran, j'ai plusieurs versions du 108c05...json fichier:
Si vous avez activé le contrôle de version mais que vous ne le souhaitez pas, vous pouvez suspendre le contrôle de version mais sachez qu'il ne supprimera pas les anciennes versions, vous ' Je devrai soit:
- utilisez AWS-CLI et certains scripts (commencez par
aws s3api list-object-versions) - configurez Politique de cycle de vie du compartiment pour expirer les anciennes versions. Cela se fait via S3 -> bucket -> Management -> Lifecycle -> Add lifecycle rule puis sur l'écran Expiration remplissez ces détails:
J'espère que cela pourra aider :)
Le stockage à accès peu fréquent a des frais minimum de 30 jours par article
- Accédez à https://s3.console.aws.Amazon.com et obtenez la liste des fichiers pour l'un de vos compartiments.
- Notez que chaque fichier du compartiment a une classe de stockage. Le choix de la classe de stockage est sous votre contrôle et affecte les coûts.
Standard est le plus cher, donc certaines personnes utilisent infrequent access qui a un tarif mensuel inférieur (~ 50% de réduction) par Go stocké selon le tableau des prix. MAIS, Infrequent a également des frais de récupération de 0,01 $/Go, ce qui permet d'économiser uniquement sur le coût total des fichiers stockés au moins un mois et récupérés moins d'une fois par mois. En outre, il peut y avoir une stratégie de cycle de vie sur votre compartiment qui modifie la classe de stockage des fichiers au fil du temps, ce qui peut affecter le début de la période de stockage minimale de 30 jours.
En petits caractères, infrequent access a un minimum de 30 jours pour chaque article stocké.
Source: https://aws.Amazon.com/s3/pricing/
Première note de bas de page, marquée †
† Le stockage S3 standard et peu fréquent et le stockage S3 One Zone non fréquenté ont une taille d'objet facturable minimale de 128 Ko. Les petits objets peuvent être stockés mais seront facturés pour 128 Ko de stockage. L'accès S3 standard-peu fréquent et le stockage S3 One Zone-peu fréquent sont facturés pour une durée de stockage minimale de 30 jours. Les objets supprimés, remplacés ou transférés vers une classe de stockage différente avant 30 jours entraîneront des frais d'utilisation normaux plus des frais de demande au prorata pour le reste du minimum de 30 jours. Les objets stockés 30 jours ou plus n'entraîneront pas de frais de demande minimum de 30 jours
Ce qui coûte cher sur Amazon S3 et Google Cloud Storage, ce sont les frais de réseau si les données sont envoyées sur Internet public au lieu d'être conservées dans le cloud de cette entreprise. Les frais de réseau pour la récupération une seule fois peuvent facilement dépasser les frais de stockage pendant 3-4 mois. ,09 $/Go (oct.2018) pour AWS S , ,12 $/Go pour Google Cloud Storage , niveau d'utilisation le plus bas.
Digital Ocean dispose d'une couche de stockage compatible S3 appelée "Espaces" qui pourrait être utile de vérifier. Certains bogues ont été signalés, et il pourrait être limité d'une certaine manière, mais le prix global semble intéressant et il pourrait être "assez bon" pour certaines utilisations.