web-dev-qa-db-fra.com

Le moyen le plus rapide d'obtenir la taille du compartiment de stockage Google?

Je suis en train de le faire, mais c'est TRÈS lent car j'ai plusieurs téraoctets de données dans le compartiment:

gsutil du -sh gs://my-bucket-1/

Et la même chose pour un sous-dossier:

gsutil du -sh gs://my-bucket-1/folder

Est-il possible d'obtenir d'une manière ou d'une autre la taille totale d'un compartiment complet (ou d'un sous-dossier) ailleurs ou d'une autre manière beaucoup plus rapide?

25
fredrik

Malheureusement non. Si vous avez besoin de savoir quelle est la taille du godet à l’heure actuelle, il n’ya pas de moyen plus rapide que ce que vous faites.

Si vous devez vérifier cela régulièrement, vous pouvez activer la journalisation de compartiment. Google Cloud Storage générera un journal de stockage quotidien que vous pourrez utiliser pour vérifier la taille du compartiment. Si cela peut vous être utile, vous pouvez en savoir plus à ce sujet ici: https://cloud.google.com/storage/docs/accesslogs#delivery

12
Brandon Yarbrough

Si le journal de stockage quotidien que vous obtenez en activant la journalisation de compartiment (selon la suggestion de Brandon) ne vous convient pas, vous pouvez accélérer le processus en partageant la requête. Par exemple, vous pourriez faire quelque chose comme:

gsutil du -s gs://my-bucket-1/a* > a.size &
gsutil du -s gs://my-bucket-1/b* > b.size &
...
gsutil du -s gs://my-bucket-1/z* > z.size &
wait
awk '{sum+=$1} END {print sum}' *.size

(en supposant que vos sous-dossiers sont nommés en commençant par les lettres de l’alphabet anglais; sinon, vous devrez ajuster la manière dont vous avez exécuté les commandes ci-dessus).

7
Mike Schwartz

La visibilité de google storage ici est plutôt merdique

Le moyen le plus rapide consiste à extraire les métriques du pilote d’empilement et à regarder la taille totale en octets:  enter image description here

Malheureusement, il n'y a pratiquement aucun filtrage que vous puissiez effectuer dans stackdriver. Vous ne pouvez pas utiliser de caractère générique le nom du compartiment et les étiquettes de ressources du compartiment presque inutiles ne sont PAS cumulables dans les métriques de pilote de pile.

De plus, il s’agit du niveau de compartiment uniquement - pas de préfixes

1
red888

J'ai constaté que l'utilisation de l'interface de ligne de commande entraînait souvent un dépassement de délai. Mais que ce soit comme je passais en revue un stockage coldline.

Pour une solution graphique. Regardez Cloudberry Explorer

Affichage graphique du stockage

0
needcaffeine