web-dev-qa-db-fra.com

L'archivage de téléchargement d'AWS S3 Glacier prend beaucoup de temps pour terminer l'exécution - comment vérifier l'état ou accélérer le téléchargement?

J'essaye de télécharger des .tar.gz fichiers vers AWS S3 Glacier à l'aide de upload-archive commande ( docs ).

J'ai couru le upload-archive commande il y a plus d'un jour sur un 29 Go .tar.gz fichier comme ceci:

aws glacier upload-archive --vault-name my-vault --account-id - --archive-description "my description" --body my-file.tar.gz

J'ai vérifié aujourd'hui et j'ai trouvé qu'il n'avait pas encore terminé son exécution.

Ma question est en deux parties:

  • Existe-t-il un moyen de voir que la commande est toujours en cours d'exécution?
    • Une barre de progression serait géniale
  • Existe-t-il des moyens (ou d'autres méthodes) pour accélérer le upload-archive?

FYI, j'utilise aws-cli==2.0.17. Merci d'avance pour toute aide!

** Modifier **

Après avoir fonctionné pendant deux jours, le upload-archive commande erronée avec le message ci-dessous:

An error occurred (InvalidParameterValueException) when calling the UploadArchive operation: Invalid Content-Length: 30957118

Ce qui conduit à aws-cli #3413 . Les messages y sont en accord avec toutes les réponses ci-dessous.

amazon-web-servicesamazon-s3aws-clitaramazon-glacier
8
Intrastellar Explorer

Si vous n'avez pas besoin d'utiliser Amazon S3 Glacier des fonctionnalités spéciales telles que les verrous de coffre-fort et les stratégies de coffre-fort, vous pouvez envisager d'utiliser Amazon S3 avec la classe de stockage de glacier .

La classe stocke tous vos objets dans Amazon S3 Glacier, mais fournit une interface simple et familière de S3. Quelques avantages par rapport à l'utilisation directe d'Amazon S3 Glacier:

  • les noms de fichiers sont conservés dans S3. Dans Glacier, vos noms de fichiers sont brouillés,
  • téléchargement facile en plusieurs parties en utilisant aws s3 cli,
  • récupération facile vers les objets archivés
  • s3 objet cycles de vie qui peuvent automatiquement faire la transition de vos objets vers le stockage du glacier S3, ou du glacier vers l'archive profonde.
1
Marcin

Comme Adi Dembak l'a suggéré, j'utiliserais plutôt un téléchargement en plusieurs parties. En adoptant cette approche, vous pourrez utiliser l'API ProgessListener pour suivre sa progression. Voir le lien suivant pour plus de détails. https://docs.amazonaws.cn/en_us/AmazonS3/latest/dev/HLTrackProgressMPUJava.html

1
Tony