Une erreur s'est produite lors de la finalisation de l'itérateur GeneratorDataset: Annulé: l'opération a été annulée
Lors de l'exécution du pipeline kubeflow ayant un code qui utilise tensorflow 2.0. l'erreur ci-dessous est affichée à la fin de chaque époque
W tensorflow/core/kernels/data/generator_dataset_op.cc: 103] Une erreur s'est produite lors de la finalisation de l'itérateur GeneratorDataset: Annulé: l'opération a été annulée
De plus, après certaines époques, il n'affiche pas de journal et affiche cette erreur
Cette étape est à l'état Échec avec ce message: Le nœud manquait de ressource: mémoire. Container main utilisait 100213872Ki, ce qui dépasse sa demande de 0. Container wait utilisait 25056Ki, ce qui dépasse sa demande de 0.
Mise à niveau de tensorflow à partir de 2.1 à 2.2 a résolu ce problème pour moi. Je n'avais pas besoin d'aller à tf-nightly version.
Dans mon cas: j'ai installé tf-nightly. Maintenant ça marche, même si je suis nouveau dans tensorflow J'ai suivi ceci lien
Tu peux essayer.
J'ai le même problème. Les gens ont affirmé que le réchauffement est superflu et qu'il a été supprimé dans le tf-nightly, voir ici . Mais la fuite de mémoire est toujours là pour chaque Epoque.