Comment puis-je tester un modèle .tflite pour prouver qu'il se comporte comme le modèle d'origine utilisant les mêmes données de test?

Question

J'ai généré un modèle .tflite basé sur un modèle expérimenté. J'aimerais vérifier que le modèle tfilte donne les mêmes résultats que le modèle d'origine.

Donner les mêmes données de test et obtenir le même résultat.

Answer 1

Vous pouvez utiliser interpréteur Python TensorFlow Lite pour tester votre modèle tflite. 

Il vous permet d’alimenter les données d’entrée dans le shell Python et de lire la sortie directement, comme si vous utilisiez un modèle tensorflow normal. 

J'ai répondu à cette question ici .

Et vous pouvez lire ceci github officiel TensorFlow doc pour des informations détaillées.

J'ai également trouvé un très bon outil de visualisation qui peut charger directement un fichier .tflite pour vous permettre d'inspecter votre architecture de modèle et ses poids. 

Answer 2

En plus de la réponse donnée par @ miaout17, pour déboguer/comprendre votre modèle tflite (qui est l’esprit de la question), vous pouvez 

• utilisez --dump_graphviz pour visualiser le graphique comme expliqué ici https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/toco/g3doc/cmdline_examples.md#using--- dump_graphviz
• utilisez flatc pour générer une api python, puis analysez le modèle via cette api https://google.github.io/flatbuffers/flatbuffers_guide_use_python.html
• générer json à partir du fichier tflite à l'aide de flatc et l'imprimer
• Utilisez le visualiseur tflite: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/tools/visualize.py (a ​​actuellement un bug )

Answer 3

Il existe un tflite_diff_example_test dans la base de code TensorFlow. Il génère des données aléatoires et alimente les mêmes données dans TensorFlow & TensorFlow lite, puis compare si la différence se situe dans les limites d'un petit seuil. 

Vous pouvez vérifier le code TensorFlow de Github et l'exécuter avec bazel:

bazel run //tensorflow/contrib/lite/testing:tflite_diff_example_test

alors vous verrez quels arguments vous devez passer.