Qu'est-ce qu'une fonction de perte dans des mots simples?
Quelqu'un peut-il expliquer en termes simples et éventuellement avec quelques exemples ce qu'est une fonction loss dans le domaine de l'apprentissage automatique/des réseaux de neurones?
Cela est arrivé alors que je suivais un tutoriel sur Tensorflow: https://www.tensorflow.org/get_started/get_started
La fonction de perte est la façon dont vous pénalisez votre production.
L’exemple suivant concerne un paramètre supervisé, c’est-à-dire lorsque vous savez que le résultat correct doit être. Bien que les fonctions de perte puissent être appliquées même dans des paramètres non supervisés.
Supposons que vous ayez un modèle qui prédit toujours 1. Juste la valeur scalaire 1.
De nombreuses fonctions de perte peuvent être appliquées à ce modèle. L2 est la distance euclidienne.
Si je transmets une valeur disons 2 et que je veux que mon modèle apprenne la fonction x ** 2, le résultat devrait être 4 (car 2 * 2 = 4). Si nous appliquons la perte L2, elle est calculée comme suit || 4 - 1 || ^ 2 = 9.
Nous pouvons également constituer notre propre fonction de perte. Nous pouvons dire que la fonction de perte est toujours égale à 10. Donc, peu importe les résultats de notre modèle, la perte sera constante.
Pourquoi nous soucions-nous des fonctions de perte? Eh bien, ils déterminent la faiblesse du modèle et dans le contexte de la rétropropation et des réseaux de neurones. Ils déterminent également les gradients de la couche finale à propager afin que le modèle puisse apprendre.
Comme d'autres commentaires l'ont suggéré, je pense que vous devriez commencer par du matériel de base. Voici un bon lien pour commencer avec http://neuralnetworksanddeeplearning.com/
Il décrit à quel point le résultat produit par votre réseau est éloigné du résultat attendu. Il indique l’importance de l’erreur que votre modèle a commise sur son prédicton.
Vous pouvez ensuite prendre cette erreur et la «rétrograder» dans votre modèle, en ajustant ses poids et en la rapprochant de la vérité la prochaine fois.
Il est intéressant de noter que nous pouvons parler de différents types de fonctions de perte: Fonctions de perte par régression et fonctions de perte par classification.
La fonction de perte de régression décrit la différence entre les valeurs prédites par un modèle et les valeurs réelles des étiquettes.
Ainsi, la fonction de perte a une signification sur les données étiquetées lorsque nous comparons la prédiction à l'étiquette à un moment donné.
Cette fonction de perte est souvent appelée fonction d'erreur ou formule d'erreur.
Les fonctions d'erreur typiques que nous utilisons pour les modèles de régression sont L1 et L2, la perte de Huber, la perte de quantiles et la perte de log-cosh.
Remarque: la perte L1 est également connue sous le nom d'erreur moyenne absolue. La perte de L2 est également appelée erreur quadratique moyenne ou perte quadratique.
Les fonctions de perte pour la classification représentent le prix payé pour l'inexactitude des prévisions dans les problèmes de classification (problèmes d'identification de la catégorie à laquelle une observation particulière appartient).
Nommez-en quelques-unes: perte de log, perte focale, perte exponentielle, perte de charnière, perte d'entropie relative et autres.
Remarque: Bien que plus couramment utilisée dans la régression, la fonction de perte de carré peut être réécrite et utilisée pour la classification.