Je ne comprends pas très bien pourquoi une fonction sigmoïde est considérée comme plus utile (pour les réseaux de neurones) qu'une fonction pas à pas ... en espérant que quelqu'un puisse m'expliquer cela. Merci d'avance.

15
Jay Schauer 26 déc. 2015 à 11:04

2 réponses

Meilleure réponse

La (Heaviside) step function n'est généralement utile que dans perceptrons monocouche, un des premiers types de réseaux de neurones pouvant être utilisés pour la classification dans les cas où les données d'entrée sont linéairement séparable.

Cependant, les réseaux de neurones multicouches ou perceptrons multicouches sont plus intéressants car ils sont des fonctions générales approximateurs et ils sont capables de distinguer les données qui ne sont pas linéairement séparables.

Les perceptrons multicouches sont entraînés à l'aide de backpropapagation. Une condition requise pour la rétropropagation est une fonction d'activation différentiable. En effet, la rétropropagation utilise descente de gradient sur cette fonction pour mettre à jour les pondérations du réseau.

La fonction step Heaviside est non différentiable à x = 0 et sa dérivée est 0 ailleurs. Cela signifie que la descente de gradient ne pourra pas progresser dans la mise à jour des poids et que la rétropropagation échouera.

La fonction sigmoïde ou logistique n'a pas cette lacune et cela explique son utilité en tant que fonction d'activation dans le domaine des réseaux de neurones.

28
Eric 26 déc. 2015 à 10:30

Cela dépend du problème auquel vous faites face. En cas de classification binaire simple, une fonction step est appropriée. Les sigmoïdes peuvent être utiles lors de la construction de réseaux plus réalistes sur le plan biologique en introduisant du bruit ou de l'incertitude. Une autre utilisation mais complètement différente des sigmoids est pour la continuation numérique, c'est-à-dire lors de l'analyse de bifurcation par rapport à un paramètre du modèle. La poursuite numérique est plus facile avec les systèmes lisses (et très délicate avec les non lisses).

1
itsok-dontworry 26 déc. 2015 à 08:33