Tout est une question d’évolutivité. La plupart des algorithmes d’apprentissage actuels ont été découverts il y a plus de vingt-cinq ans. Pourquoi a-t-il fallu autant de temps pour qu’ils aient un impact sur le monde réel ? Avec les ordinateurs et les données étiquetées dont disposaient les chercheurs dans les années 1980, il n’était possible de démontrer la preuve de principe que sur des problèmes jouets. Malgré quelques résultats prometteurs, nous ne savions pas dans quelle mesure l’apprentissage et les performances du réseau évolueraient à mesure que le nombre d’unités et de connexions augmentait pour correspondre à la complexité des problèmes du monde réel. La plupart des algorithmes d’IA évoluent mal et ne sont jamais allés au-delà de la résolution de ces problèmes jouets. Nous savons maintenant que l’apprentissage par réseau neuronal évolue bien et que les performances continuent d’augmenter avec la taille du réseau et le nombre de couches. Backprop, en particulier, évolue extrêmement bien. Devrions-nous être surpris ? Le cortex cérébral est une invention des mammifères qui s’est multipliée chez les primates et surtout chez les humains. Et à mesure qu’il s’est développé, davantage de capacités sont devenues disponibles et davantage de couches ont été ajoutées dans les zones d’association pour les représentations d’ordre supérieur. Il existe peu de systèmes complexes qui évoluent aussi bien. Internet est l’un des rares systèmes conçus dont la taille a également été multipliée par un facteur d'un million. Internet a évolué une fois que les protocoles de communication des paquets ont été établis, tout comme le code génétique de l’ADN a permis aux cellules d’évoluer. La formation de nombreux réseaux d’apprentissage profond avec le même ensemble de données donne lieu à un grand nombre de réseaux différents qui ont à peu près le même niveau moyen de performance.
Auteur:
Info: The Deep Learning Revolution
Commentaires: 0