Notre étude de 25 années de recherche en intelligence artificielle suggère que l'ère de l'apprentissage en profondeur touche à sa fin.
par Karen Hao
Aujourd'hui, presque tout ce que vous entendez sur l'intelligence artificielle est le fruit d'un apprentissage en profondeur. Cette catégorie d'algorithmes fonctionne en utilisant des statistiques pour trouver des modèles dans les données, et elle s'est révélée extrêmement puissante pour imiter les compétences humaines telles que notre capacité à voir et à entendre. Dans une très faible mesure, il peut même imiter notre capacité à raisonner. Ces fonctionnalités, qui alimentent les recherches de Google, le fil d'actualité Facebook et le moteur de recommandation de Netflix, sont en train de transformer des secteurs tels que les soins de santé et l'éducation.
Bien que l’apprentissage en profondeur ait jeté à lui seul l’intelligence artificielle dans les yeux du public, il ne représente qu’un petit coup dans l’histoire de la quête de l’humanité pour reproduire notre propre intelligence. C’est au cœur de cet effort depuis moins de 10 ans. Lorsque vous faites un zoom sur toute l’histoire du terrain, il est facile de réaliser qu’elle pourrait bientôt disparaître.
«Si quelqu'un avait écrit en 2011 que cela ferait la une des journaux et des magazines dans quelques années, nous nous serions dit:’ Waouh, vous fumez quelque chose de vraiment puissant’ “, déclare Pedro Domingos, professeur d'informatique à l'Université de Washington et auteur de The Master Algorithm.
Au MIT Technology Review, nous voulions visualiser ces ajustements. Nous nous sommes donc tournés vers l'une des plus grandes bases de données scientifiques à source ouverte, connue sous le nom de arXiv (prononcé «archive»). Nous avons téléchargé les résumés des 16 625 articles disponibles dans la section «intelligence artificielle» jusqu'au 18 novembre 2018 et avons suivi les mots mentionnés au cours des années pour voir comment le domaine a évolué.
Notre analyse nous a permis de dégager trois grandes tendances: le passage à l’apprentissage automatique à la fin des années 90 et au début des années 2000, la popularité croissante des réseaux de neurones à partir du début des années 2010 et la croissance de l’apprentissage par renforcement ces dernières années.
Il y a quelques mises en garde. Tout d’abord, la section d’intelligence artificielle d’arXiv ne date que de 1993, alors que le terme «intelligence artificielle» remonte aux années 50. La base de données ne représente donc que les derniers chapitres de l’histoire de ce domaine. Deuxièmement, les articles ajoutés à la base de données chaque année ne représentent qu'une fraction du travail effectué sur le terrain à ce moment-là. Néanmoins, arXiv constitue une excellente ressource pour cerner certaines des grandes tendances de la recherche et pour voir le va-et-vient de différentes idées.
UN PARADIGME D'APPRENTISSAGE DE LA MACHINE
Le changement le plus important que nous ayons constaté est le passage des systèmes basés sur la connaissance au début des années 2000. Ces programmes informatiques sont basés sur l’idée que vous pouvez utiliser des règles pour coder toutes les connaissances humaines. À leur place, les chercheurs se sont tournés vers l'apprentissage automatique - la catégorie parente d'algorithmes qui inclut l'apprentissage approfondi.
Parmi les 100 mots les plus cités, ceux liés aux systèmes basés sur la connaissance, tels que «logique», «contrainte» et «règle», représentent le déclin le plus important. Celles liées à l'apprentissage automatique, telles que «données», «réseau» et «performance», ont connu la plus forte croissance.
La raison de ce changement radical est plutôt simple. Dans les années 80, les systèmes basés sur la connaissance ont attiré un public populaire grâce à l’enthousiasme suscité par les projets ambitieux qui tentaient de recréer le sens commun au sein des machines. Mais au fur et à mesure que ces projets se déroulaient, les chercheurs se heurtaient à un problème majeur: il fallait tout simplement trop de règles à coder pour qu'un système ne puisse rien faire d'utile. Cela a fait grimper les coûts et considérablement ralenti les efforts en cours.
L'apprentissage automatique est devenu une réponse à ce problème. Au lieu d’obliger les utilisateurs à encoder manuellement des centaines de milliers de règles, cette approche programme les machines pour extraire ces règles automatiquement à partir d’une pile de données. Juste comme ça, le domaine a abandonné les systèmes basés sur la connaissance et s'est tourné vers le perfectionnement de l'apprentissage automatique.
LE BOOM NEURAL-NETWORK
Selon le nouveau paradigme de l’apprentissage automatique, le passage à l’apprentissage en profondeur n’a pas eu lieu immédiatement. Comme le montre notre analyse des termes clés, les chercheurs ont testé diverses méthodes en plus des réseaux de neurones, mécanisme essentiel de l’apprentissage en profondeur. Parmi les autres techniques populaires, on peut citer les réseaux bayésiens, les machines à vecteurs de support et les algorithmes d’évolution, qui adoptent toutes une approche différente pour la recherche de structures dans les données.
L'apprentissage automatique est devenu une réponse à ce problème. Au lieu d’obliger les utilisateurs à encoder manuellement des centaines de milliers de règles, cette approche programme les machines pour extraire ces règles automatiquement à partir d’une pile de données. Juste comme ça, le domaine a abandonné les systèmes basés sur la connaissance et s'est tourné vers le perfectionnement de l'apprentissage automatique.
Au cours des années 1990 et 2000, il y avait une concurrence constante entre toutes ces méthodes. Puis, en 2012, une percée décisive a entraîné un autre changement radical. Lors du concours annuel ImageNet, qui visait à faire progresser la vision par ordinateur, un chercheur, Geoffrey Hinton, et ses collègues de l’Université de Toronto, ont obtenu la meilleure précision de reconnaissance d’image avec une marge étonnante de plus de 10 points de pourcentage.
La technique qu'il a utilisée, l'apprentissage en profondeur, a déclenché une vague de nouvelles recherches - d'abord au sein de la communauté de la vision, puis au-delà. Alors que de plus en plus de chercheurs ont commencé à l'utiliser pour obtenir des résultats impressionnants, sa popularité - ainsi que celle des réseaux de neurones - a explosé.
LA HAUSSE DU RENFORCEMENT APPRENDRE
Notre analyse révèle que, dans les quelques années écoulées depuis l'essor de l'apprentissage en profondeur, un troisième et dernier changement s'est opéré dans la recherche sur l'IA.
Outre les différentes techniques d’apprentissage automatique, il existe trois types différents: l’apprentissage supervisé, l’apprentissage non supervisé et l’apprentissage par renforcement. L'apprentissage supervisé, qui consiste à alimenter une machine avec des données étiquetées, est le plus couramment utilisé et possède de loin les applications les plus pratiques. Au cours des dernières années, toutefois, l'apprentissage par renforcement, qui imite le processus de formation des animaux par le biais de punitions et de récompenses, a connu une hausse rapide de mentions dans les résumés sur papier.
L’idée n’est pas nouvelle, mais elle n’a pas fonctionné pendant des décennies. «Les personnes qui suivent un apprentissage supervisé se moquent des personnes qui apprennent par le renforcement», explique Domingos. Mais, comme pour l'apprentissage en profondeur, un moment crucial l'a soudainement placé sur la carte.
Ce moment est arrivé en octobre 2015, lorsque AlphaGo de DeepMind, formé à l’apprentissage du renforcement, a vaincu le champion du monde dans l’ancien jeu de Go. L'effet sur la recherche a été immédiat.
La prochaine décennie
Notre analyse ne fournit que l'instantané le plus récent de la concurrence entre les idées qui caractérisent la recherche sur l'IA. Mais cela illustre la lourdeur de la quête de duplication de l'intelligence. «L’important, c’est que personne ne sait comment résoudre ce problème», déclare Domingos.
Un grand nombre des techniques utilisées au cours des 25 dernières années ont vu le jour à peu près à la même époque, dans les années 50, et sont tombées en désuétude face aux défis et aux succès de chaque décennie. Les réseaux de neurones, par exemple, ont culminé dans les années 60 et brièvement dans les années 80, mais ont failli mourir avant de retrouver leur popularité actuelle grâce à un apprentissage en profondeur.
En d'autres termes, chaque décennie a essentiellement vu le règne d'une technique différente: les réseaux de neurones à la fin des années 50 et 60, diverses approches symboliques dans les années 70, les systèmes basés sur la connaissance dans les années 80, les réseaux bayésiens dans le monde. Années 1990, supporte les machines à vecteurs dans les années 2000 et les réseaux de neurones dans les années 10.
Les années 2020 ne devraient pas être différentes, dit Domingos, ce qui signifie que l'ère de l'apprentissage en profondeur pourrait bientôt prendre fin. Mais, de manière caractéristique, la communauté des chercheurs a des idées contradictoires sur ce qui va suivre - qu'une technique plus ancienne regagnera les faveurs ou si le domaine créera un paradigme entièrement nouveau.
«Si vous répondez à cette question, dit Domingos, je souhaite breveter la réponse.»
Source :