La force de l’ère de l’apprentissage en profondeur de l’intelligence artificielle a conduit à une sorte de renaissance de la R&D des entreprises dans les technologies de l’information, selon Yann LeCun, scientifique en chef de l’IA pour Meta.
“Le type de techniques sur lesquelles nous avons travaillé a eu un impact commercial beaucoup plus important, beaucoup plus large”, que ce n’était le cas aux époques précédentes de l’intelligence artificielle, a déclaré LeCun lors d’une petite réunion de presse et de dirigeants via Zoom. ce mois-ci.
Également: ChatGPT n’est «pas particulièrement innovant» et «rien de révolutionnaire», déclare le scientifique en chef de l’IA chez Meta
“Et le résultat de cela est qu’il a attiré beaucoup de financement de la recherche et, en fait, a provoqué un renouvellement de la recherche de l’industrie.”
Il y a à peine vingt ans, a déclaré LeCun, Microsoft Research était la seule entité de l’industrie qui “avait une quelconque stature dans le domaine des technologies de l’information”. Mais ensuite, a déclaré LeCun, les années 2010 ont vu “Google Research vraiment venir au premier plan, et FAIR [Facebook AI Research]que j’ai créé, et quelques autres laboratoires qui démarrent et ravivent l’idée que l’industrie pourrait faire de la recherche fondamentale.”
Cette résurgence de la R&D des entreprises se produit, a déclaré LeCun, “parce que la perspective de ce qui peut arriver dans le futur et de ce qui se passe dans le présent, grâce à ces technologies, est excellente”.
La valeur de l’IA appliquée, a déclaré LeCun, conduit à un système à double voie, où la R&D d’entreprise maintient des projets lunaires à plus long terme, puis une autre voie qui canalise la recherche vers des applications pratiques de produits.
“Il est tout à fait logique pour une entreprise comme Meta d’avoir, simultanément, un grand laboratoire de recherche qui a des objectifs ambitieux à long terme comme la construction d’assistants virtuels intelligents dotés d’une intelligence humaine, car c’est ce que nous voulons, en fin de compte ; mais en même temps temps, la technologie qui a été développée est déjà utile.
“Par exemple, la modération de contenu et la détection de la parole dans plusieurs langues ont été complètement révolutionnées au cours des deux ou trois dernières années par les grands transformateurs pré-formés de manière auto-supervisée”, a déclaré LeCun, faisant référence au programme de traitement du langage naturel Transformer de Google, introduit en 2017, qui est devenu la base de nombreux programmes tels que ChatGPT d’OpenAI.
“Cela a fait d’énormes progrès, des progrès incroyables, et cela est dû aux dernières recherches sur l’IA”, a déclaré LeCun.
LeCun était un conférencier invité pour une conférence d’une heure et demie animée par le Collectif[i] Forecast, une série de discussions interactives en ligne organisée par Collective[i]qui se présente comme “une plate-forme d’IA conçue pour optimiser les ventes B2B”.
LeCun répondait à une question de ZDNET sur l’effet de l’intérêt sans précédent pour l’IA par l’industrie et le commerce sur la science fondamentale de l’IA.
Également: Le gourou de l’IA de Meta, LeCun : la plupart des approches d’IA d’aujourd’hui ne mèneront jamais à une véritable intelligence
LeCun s’est décrit comme “optimiste” quant à la capacité de l’IA appliquée à être utilisée pour le bien de la société. Même là où l’IA ne parvient pas à atteindre certains objectifs, elle produit des effets qui peuvent être bénéfiques, a-t-il indiqué.
LeCun a donné l’exemple des systèmes de véhicules autonomes qui, bien qu’échouant à être véritablement autonomes, ont eu l’avantage de fournir des fonctionnalités de sécurité routière qui sauvent des vies.
“Chaque voiture qui sort en Europe doit désormais être équipée d’un système de freinage d’urgence automatique, l’ABS”, a observé LeCun. “Ce n’est pas obligatoire aux États-Unis, mais de nombreuses voitures l’ont.”
L’ABS, a-t-il noté, sont “les mêmes systèmes qui permettent également à la voiture de se conduire sur l’autoroute, n’est-ce pas ?” Le mécanisme de freinage réduit les collisions de 40%, a-t-il noté. “Donc, malgré tout ce dont vous entendez parler, vous savez, la Tesla qui a heurté un camion ou quoi que ce soit, ces choses sauvent absolument des vies, au point qu’elles sont nécessaires.”
LeCun a également fait du bénévolat “l’une des choses que je trouve assez prometteuses à propos de l’IA est l’utilisation de l’IA dans la science et la médecine en ce moment” pour améliorer la vie des gens.
“Il existe de nombreux systèmes expérimentaux, dont quelques centaines ont obtenu l’approbation de la FDA, qui améliorent la fiabilité du diagnostic par IRM et rayons X et diverses autres choses pour un certain nombre de maladies différentes”, a déclaré LeCun. “Cela va avoir un impact énorme sur la santé.”
Ces percées, bien que positives, sont petites, a-t-il dit, par rapport à “la grande chose”, à savoir, “la façon dont l’IA est utilisée pour la science à l’avenir”.
Également: Leluminaire de l’IA de Meta, LeCun, explore la frontière énergétique de l’apprentissage en profondeur
“Nous avons des systèmes qui peuvent replier les protéines, nous avons maintenant des systèmes qui seraient capables de concevoir des protéines pour coller à un site particulier, ce qui signifie que nous pouvons concevoir des médicaments d’une manière complètement différente de ce que nous avons fait dans le passé”, a déclaré LeCun. .
L’IA a également “un énorme potentiel de progrès dans la science des matériaux”, a déclaré LeCun. “Et nous allons en avoir besoin parce que nous devons résoudre le changement climatique, nous devons donc pouvoir disposer de batteries haute capacité qui ne coûtent pas une fortune et ne vous obligent pas à utiliser des matériaux exotiques que nous ne peut trouver qu’à un seul endroit.”
LeCun a cité un tel projet de matériaux, Open Catalyst, fondé par des collègues de FAIR, qui travaille avec l’Université Carnegie Mellon pour appliquer l’IA afin de développer “de nouveaux catalyseurs à utiliser dans le stockage des énergies renouvelables pour aider à lutter contre le changement climatique”.
“L’idée est de pouvoir recouvrir un petit désert de panneaux photovoltaïques, puis de stocker l’énergie utilisée par ces panneaux, par exemple sous forme d’hydrogène ou de méthane”, a expliqué LeCun. Les approches actuelles pour stocker l’hydrogène ou les produits méthane, a-t-il dit, sont “soit évolutives, soit efficaces, mais pas les deux”.
« Pourrions-nous découvrir, peut-être en utilisant l’aide de l’IA, un nouveau catalyseur qui rendrait ce processus plus efficace ou évolutif en ne nécessitant pas de nouveau matériau exotique ? Cela ne fonctionnera peut-être pas, mais cela vaut la peine d’essayer.
Également: Nadella, PDG de Microsoft : “Attendez-vous à ce que nous incorporions l’IA dans chaque couche de la pile”
Malgré ces nombreuses applications commerciales et appliquées prometteuses, LeCun a suggéré que l’étroitesse des utilisations industrielles est en deçà du grand objectif de l’IA, la quête de l’intelligence au niveau animal ou humain.
Les énormes avancées de la recherche sous-jacentes aux applications d’aujourd’hui, telles que Transformers, ont été rendues possibles à l’ère de l’apprentissage en profondeur grâce à une disponibilité sans précédent des données et de l’informatique, a déclaré LeCun, tandis que les avancées scientifiques fondamentales n’ont pas toujours été aussi abondantes ou aussi riches.
“Ce qui a causé la vague la plus récente, ce sont, premièrement, quelques avancées conceptuelles – mais, franchement, pas une quantité énorme, et pas si impressionnante – mais, vraiment, la quantité de données disponibles et la quantité de calculs qui ont fait il est possible de faire évoluer ces systèmes.”
Des éléments tels que les grands modèles de langage, tels que GPT-3, le programme informatique sur lequel ChatGPT est basé, sont la preuve que la mise à l’échelle de l’IA, c’est-à-dire l’ajout de plusieurs couches de paramètres réglables, améliore directement les performances des programmes. “Il s’avère qu’ils fonctionnent très bien lorsque vous les augmentez”, a-t-il déclaré à propos de GPT-3 et de leurs semblables.
L’industrie peut trouver des rendements décroissants à un moment donné, a déclaré LeCun, en s’appuyant uniquement sur la mise à l’échelle sans explorer d’autres voies.
Également: Des machines qui pensent comme des humains : tout savoir sur l’IAG et l’IA Débat 3
“Beaucoup d’entreprises comme OpenAI, en particulier, ont utilisé cela comme un mantra, il suffit d’agrandir les choses et cela fonctionnera mieux”, a-t-il déclaré. “Mais je pense que nous atteignons les limites de cela en ce moment.”
Malgré la mise à l’échelle de modèles toujours plus grands, a déclaré LeCun, “Nous ne semblons pas être en mesure de former une conduite autonome complètement autonome [automobile] système en formant simplement, vous savez, de plus grands réseaux de neurones sur plus de données ; cela ne semble pas y arriver.”
Aussi impressionnants soient-ils, des programmes tels que ChatGPT, que LeCun a qualifiés de “pas particulièrement innovants” et “rien de révolutionnaire”, n’ont pas de capacité de planification, a-t-il déclaré.
“Ils sont complètement réactifs”, a déclaré LeCun. “Vous leur donnez un contexte de quelques milliers de mots”, c’est-à-dire l’invite de saisie humaine, “Et à partir de là, le système génère simplement le jeton suivant, de manière complètement réactive.”
“Il n’y a pas de planification à l’avance ou de décomposition d’une tâche complexe en tâches plus simples, c’est juste réactif”, a déclaré LeCun.
LeCun a donné l’exemple du programme OpenAI CoPilot, qui a été intégré par Microsoft dans la plateforme de gestion de code GitHub. “Il y a une limitation très grave de ces systèmes”, a-t-il déclaré. “Ils sont essentiellement utilisés comme un clavier prédictif sur les stéroïdes.”
Également: Nous verrons un tout nouveau type d’ordinateur, déclare Geoff Hinton, pionnier de l’IA
“Vous commencez à écrire votre programme et faites une description de ce qu’il doit faire dans les commentaires, et vous disposez d’outils basés sur de grands modèles de langage qui complèteront le programme”, a-t-il expliqué.
Une telle saisie semi-automatique est comme un régulateur de vitesse dans les voitures qui aident à conduire sur l’autoroute. “Vos mains doivent rester sur le volant à tout moment” car Co-Pilot peut générer des erreurs dans le code sans en avoir conscience.
“La question est de savoir comment obtenir des systèmes qui génèrent du code qui s’exécute parfois mais parfois non”, a déclaré LeCun. “Et la réponse à cela est que tous ces systèmes aujourd’hui ne sont pas capables de planifier ; ils sont complètement réactifs.”
“Et ce n’est pas ce dont vous avez besoin pour un comportement intelligent.”
Au lieu de cela, a déclaré LeCun, “Si vous voulez un comportement intelligent, vous avez besoin d’un système capable d’anticiper l’effet de ses propres actions”, ainsi que d’avoir “une sorte de modèle interne du monde, un modèle mental de la façon dont le monde va changer à la suite de ses propres actions. »
LeCun a présenté un article de réflexion l’été dernier sur la nécessité de programmes dotés d’une capacité de planification, ce dont il a longuement discuté avec ZDNET en septembre.
Pour l’instant, la résurgence de la R&D dans les technologies de l’information des entreprises n’a pas encore conduit au résultat le plus précieux de la technologie, la productivité, a déclaré LeCun, mais cela pourrait se produire au cours de la prochaine décennie.
Également: Le véritable objectif de l’IA n’est peut-être plus l’intelligence
Citant les travaux du chercheur Erik Brynjolfsson du groupe Human-Centered Artificial Intelligence de l’Université de Stanford, LeCun a noté que les économistes considèrent l’IA comme une “technologie à usage général, c’est-à-dire quelque chose qui “se diffusera lentement dans tous les coins de l’économie et de l’industrie et affectera fondamentalement tous l’activité économique » par divers effets tels que la création de nouveaux emplois, le déplacement d’autres emplois, etc., « et conduit à une productivité accrue parce qu’elle favorise l’innovation ». En d’autres termes, l’innovation qui s’appuie sur l’innovation est l’équivalent économique de la productivité.
“Ce qu’Eric, en particulier, a dit, c’est qu’au moins jusqu’à très récemment, nous n’avons pas observé d’augmentation de la productivité due à l’IA, et, historiquement, il dit qu’il faut environ 15, 20 ans pour voir un effet mesurable sur la productivité. d’une révolution technologique.
“Donc, selon sa prédiction, cela va probablement se produire au cours des dix prochaines années.”
La résurgence de la R&D de base des entreprises dans le domaine des technologies de l’information pourrait perdurer compte tenu de son attrait pour les jeunes universitaires, a indiqué LeCun.
“Je pense qu’un phénomène que nous avons observé est que de jeunes personnes talentueuses aspirent maintenant à devenir des chercheurs en IA parce que c’est la chose cool à faire, alors qu’avant, les mêmes personnes seraient allées dans la finance”, a déclaré LeCun. “C’est mieux pour eux d’aller en science, je pense.”