extensibilité FLP

Dans l'idéal l'étiqueteur FLP devrait savoir oublier son ego. Difficulté proche de l'utopie puisqu'il s'agit de prendre la distance qui permet de voir ses propres vécus comme autant d'illusions. Que presque toutes nos réactions et jugements ne furent que biais de confirmation de notre existence. Et le sont encore majoritairement par simple effet d'inertie. 

Au-delà de son support physique l'incarnation, Moi, Je... ne s'appuye que sur quelques croyances ; éphémères constructions d'un ego dont la mission première est de survivre, pour éventuellement se reproduire. Fugaces échafaudages qui confortent un SOI effarouché par les aléas du réel. D'où, entre autres, les mythes et religions - mais aussi notre rationalité duale et la pensée cybernétique subséquente.

On dira, en termes peircéens, que la secondéité-monade humaine, au vu d'une priméité-source mystérieuse et instable, génère des tiercités, ici linguistiques, majoritairement destinées à se défendre-justifier elle-même. 

On pourra aussi établir un positionnement-classement circulaire des postures potentielles de cette secondéité, le théologique faisant face au scientifique, duo dominant accompagné dans le cercle par quelques termes-postures-attitudes importants - peu nombreux et à cerner-identifier-préciser - comme ceux de conteur, d'humoriste, communiquant, thérapeuthe, joueur... et autres. Distribution à intégrer un jour dans une taxonomie multidimensionnelle FLP plus large, éventuellement septénaire. Mais stop.

Tout ceci n'est pas un "jeu d'enfant". Rappelons le truisme : pour acquérir quelque distanciation egotique il faut avoir éprouvé des choses. Autrement dit, pour détester, il faut tester d'abord. Est pré-requise la matérialité des expériences dans ce réel, suivies de leurs verbalisations et, un peu plus avant, de leurs formulations écrites. 

OU LUES, car lorsque ces énonciations de l'expérience rencontrent l'esprit du lecteur elle peuvent "résonner" avec lui et son vécu propre. Fonction réflexive, indispensable au participant de FLP. Tout ceci passant évidemment par le "sens de la lecture" (sense of reading).

Celà étant : l'étiqueteur, une fois un minimum de ce recul acquis, se retrouve plus neutre, mieux apte à capter la signification des mots "quasi-esprits" et donc la compréhension de leurs textes matrices. De leurs sémantiques, presqu'en terme arithmétique dans l'idéal.

Sens-signification qui s'appréhende donc via la comparaison d'un vécu-verbalisé, en miroir avec la logique formelle animant le codage verbal du réel, ici français. Assemblage de symboles qui génère une sémantique (un sens) sous-tendue par quatre facteurs-règles-contextes : a) grammaire et déictique (agencement des mots)  b) coutumes-routines et médiatiquement convenable de l'époque-moment où l'idée est proférée c) contexte, qualités et positionnement subjectif de leur auteur. d) état d'esprit, disponibilité, vécu, qualités diverses, etc... du lecteur-tagueur-inserteur.

Ici déjà les problématiques et possibilités de classification nous dépassent de beaucoup. D'où l'importance de s'atteler à la chose collectivement.  

FLP est un outil transitoire en expansion, qui, dans un absolu lexico-sémantique (grâce peut-être à l'informatique quantique à venir), devrait à moyen terme représenter l'émergence centrale consensuelle de concepts terminologisés ; mots-idées issus des conjonctions-discussions-interactions-intégrations sémantiques en son sein. Idéalement via un dialogue continu avec beaucoup d'autres "FLP individuels" que chacun aura développé dans son coin, processus dont l'aboutissement se situe à ce jour dans les chaînes FLP. Le tout sous régulation de règles classificatoire souples et complexes, s'établissant et se modifiant avec le temps.

Ensuite on se prend à imaginer une intelligence lexicologique collective Homme-machine qui, une fois établie son aptitude à consensualiser/préciser les mots-expressions basiques incontournables du cercle évoqué dans le 3e paragraphe - termes centraux, à valeur diachronique si possible -, on pourra, en les conjuguant-mémorisant (comme les 4 bases de l'ADN ?), développer une véritable mémoire-intelligence-réservoir perspectiviste communautaire. Et peut-être même, soyons allumés, dépasser les potentialités du DNA. 

A l'image des mathématiques, elles aussi langage commun à tous, mais ici remises en périphérie, le langage verbal revisité, idiome 2.0 de nos civilisations de singes dépoilés (ou de la Nature extendue par notre entremise) devrait alors permettre d'émanciper l'humain de son enfermement conceptuel anthropocentré. 

Telles sont les grâces d'une logique - à créer/découvrir - indépendante de son propre langage. Tout à fait possible, en des temps où l' accélération exponentielle des savoirs nécessite des pistes de développement culturelles évolutives (scalable) non superficielles. 

Tentative FLP trop ambitieuse, prétentieuse, folle ? Pas vraiment, elle ne fait qu'offrir (sans aucun usage de machine learning !) un élargissement de la pensée-langage collective en proposant de pousser la taxonomie linguistique numérique "un petit cran plus loin" ; dans trois directions :

1) Celle de listes analogiques intriquées   

2) Par l'ajout d'étiquettes "non apparentes dans les extraits insérés" qui forcent à la réflexion et au classement sémantique. 

3) Par l'hypothèse-suggestion d'un saut qualitatif taxonomique qui passerait d'une base logique duale vers un socle tétravalent plus souple, puissant, et nuancé. 

Ici on pensera à la puissance d'une mémoire ADN - déjà évoquée plus haut - qui n'est autre que l'essence du vivant.

Auteur: Mg

Info: nov 2022

[ prospective ] [ pré-mémétique   ] [ science-fiction ]

extensibilité FLP

Le langage, si on approfondit la connaissance qu'on en a, révèle et circonstancie la priméité de C.S. Peirce. C'est à dire qu'on grandit avec et en lui, tout comme le monde extérieur dont nous sommes issus se développe et se définit via une science qui en dévoile petit à petit les détails au fur et à mesure de ses progrès et affinements. Malgré le différentiel de complexité inouï qui existe entre langages-vocabulaires et sciences-rationalismes. Pour s'en rendre compte amusons nous simplement à prendre exemple sur les millions de protéines différentes recensées de nos jours, et comparer ce très partiel et scientifique listing protéique de notre réel avec nos vocabulaires.  

Il y a le premier livre... et le second. Le second se divisant dans notre idée en deux parties 1) Linguistique subjective et 2) scientifico-informatique objective.

Il n'en reste pas moins que mots et langages afférents développent suffisamment de méandres et de complications pour que n'importe qui qui s'y intéresse puisse, via la lecture, la recherche, le plaisir, l'écriture, etc. y développer sa propre idiosynchrasie. Comme l'arbre qui s'intégre à sa forêt : "la nature individualise et généralise en même temps". Processus orthogonal susceptible d'augmenter et intégrer la variété - en favorisant le développement personnel de chacun au sein du corpus des savoirs verbalisés humains.

Et puis est récemment arrivée l'informatique, cybernétique post-leibnizienne, avec ses divers traitements automatiques du langage. Outils numériques qui permettent l'études des idiomes et dialectes sur trois axes en constante évolution :

a) Le langage du "maintenant présent" que le dictionnaire Internet permet de désambiguer sans cesse. 

b) Le langage devenu métadonnées, telles que manipulées-étudiées-utilisées par les traitements automatique des langues (TAL) ou "machine learning" ou Machine-homme. Avec maintenant Bard et/ou ChatGpt, sortis en mars de cette année,  agents conversationnels apte au compendium d'immenses données et qui peuvent répondre à des questions précises en partant de n'importe quelle idée qu'on leur soumet ; gérant et "précisant" points de vue et réponses en fonction d'algorithmes et autres "transformers" de plus en plus efficaces .

Outils très intéressants, mais aussi extrêmement limités puisqu'il s'agit de compilateurs, (qui donc peuvent difficilement donner leurs sources - ou pas du tout ) et qui ne fonctionnent in fine qu'avec la latence d'un certain a postériori. Agents dialogueurs qui "rebondissent" sur questions et propositions, en fonction des instructions humaines de ses programmateurs. Reste qu'il faut reconnaitre que la puissance perspectiviste de ces bots, et leurs facultés à éviter pas mal de biais humains grâce aux transformers, est assez bluffante. 

On mettra ici aussi l'accent sur les profondes différences sémantiques du terme "intelligence" en français (ensemble des fonctions mentales apte à connaître, comprendre et à s'adapter facilement sur une base rationelle) et en anglais (collecte d'informations ayant une valeur militaire ou politique, tout autant que : capacité d'acquérir et d'appliquer des connaissances et des compétences.) Mais stop.

c) Le langage tel que FLP veut l'aborder, c'est à dire un traitement "Homme-machine", continu, qui propose à des participants qui aiment lire et réfléchir !!!  Oui oui - de faire émerger collectivement (et maintenir à flot) - un dictionnaire intriqué susceptible de développer une réflexion naturelle, organique... humaine collective. Le tout en conservant un minimum de précision sémantique consensuelle. 

Processus FLP francophone qui part évidemment du "terme simple", pour immédiatement s'intéresser aux premières combinaisons, à 2 mots - ou radicaux de mots - et aller vers "plus long et plus complexe" via une incessante quête de compréhension et de partage du consensus sémantique et syntaxique des participants. On pourra parler ici de tropisme vers un genre de logique formelle ensemble. Logique formelle qui recherche l'ouverture puisque ce "monde humain verbalisé" n'a d'autre limite que "le sens contextualisé des mots et des phrases", que ce soit dans le rationnel, la littérature, la poésie, le religieux ou pur imaginaire... ou même la fantaisie potache.

Au passage et pour l'anecdote il y a aussi cette piste "théologico-scientifique" ou "mystico-rationnelle", plutôt d'ordre ludique et maniaque et issue des Dialogue avec l'ange, qui veut s'inspirer et relier les septénaires tels que les recherches et classification humaines ont pu les discerner - et les faire apparaitre à tous niveaux-endroits et échelles possibles.

Partant de l'idée que le sept au-delà de tous les symboles culturels et cognitifs humains, porte en lui une inouie complexité dans la mesure où ce nombre peut s'apprécier géométriquement comme le mélange du cercle et du carré. Mélange, une fois utilisé comme mètre dans le rythme musical, qui nous apparait comme un carrousel infini. 

Le sept pourra-t'il éventuellement être corrélé un jour de manière plus générale, via par exemple une AI perspectiviste suffisamment puissante pour le faire ? Qui établira plus profondément et formellement un multidimensionnel maillage du réel de la cognition humaine sous cet angle septénaire après l'avoir comparé à d'autres maillages possibles (par 12, ou 5, ou autre).

En attendant de rencontrer - et pouvoir communiquer - avec une autre race, extraterrestre si possible, histoire de voir si pareil angle de perception est éventuellement partagé. 

Si tel est le cas nous pourrons alors parler d'exo-spiritualité ...ou de religion cosmique.

Hon hon hon hon hon hon hon...

Auteur: Mg

Info: avril-mai 2023 *on pourra presque dire ici que la matière nous parle

[ gnose ] [ polydipsique curiosité ] [ théologico-humoristico-mégalo ]

progrès

Pourquoi la victoire d’une Intelligence artificielle au poker est plus inquiétante qu’il n’y paraît
Une intelligence artificielle (IA) du nom de Libratus a fait mordre la poussière à 4 des meilleurs joueurs de Poker au monde, à l’issu d’un tournoi de poker de longue haleine, au Rivers Casino, à Pittsburgh, aux États-Unis. Dong Kim, Jason Les, Jimmy Chou et Daniel McAuley ont joué plusieurs jours à raison de 11h par jour, sans monnaie réelle – mais avec un enjeu financier selon leur capacité individuelle à se défaire de l’IA.
Jusqu’ici, il était relativement simple pour un algorithme de prévoir l’issue d’une partie d’échecs ou de Go, car tous les mouvements sont prévisibles à partir de la configuration du plateau de jeu. Mais au poker, il est impossible de connaître la main de ses adversaires ni leur état d’esprit, qui influe grandement leur prise de décision.
Le tournoi qui a opposé 4 joueurs de Poker professionels à l’IA Libratus. (Carnegie Mellon University)
Cette victoire constitue une première mondiale significative ; jusqu’ici, étant donné la grande complexité du poker et des facteurs humains impliqués, les machines qui s’étaient frottées au jeu avaient perdu. Sur les sites de paris en ligne, la victoire des 4 joueurs l’emportait à 4 contre 1.
Une victoire qui étonne même le créateur de l’algorithme
L’algorithme à la base de Libratus repose sur un “deep learning”. Libratus est une version améliorée d’un algorithme antérieur, déjà testé dans des circonstances similaires en 2015 – les joueurs de Poker l’avaient alors emporté.
La victoire confirme la puissance grandissante des algorithmes sur une période très courte. En octobre 2015, le programme alphaGo se débarrassait par 5 parties à 0 du champion européen Fan Hui. En mars 2016, le même programme battait le champion du monde Lee Sedol 4 parties à 1.
Le plus étonnant, selon Noam Brown, le créateur de Libratus, est que contrairement aux intelligences artificielles programmées pour gagner aux échecs, Libratus n’a jamais appris “comment” jouer au Poker. “Nous lui avons donné les règles de base”, et nous lui avons dit “apprends par toi-même”. Durant les pauses du tournoi, alors que les humains dînaient, dormaient ou analysaient les différentes mains de la partie, Brown connectait l’ordinateur au superordinateur de Pittsburg et affinait sa stratégie en rejouant des milliards de possibilités.
“Quand vous jouez contre un humain, vous perdez, vous arrêtez, vous faites une pause. Ici, nous devions donner le meilleur de nous-même 11 heures par jour. La différence est réelle, et émotionnellement, cela est dur à supporter si vous n’êtes pas habitués à perdre”, raconte Les, qui avait joué contre Claudico, une version antérieure de l’algorithme ayant servi de base à Libratus.
Libratus a joué de façon agressive, et n’a pas hésité à faire grimper les paris pour des gains minimes. “Ce n’est pas quelque chose que ferait un humain, en temps normal. Mais cela vous force à devoir donner le meilleur de vous à chaque tour”, évalue Les, qui après la performance de Libratus, a avoué que plus rien ne pourrait l’étonner désormais.
Des raisons de s’inquiéter
“Quand j’ai vu l’IA se lancer dans le bluff en face d’humains, je me suis dit “mais, je ne lui ai jamais appris à faire cela !” C’est une satisfaction pour moi de me dire que j’ai réussi à créer quelque chose capable de cela”, a commenté Noam Brown.
Si le professeur a exprimé un sentiment de “fierté paternelle”, d’autres scientifiques se sont inquiétés des conséquences de l’évolution de l’algorithme ayant donné naissance à Libratus.
Avec cette capacité à traiter l’"imperfection" comme une donnée d’équation, les intelligences artificielles ne jouent plus dans la même cour. On peut sans crainte avancer qu’il sera possible, à l’avenir, d’avoir des robots capables de rivaliser avec les humains sur des enjeux impliquant la décision humaine. Ils pourraient prendre de meilleures décisions dans les transactions financières, ou dresser de meilleures stratégies militaires.
“En fait, le poker est le moindre de nos soucis. Nous avons à présent une machine capable de vous botter les fesses en affaires ou sur le plan militaire", s’inquiète Roman V. Yampolskiy, professeur de sciences informatique de l’université de Louisville.
Au sujet du Deep learning
Le Deep learning dont il est question est une révolution en cela que les intelligence artificielles, qui s’en tenaient à analyser et comparer des données, peuvent maintenant les "comprendre" et apprendre d’elle même ; ce qui la porte à un niveau d’abstraction supérieur. "Par exemple, une IA à qui on donne des photos représentant des museaux, du pelage, des moustaches et des coussinets sous les pattes, est capable d’élaborer le concept de chat. Elle utilise une logique exploratoire qui crée des concepts, elle n’est pas uniquement constituée d’algorithmes préprogrammés", explique Stéphane Mallard, chargé de stratégie et d’innovation dans les salles de marché de la Société Générale.
En 2011, une expérience a été menée dans un jeu télévisé américain, Jeopardy, dans lequel les candidats doivent trouver la question à partir d’une réponse. Une IA développée par IBM, nommée Watson, a gagné haut la main. Or aujourd’hui, d’après Stéphane Mallard, cette IA serait 2 500 fois plus puissante.
Il semble impossible, même pour une IA, de prévoir aujourd’hui jusqu’où ira le développement de ces machines. Mais comme dans les fables tournant autour de l’apprenti-sorcier, il se pourrait que l’erreur ne soit comprise que trop tard.
D’après le producteur, auteur et conférencier Cyrille de Lasteyrie, la rapidité du développement de l’IA, le fait d’ignorer les conséquences du développement de l’IA est dangereux. "En 2005, les entreprises ne prenaient pas Internet au sérieux, et considéraient le phénomène comme un sujet secondaire. Dix ans après, ces mêmes boîtes nous appellent en panique pour mener une transformation digitale profonde et de toute urgence… Je suis convaincu que c’est la même problématique avec l’intelligence artificielle, multipliée par dix. Les conséquences business, organisationnelles, technologiques, humaines ou sociologiques sont énormes", indique t-il dans une interview accordée à Challenges en septembre dernier.

Auteur: Internet

Info: Daniel Trévise, Epoch Times,5 février 2017

[ évolution ]

prospective technologique

9 Tendances de l'intelligence artificielle que vous devriez surveiller en 2019

1) Les puces activées par l'intelligence artificielle seront généralisées
Contrairement à d'autres technologies et outils logiciels, l'IA dépend fortement de processeurs spécialisés. Pour répondre aux exigences complexes de l'IA, les fabricants de puces créeront des puces spécialisées capables d'exécuter des applications compatibles avec l'IA.
Même les géants de la technologie comme Google, Facebook et Amazon dépenseront plus d'argent pour ces puces spécialisées. Ces puces seraient utilisées à des fins comme le traitement du langage naturel, la vision par ordinateur et la reconnaissance vocale.

2) L'IA et l'IdO (Internet des objets) se rencontrent
2019 sera l'année de la convergence des différentes technologies avec l'IA. L'IdO se joindra à l'IA sur la couche informatique de pointe. L'IdO industriel exploitera la puissance de l'IA pour l'analyse des causes profondes, la maintenance prédictive des machines et la détection automatique des problèmes.
Nous verrons la montée de l'IA distribuée en 2019. Le renseignement sera décentralisé et situé plus près des biens et des dispositifs qui effectuent les vérifications de routine. Des modèles d'apprentissage machine hautement sophistiqués, alimentés par des réseaux neuronaux, seront optimisés pour fonctionner à la fine pointe de la technologie.

3) Dites "Bonjour" à AutoML.
L'une des plus grandes tendances qui domineront l'industrie de l'IA en 2019 sera l'apprentissage automatique automatisé (AutoML). Grâce à ces capacités les développeurs seront en mesure de modifier les modèles d'apprentissage machine et de créer de nouveaux modèles prêts à relever les défis futurs de l'IA.
AutoML (Cloud AutoMLB, modèles de machine learning personnalisés de haute qualité) trouvera le juste milieu entre les API cognitives et les plates-formes d'apprentissage sur mesure. Le plus grand avantage de l'apprentissage automatique sera d'offrir aux développeurs les options de personnalisation qu'ils exigent sans les forcer à passer par un flux de travail complexe. Lorsque vous combinez les données avec la portabilité, AutoML peut vous donner la flexibilité que vous ne trouverez pas avec d'autres technologies AI.

4) Bienvenue chez AIOps (intelligence artificielle pour les opérations informatiques)
Lorsque l'intelligence artificielle est appliquée à la façon dont nous développons les applications, elle transforme la façon dont nous gérions l'infrastructure. DevOps sera remplacé par AIOps et permettra au personnel de votre service informatique d'effectuer une analyse précise des causes profondes. De plus, cela vous permettra de trouver facilement des idées et des modèles utiles à partir d'un vaste ensemble de données en un rien de temps. Les grandes entreprises et les fournisseurs de cloud computing bénéficieront de la convergence de DevOps avec AI.

5) Intégration du réseau neuronal
L'un des plus grands défis auxquels les développeurs d'IA seront confrontés lors du développement de modèles de réseaux neuronaux sera de choisir le meilleur framework. Mais, avec des douzaines d'outils d'IA disponibles sur le marché, choisir le meilleur outil d'IA pourrait ne pas être aussi facile qu'avant. Le manque d'intégration et de compatibilité entre les différentes boîtes à outils des réseaux de neurones entrave l'adoption de l'IA. Des géants technologiques tels que Microsoft et Facebook travaillent déjà au développement d'un réseau neuronal ouvert (ONNX). Cela permettra aux développeurs de réutiliser les modèles de réseaux neuronaux sur plusieurs frameworks.

6) Les systèmes d'IA spécialisés deviennent une réalité.
La demande de systèmes spécialisés augmentera de façon exponentielle en 2019. Les organisations ont peu de données à leur disposition, mais ce qu'elles veulent, ce sont des données spécialisées.
Cela obligera les entreprises à se doter d'outils qui peuvent les aider à produire des données d'IA de grande qualité à l'interne. En 2019, l'accent sera mis sur la qualité des données plutôt que sur la quantité. Cela jettera les bases d'une IA qui pourra fonctionner dans des situations réelles. Les entreprises se tourneront vers des fournisseurs de solutions d'IA spécialisés qui ont accès à des sources de données clés et qui pourraient les aider à donner du sens à leurs données non structurées.

7) Les compétences en IA détermineront votre destin.
Même si l'IA a transformé toutes les industries auxquelles vous pouvez penser, il y a une pénurie de talents avec des compétences en IA. Pat Calhoun, PDG d'Espressive a déclaré : " La plupart des organisations souhaitent intégrer l'IA dans leur transformation numérique, mais n'ont pas les développeurs, les experts en IA et les linguistes pour développer leurs propres solutions ou même former les moteurs des solutions préconçues pour tenir leurs promesses ".
Rahul Kashyap, PDG d'Awake Security, ajoute : "Avec autant de solutions'AI-powered' disponibles pour répondre à une myriade de préoccupations commerciales, il est temps que les entreprises deviennent plus intelligentes sur ce qui se passe dans la 'boîte noire' de leurs solutions AI". La façon dont les algorithmes d'IA sont formés, structurés ou informés peut conduire à des différences significatives dans les résultats, poursuit-il. La bonne équation pour une entreprise ne sera pas la bonne pour une autre."

8) L'IA tombera dans de mauvaises mains
Tout comme une pièce de monnaie à deux faces, l'IA a un côté positif et un côté négatif. Les professionnels de la sécurité informatique utiliseront l'intelligence artificielle pour détecter rapidement les activités malveillantes. Vous pouvez réduire les faux positifs de 90 % à l'aide d'algorithmes de réponse et d'apprentissage machine pilotés par l'intelligence artificielle.
L'intelligence artificielle tombera entre de mauvaises mains et les cybercriminels aux desseins malveillants en abuseront pour réaliser leurs objectifs. Avec l'automatisation, les armées de cyberattaquants peuvent lancer des attaques mortelles avec plus de succès. Cela obligera les entreprises à combattre le feu par le feu et à investir dans des solutions de sécurité alimentées par l'IA capables de les protéger contre de telles attaques.

9) Transformation numérique alimentée par l'IA
En 2019, l'IA sera partout. Des applications Web aux systèmes de soins de santé, des compagnies aériennes aux systèmes de réservation d'hôtels et au-delà, nous verrons des nuances de l'IA partout et elle sera à l'avant-garde de la transformation numérique.
Tung Bui, président du département informatique et professeur à l'Université d'Hawaii a déclaré : "Contrairement à la plupart des prédictions et des discussions sur la façon dont les véhicules et les robots autonomes finiront par affecter le marché du travail - ceci est vrai mais prendra du temps pour des raisons institutionnelles, politiques et sociales - je soutiens que la tendance principale en IA sera une accélération dans la transformation numérique, rendant plus intelligent les systèmes commerciaux existants".

Auteur: Internet

Info: zero hedge, 1 mars 2019

machine-homme

Les algorithmes traditionnels alimentent des outils de calcul compliqués comme l'apprentissage automatique (machine learning). Une nouvelle approche, appelée algorithmes avec prédictions, utilise la puissance de l'apprentissage automatique pour améliorer les algorithmes.

Les algorithmes - morceaux de code qui permettent aux programmes de trier, filtrer et combiner des données, entre autres choses - sont les outils standard de l'informatique moderne. Tels de minuscules engrenages dans une montre, les algorithmes exécutent des tâches bien définies au sein de programmes plus complexes.

Ils sont omniprésents, et c'est en partie pour cette raison qu'ils ont été minutieusement optimisés au fil du temps. Lorsqu'un programmeur doit trier une liste, par exemple, il se sert d'un algorithme de "tri" standard utilisé depuis des décennies.

Aujourd'hui, des chercheurs jettent un regard neuf sur les algorithmes traditionnels, en utilisant la branche de l'IA , donc du machine learning. Leur approche, appelée "algorithmes avec prédictions", tire parti des informations que les outils d'apprentissage automatique peuvent fournir sur les données traitées par les algorithmes traditionnels. Ces outils doivent, en quelque sorte, rajeunir la recherche sur les algorithmes de base.

L'apprentissage automatique et les algorithmes traditionnels sont "deux façons très différentes de calculer, et les algorithmes avec prédictions sont un moyen de les rapprocher", a déclaré Piotr Indyk, informaticien au Massachusetts Institute of Technology. "C'est un moyen de combiner ces deux fils conducteurs assez différents".

La récente explosion d'intérêt pour cette approche a commencé en 2018 avec un article de Tim Kraska, informaticien au MIT, et d'une équipe de chercheurs de Google. Dans cet article, les auteurs ont suggéré que l'apprentissage automatique pourrait améliorer un algorithme traditionnel bien étudié appelé filtre de Bloom, qui résout un problème simple mais aussi complexe et ardu.

Imaginez que vous dirigez le service informatique de votre entreprise et que vous devez vérifier si vos employés se rendent sur des sites web présentant un risque pour la sécurité. Naïvement, vous pourriez penser que vous devez vérifier chaque site qu'ils visitent en le comparant à une liste noire de sites connus. Si la liste est énorme (comme c'est probablement le cas pour les sites indésirables sur Internet), le problème devient lourd - on ne peut vérifier chaque site par rapport à une liste énorme dans le minuscule lapts de temps qui précède le chargement d'une page Internet.

Le filtre Bloom offre une solution, en permettant de vérifier rapidement et précisément si l'adresse d'un site particulier, ou URL, figure sur la liste noire. Pour ce faire, il comprime essentiellement l'énorme liste en une liste plus petite qui offre certaines garanties spécifiques.

Les filtres Bloom ne produisent jamais de faux négatifs : s'ils disent qu'un site est mauvais, il est mauvais. Cependant, ils peuvent produire des faux positifs, de sorte que vos employés ne pourront peut-être pas visiter des sites auxquels ils devraient avoir accès. Cela s'explique par le fait qu'ils s'agit d'une forme d'échange qui implique une certaine imprécision due à cette énorme quantité de données compressées -  astuce intitulée "compression avec perte". Plus les filtres Bloom compriment les données d'origine, moins ils sont précis, mais plus ils économisent de l'espace.

Pour un simple filtre Bloom, chaque site Web est également suspect jusqu'à confirmaton qu'il ne figure pas sur la liste. Mais tous les sites Web ne sont pas égaux : Certains ont plus de chances que d'autres de se retrouver sur une liste noire, simplement en raison de détails comme leur domaine ou les mots de leur URL. Les gens comprennent cela intuitivement, et c'est pourquoi vous lisez probablement les URL pour vous assurer qu'elles sont sûres avant de cliquer dessus.

L'équipe de Kraska a mis au point un algorithme qui peut également appliquer ce type de logique. Ils l'ont appelé "filtre de Bloom instruit" et il combine un petit filtre de Bloom avec un réseau neuronal récurrent (RNN), modèle de machine learning qui apprend à quoi ressemblent les URL malveillantes après avoir été exposées à des centaines de milliers de sites web sûrs et non sûrs.

Lorsque le filtre Bloom vérifie un site web, le RNN agit en premier et utilise son apprentissage pour déterminer si le site figure sur la liste noire. Si le RNN indique que le site figure sur la liste, le filtre Bloom appris le rejette. Mais si le RNN dit que le site n'est pas sur la liste, alors le petit filtre Bloom peut à son tour, faire une recherche précise, mais irréfléchie, dans ses sites compressés.

En plaçant le filtre Bloom à la fin du processus et en lui donnant le dernier mot, les chercheurs ont fait en sorte que les filtres Bloom instruits puissent toujours garantir l'absence de faux négatifs. Mais comme le RNN préfiltre les vrais positifs à l'aide de ce qu'il a appris, le petit filtre de Bloom agit davantage comme une sauvegarde, en limitant également ses faux positifs au minimum. Un site Web bénin qui aurait pu être bloqué par un filtre Bloom de plus grande taille peut désormais passer outre le "filtre Bloom iinstruit" plus précis. En fait, Kraska et son équipe ont trouvé un moyen de tirer parti de deux méthodes éprouvées, mais traditionnellement distinctes, d'aborder le même problème pour obtenir des résultats plus rapides et plus précis.

L'équipe de Kraska a démontré que la nouvelle approche fonctionnait, mais elle n'a pas formellement expliqué pourquoi. Cette tâche a été confiée à Michael Mitzenmacher, spécialiste des filtres de Bloom à l'université de Harvard, qui a trouvé l'article de Kraska "novateur et passionnant", mais aussi fondamentalement insatisfaisant. "Ils font des expériences en disant que leurs algorithmes fonctionnent mieux. Mais qu'est-ce que cela signifie exactement ?" a-t-il demandé. "Comment le savons-nous ?"

En 2019, Mitzenmacher a proposé une définition formelle d'un filtre de Bloom INSTRUIT et a analysé ses propriétés mathématiques, fournissant une théorie qui explique exactement comment il fonctionne. Et alors que Kraska et son équipe ont montré que cela pouvait fonctionner dans un cas, Mitzenmacher a prouvé que cela pouvait toujours fonctionner.

Mitzenmacher a également amélioré les filtres de Bloom appris. Il a montré que l'ajout d'un autre filtre de Bloom standard au processus, cette fois avant le RNN, peut pré-filtrer les cas négatifs et faciliter le travail du classificateur. Il a ensuite prouvé qu'il s'agissait d'une amélioration en utilisant la théorie qu'il a développée.

Les débuts des algorithmes avec prédiction ont suivi ce chemin cyclique : des idées novatrices, comme les filtres de Bloom appris, inspirent des résultats mathématiques rigoureux et une compréhension, qui à leur tour conduisent à d'autres idées nouvelles. Au cours des dernières années, les chercheurs ont montré comment intégrer les algorithmes avec prédictions dans les algorithmes d'ordonnancement, la conception de puces et la recherche de séquences d'ADN.

Outre les gains de performance, ce domaine fait également progresser une approche de l'informatique de plus en plus populaire : rendre les algorithmes plus efficaces en les concevant pour des utilisations typiques.

À l'heure actuelle, les informaticiens conçoivent souvent leurs algorithmes pour qu'ils réussissent dans le scénario le plus difficile, celui conçu par un adversaire qui tente de les faire échouer. Par exemple, imaginez que vous essayez de vérifier la sécurité d'un site web sur les virus informatiques. Le site est peut-être inoffensif, mais il contient le terme "virus informatique" dans l'URL et le titre de la page. La confusion est telle que même les algorithmes les plus sophistiqués ne savent plus où donner de la tête.

Indyk appelle cela une approche paranoïaque. "Dans la vie réelle, dit-il, les entrées ne sont généralement pas générées par des adversaires." La plupart des sites Web que les employés visitent, par exemple, ne sont pas aussi compliqués que notre hypothétique page de virus, et il est donc plus facile pour un algorithme de les classer. En ignorant les pires scénarios, les chercheurs peuvent concevoir des algorithmes adaptés aux situations qu'ils sont susceptibles de rencontrer. Par exemple, alors qu'à l'heure actuelle, les bases de données traitent toutes les données de la même manière, les algorithmes avec prédiction pourraient conduire à des bases de données qui structurent le stockage de leurs données en fonction de leur contenu et de leur utilisation.

Et ce n'est encore qu'un début, car les programmes qui utilisent l'apprentissage automatique pour améliorer leurs algorithmes ne le font généralement que de manière limitée. Comme le filtre de Bloom, la plupart de ces nouvelles structures n'intègrent qu'un seul élément d'apprentissage automatique. M. Kraska imagine un système entier construit à partir de plusieurs pièces distinctes, dont chacune repose sur des algorithmes avec des prédictions et dont les interactions sont régulées par des composants améliorés par les prédictions.

"Tirer parti de cela aura un impact sur de nombreux domaines".

Gageons qu'avec de tels systèmes, un site comme FLP se retrouve à peu près certain de ne jamais être accepté par un filtre de Bloom - ou un filtre de Bloom instruit. Qui sont - objectivement - des instruments de contrôle, et donc de fermeture.  (Note du traducteur).

Auteur: Internet

Info: Nick Thieme, https://www.quantamagazine.org, A I, Machine Learning Reimagines the Building Blocks of Computing, March 15, 2022. Trad Mg

[ censure numérique ] [ triage web ] [ citation s'appliquant à ce logiciel ]

tour d'horizon de l'IA

Intelligence artificielle symbolique et machine learning, l’essor des technologies disruptives

Définie par le parlement Européen comme la " reproduction des comportements liés aux humains, tels que le raisonnement, la planification et la créativité ", l’intelligence artificielle s’initie de façon spectaculaire dans nos vies. Théorisée au milieu des années 50, plusieurs approches technologiques coexistent telles que l’approche machine learning dite statistique basée sur l’apprentissage automatique, ou l’approche symbolique basée sur l’interprétation et la manipulation des symboles. Mais comment se différencient ces approches ? Et pour quels usages ?

L’intelligence artificielle, une histoire ancienne

Entre les années 1948 et 1966, l’Intelligence Artificielle a connu un essor rapide, stimulé par des financements importants du gouvernement américain pour des projets de recherche sur l’IA, notamment en linguistique. Des progrès significatifs ont été réalisés dans la résolution de problèmes de logique symbolique, mais la capacité de l’IA à traiter des données complexes et imprécises était encore limitée.

A la fin des années 70, plus précisément lors du deuxième “été de l’IA” entre 1978 et 1987,  l’IA connaît un regain d’intérêt. Les chercheurs ont commencé à explorer de nouvelles approches, notamment l’utilisation de réseaux neuronaux et de systèmes experts. Les réseaux neuronaux sont des modèles de traitement de l’information inspirés par le fonctionnement du cerveau humain, tandis que les systèmes experts sont des programmes informatiques qui simulent l’expertise humaine dans un domaine spécifique.

Il faudra attendre la fin des années 90 pour voir un renouveau de ces domaines scientifiques, stimulé par des avancées majeures dans le traitement des données et les progrès de l’apprentissage automatique. C’est d’ailleurs dans cette période qu’une IA, Deepblue, gagne contre le champion mondial Garry Kasparov aux échecs.$

Au cours des dernières années, cette technologie a connu une croissance exponentielle, stimulée par des progrès majeurs dans le deep learning, la robotique ou la compréhension du langage naturel (NLU). L’IA est maintenant utilisée dans un large éventail de domaines, notamment la médecine, l’agriculture, l’industrie et les services. C’est aujourd’hui un moteur clé de l’innovation et de la transformation de notre monde, accentué par l’essor des generative AIs. 

Parmi ces innovations, deux grandes approches en intelligence artificielle sont aujourd’hui utilisées : 

1 - Le Machine Learning : qui est un système d’apprentissage automatique basé sur l’exploitation de données, imitant un réseau neuronal

2 - L’IA Symbolique : qui se base sur un système d’exploitation de " symboles ”, ce qui inspire des technologies comme le “système expert” basé sur une suite de règles par exemple.

Mais comment fonctionnent ces deux approches et quels sont leurs avantages et leurs inconvénients ? Quels sont leurs champs d’application ? Peuvent-ils être complémentaires ?

Le machine learning

Le Machine Learning est le courant le plus populaire ces dernières années, il est notamment à l’origine de ChatGPT ou bien MidJourney, qui font beaucoup parler d’eux ces derniers temps. Le Machine Learning (ML) est une famille de méthodes d’apprentissage automatique qui permet aux ordinateurs d’apprendre à partir de données, sans être explicitement programmés. En utilisant des algorithmes, le ML permet aux ordinateurs de comprendre les structures et les relations dans les données et de les utiliser pour prendre des décisions.

Le ML consiste à entraîner des modèles informatiques sur de vastes ensembles de données. Ces modèles sont des algorithmes auto apprenant se basant sur des échantillons de données, tout en déterminant des schémas et des relations/corrélations entre elles. Le processus d’entraînement consiste à fournir à l’algorithme des données étiquetées, c’est-à-dire des données qui ont déjà été classifiées ou étiquetées pour leur attribuer une signification. L’algorithme apprend ensuite à associer les caractéristiques des données étiquetées aux catégories définies en amont. Il existe cependant une approche non-supervisée qui consiste à découvrir ce que sont les étiquettes elles-mêmes (ex: tâche de clustering).

Traditionnellement, le machine learning se divise en 4 sous-catégories : 

Apprentissage supervisé : 

Les ensembles de données sont étiquetés, ce qui permet à l’algorithme de trouver des corrélations et des relations entre les caractéristiques des données et les étiquettes correspondantes. 

Apprentissage non supervisé : 

Les ensembles de données ne sont pas étiquetés et l’algorithme doit découvrir les étiquettes par lui-même. 

Apprentissage semi-supervisé : 

L’algorithme utilise un mélange de données étiquetées et non étiquetées pour l’entraînement.

Apprentissage par renforcement : 

L’algorithme apprend à prendre des décisions en interagissant avec son environnement. Il reçoit des récompenses ou des pénalités pour chaque action, ce qui lui permet d’ajuster sa stratégie pour maximiser sa récompense globale.

Un exemple d’application du Machine Learning est la reconnaissance d’images. Des modèles d’apprentissages profonds sont entraînés sur des millions d’images pour apprendre à reconnaître des objets, des personnes, des animaux, etc. Un autre exemple est la prédiction de la demande dans le commerce de détail, où des modèles sont entraînés sur des données de ventes passées pour prédire les ventes futures.

Quels sont les avantages ? 

Étant entraîné sur un vaste corpus de données, le ML permet de prédire des tendances en fonction de données.  

- Le machine learning offre la capacité de détecter des tendances and des modèles dans les données qui peuvent échapper à l’observation humaine.

- Une fois configuré, le machine learning peut fonctionner de manière autonome, sans l’intervention humaine. Par exemple, dans le domaine de la cybersécurité, il peut surveiller en permanence le trafic réseau pour identifier les anomalies.

- Les résultats obtenus par le machine learning peuvent s’affiner et s’améliorer avec le temps, car l’algorithme peut apprendre de nouvelles informations et ajuster ses prédictions en conséquence.

- Le machine learning est capable de traiter des volumes massifs et variés de données, même dans des environnements dynamiques et complexes.

L’intelligence artificielle symbolique

L’IA symbolique est une autre approche de l’intelligence artificielle. Elle utilise des symboles and des règles de traitement de l’information pour effectuer des tâches. Les symboles peuvent être des concepts, des objets, des relations, etc. Les règles peuvent être des règles de déduction, des règles de production, des règles d’inférence…etc.

Un exemple d’application de l’IA symbolique est le système expert. Un système expert est un programme informatique qui utilise des règles de déduction pour résoudre des problèmes dans un domaine spécifique, comme le diagnostic médical ou l’aide à la décision en entreprise. Un autre exemple est la traduction automatique basée sur des règles, les règles de grammaire et de syntaxe sont utilisées pour traduire un texte d’une langue à une autre.

Quelques exemples d’usages de l’IA symbolique :

La traduction

L’IA symbolique a été utilisée pour développer des systèmes de traduction automatique basés sur des règles. Ces systèmes utilisent des règles de grammaire et de syntaxe pour convertir un texte d’une langue à une autre. Par exemple, le système SYSTRAN, développé dans les années 1960, est un des premiers systèmes de traduction automatique basé sur des règles. Ce type de système se distingue des approches basées sur le Machine Learning, comme Google Translate, qui utilisent des modèles statistiques pour apprendre à traduire des textes à partir de corpus bilingues.

Le raisonnement logique

L’IA symbolique est également utilisée pour développer des systèmes capables de raisonnement logique, en exploitant des règles et des connaissances déclaratives pour résoudre des problèmes complexes. Par exemple, les systèmes d’aide à la décision basés sur des règles peuvent être utilisés dans des domaines tels que la finance, l’assurance ou la logistique, pour aider les entreprises à prendre des décisions éclairées. Un exemple concret est le système MYCIN, développé dans les années 1970 pour aider les médecins à diagnostiquer des infections bactériennes et à prescrire des antibiotiques adaptés.

L’analyse de textes

L’IA symbolique peut être utilisée pour l’analyse de textes, en exploitant des règles et des connaissances linguistiques pour extraire des informations pertinentes à partir de documents. Par exemple, les systèmes d’extraction d’information basés sur des règles peuvent être utilisés pour identifier des entités nommées (noms de personnes, d’organisations, de lieux, etc.) et des relations entre ces entités dans des textes. Un exemple d’application est l’analyse et la catégorisation des messages entrants pour les entreprises, cœur de métier de Golem.ai avec la solution InboxCare.

Les avantages de l’IA symbolique 

L’IA symbolique est une approche qui utilise des symboles, et parfois des " règles” basées sur des connaissances, qui comporte plusieurs avantages :

- Explicablilité : Les décisions prises par les systèmes d’IA symbolique sont explicites et peuvent être expliquées en fonction des règles logiques et des connaissances déclaratives utilisées par le système. Cette transparence peut être essentielle dans des applications critiques, comme la médecine ou la défense.

- Frugalité : Contrairement au Machine Learning, l’IA symbolique ne nécessite pas d’entraînement, ce qui la rend moins gourmande en énergie à la fois lors de la conception et de l’utilisation.

- Adaptabilité : Les systèmes d’IA symbolique peuvent être facilement adaptés à de nouveaux domaines en ajoutant de nouvelles règles logiques et connaissances déclaratives à leurs bases de connaissances existantes, leurs permettant de s’adapter rapidement à de nouvelles situations.

L’intelligence artificielle hybride ou le neuro-symbolique 

Les systèmes hybrides combinent les avantages de l’IA symbolique et du Machine Learning en utilisant une approche mixte. Dans ce type de système, l’IA symbolique est utilisée pour représenter les connaissances et les règles logiques dans un domaine spécifique. Les techniques de Machine Learning sont ensuite utilisées pour améliorer les performances de l’IA symbolique en utilisant des ensembles de données pour apprendre des modèles de décision plus précis et plus flexibles. Mais nous pouvons également voir d’autres articulations comme la taxonomie de Kautz par exemple.

L’IA symbolique est souvent utilisée dans des domaines où il est important de comprendre et de contrôler la façon dont les décisions sont prises, comme la médecine, la finance ou la sécurité. En revanche, le Machine Learning est souvent utilisé pour des tâches de classification ou de prédiction à grande échelle, telles que la reconnaissance de voix ou d’image, ou pour détecter des modèles dans des données massives.

En combinant les deux approches, les systèmes hybrides peuvent bénéficier de la compréhensibilité et de la fiabilité de l’IA symbolique, tout en utilisant la flexibilité et la capacité de traitement massif de données du Machine Learning pour améliorer la performance des décisions. Ces systèmes hybrides peuvent également offrir une plus grande précision et un temps de réponse plus rapide que l’une ou l’autre approche utilisée seule.

Que retenir de ces deux approches ?

L’Intelligence Artificielle est en constante évolution et transforme de nombreux secteurs d’activité. Les deux approches principales de l’IA ont leurs avantages et inconvénients et peuvent être complémentaires. Il est donc crucial pour les entreprises de comprendre ces technologies pour rester compétitives. 

Cependant, les implications éthiques et sociales de l’IA doivent également être prises en compte. Les décisions des algorithmes peuvent avoir un impact sur la vie des personnes, leur travail, leurs droits et leurs libertés. Il est donc essentiel de mettre en place des normes éthiques et des réglementations pour garantir que l’IA soit au service de l’humanité. Les entreprises et les gouvernements doivent travailler ensemble pour développer des IA responsables, transparentes et équitables qui servent les intérêts de tous. En travaillant ensemble, nous pouvons assurer que l’IA soit une force positive pour l’humanité dans les années à venir. 



 

Auteur: Merindol Hector

Info: https://golem.ai/en/blog/technologie/ia-symbolique-machinelearning-nlp - 4 avril 2023

[ dualité ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

homme-machine

Une nouvelle approche du calcul réinvente l'intelligence artificielle

Par l'imprégnation d'énormes vecteurs de sens sémantique, nous pouvons amener les machines à raisonner de manière plus abstraite et plus efficace qu'auparavant.

Malgré le succès retentissant de ChatGPT et d'autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.

D'une part, les ANN sont "super gourmands en énergie", a déclaré Cornelia Fermüller , informaticienne à l'Université du Maryland. "Et l'autre problème est [leur] manque de transparence." De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu'ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que font les humains - en utilisant des symboles pour les objets, les idées et les relations entre eux.

Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.

Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d'avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également la couleur de la forme - bleu ou rouge - vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.

Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. "Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons", a déclaré Bruno Olshausen , neuroscientifique à l'Université de Californie à Berkeley. "Donc, vous auriez dans votre cerveau, [disons,] un détecteur Volkswagen violet."

Au lieu de cela, Olshausen et d'autres soutiennent que l'information dans le cerveau est représentée par l'activité de nombreux neurones. Ainsi, la perception d'une Volkswagen violette n'est pas codée comme les actions d'un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).

C'est le point de départ d'une approche radicalement différente de l'informatique connue sous le nom d'informatique hyperdimensionnelle. La clé est que chaque élément d'information, comme la notion d'une voiture, ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.

Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : les coordonnées x , y et z d'un point dans l'espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l'algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l'informatique moderne au-delà de certaines de ses limites actuelles et favoriser une nouvelle approche de l'intelligence artificielle.

"C'est ce qui m'a le plus enthousiasmé, pratiquement de toute ma carrière", a déclaré Olshausen. Pour lui et pour beaucoup d'autres, l'informatique hyperdimensionnelle promet un nouveau monde dans lequel l'informatique est efficace et robuste, et les décisions prises par les machines sont entièrement transparentes.

Entrez dans les espaces de grande dimension

Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Nous avons d'abord besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs pouvant être affectées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.

Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l'espace 3D, il existe trois vecteurs orthogonaux entre eux : un dans la direction x , un autre dans la direction y et un troisième dans la direction z . Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.

Mais si nous permettons aux vecteurs d'être presque orthogonaux, le nombre de ces vecteurs distincts dans un espace de grande dimension explose. Dans un espace à 10 000 dimensions, il existe des millions de vecteurs presque orthogonaux.

Créons maintenant des vecteurs distincts pour représenter FORME, COULEUR, CERCLE, CARRÉ, BLEU et ROUGE. Parce qu'il y a tellement de vecteurs presque orthogonaux possibles dans un espace de grande dimension, vous pouvez simplement assigner six vecteurs aléatoires pour représenter les six éléments ; ils sont presque garantis d'être presque orthogonaux. "La facilité de créer des vecteurs presque orthogonaux est une raison majeure d'utiliser la représentation hyperdimensionnelle", a écrit Pentti Kanerva , chercheur au Redwood Center for Theoretical Neuroscience de l'Université de Californie à Berkeley, dans un article influent de 2009.

L'article s'appuyait sur des travaux effectués au milieu des années 1990 par Kanerva et Tony Plate, alors étudiant au doctorat avec Geoff Hinton à l'Université de Toronto. Les deux ont développé indépendamment l'algèbre pour manipuler les hypervecteurs et ont fait allusion à son utilité pour le calcul en haute dimension.

Étant donné nos hypervecteurs pour les formes et les couleurs, le système développé par Kanerva et Plate nous montre comment les manipuler à l'aide de certaines opérations mathématiques. Ces actions correspondent à des manières de manipuler symboliquement des concepts.

La première opération est la multiplication. C'est une façon de combiner les idées. Par exemple, multiplier le vecteur FORME par le vecteur CERCLE lie les deux en une représentation de l'idée "LA FORME est CERCLE". Ce nouveau vecteur "lié" est presque orthogonal à la fois à SHAPE et à CIRCLE. Et les composants individuels sont récupérables - une caractéristique importante si vous souhaitez extraire des informations à partir de vecteurs liés. Étant donné un vecteur lié qui représente votre Volkswagen, vous pouvez dissocier et récupérer le vecteur pour sa couleur : VIOLET.

La deuxième opération, l'addition, crée un nouveau vecteur qui représente ce qu'on appelle une superposition de concepts. Par exemple, vous pouvez prendre deux vecteurs liés, "SHAPE is CIRCLE" et "COLOR is RED", et les additionner pour créer un vecteur qui représente une forme circulaire de couleur rouge. Là encore, le vecteur superposé peut être décomposé en ses constituants.

La troisième opération est la permutation ; cela implique de réorganiser les éléments individuels des vecteurs. Par exemple, si vous avez un vecteur tridimensionnel avec des valeurs étiquetées x , y et z , la permutation peut déplacer la valeur de x vers y , y vers z et z vers x. "La permutation vous permet de construire une structure", a déclaré Kanerva. "Ça permet de gérer des séquences, des choses qui se succèdent." Considérons deux événements, représentés par les hypervecteurs A et B. Nous pouvons les superposer en un seul vecteur, mais cela détruirait les informations sur l'ordre des événements. La combinaison de l'addition et de la permutation préserve l'ordre ; les événements peuvent être récupérés dans l'ordre en inversant les opérations.

Ensemble, ces trois opérations se sont avérées suffisantes pour créer une algèbre formelle d'hypervecteurs permettant un raisonnement symbolique. Mais de nombreux chercheurs ont été lents à saisir le potentiel de l'informatique hyperdimensionnelle, y compris Olshausen. "Cela n'a tout simplement pas été pris en compte", a-t-il déclaré.

Exploiter le pouvoir

En 2015, un étudiant d'Olshausen nommé Eric Weiss a démontré un aspect des capacités uniques de l'informatique hyperdimensionnelle. Weiss a compris comment représenter une image complexe comme un seul vecteur hyperdimensionnel contenant des informations sur tous les objets de l'image, y compris leurs propriétés, telles que les couleurs, les positions et les tailles.

"Je suis pratiquement tombé de ma chaise", a déclaré Olshausen. "Tout d'un coup, l'ampoule s'est allumée."

Bientôt, d'autres équipes ont commencé à développer des algorithmes hyperdimensionnels pour reproduire des tâches simples que les réseaux de neurones profonds avaient commencé à effectuer environ deux décennies auparavant, comme la classification d'images.

Considérons un ensemble de données annotées composé d'images de chiffres manuscrits. Un algorithme analyse les caractéristiques de chaque image en utilisant un schéma prédéterminé. Il crée ensuite un hypervecteur pour chaque image. Ensuite, l'algorithme ajoute les hypervecteurs pour toutes les images de zéro pour créer un hypervecteur pour l'idée de zéro. Il fait ensuite la même chose pour tous les chiffres, créant 10 hypervecteurs "de classe", un pour chaque chiffre.

Maintenant, l'algorithme reçoit une image non étiquetée. Il crée un hypervecteur pour cette nouvelle image, puis compare l'hypervecteur aux hypervecteurs de classe stockés. Cette comparaison détermine le chiffre auquel la nouvelle image ressemble le plus.

Pourtant, ce n'est que le début. Les points forts de l'informatique hyperdimensionnelle résident dans la capacité de composer et de décomposer des hypervecteurs pour le raisonnement. La dernière démonstration en date a eu lieu en mars, lorsqu'Abbas Rahimi et ses collègues d'IBM Research à Zurich ont utilisé l'informatique hyperdimensionnelle avec des réseaux de neurones pour résoudre un problème classique de raisonnement visuel abstrait - un défi important pour les RNA typiques, et même certains humains. Connu sous le nom de matrices progressives de Raven, le problème présente des images d'objets géométriques dans, disons, une grille 3 par 3. Une position dans la grille est vide. Le sujet doit choisir, parmi un ensemble d'images candidates, l'image qui correspond le mieux au blanc.

"Nous avons dit:" C'est vraiment ... l'exemple qui tue pour le raisonnement abstrait visuel, allons-y "", a déclaré Rahimi.

Pour résoudre le problème à l'aide de l'informatique hyperdimensionnelle, l'équipe a d'abord créé un dictionnaire d'hypervecteurs pour représenter les objets dans chaque image ; chaque hypervecteur du dictionnaire représente un objet et une combinaison de ses attributs. L'équipe a ensuite formé un réseau de neurones pour examiner une image et générer un hypervecteur bipolaire - un élément peut être +1 ou -1 - aussi proche que possible d'une superposition d'hypervecteurs dans le dictionnaire ; l'hypervecteur généré contient donc des informations sur tous les objets et leurs attributs dans l'image. "Vous guidez le réseau de neurones vers un espace conceptuel significatif", a déclaré Rahimi.

Une fois que le réseau a généré des hypervecteurs pour chacune des images de contexte et pour chaque candidat pour l'emplacement vide, un autre algorithme analyse les hypervecteurs pour créer des distributions de probabilité pour le nombre d'objets dans chaque image, leur taille et d'autres caractéristiques. Ces distributions de probabilité, qui parlent des caractéristiques probables à la fois du contexte et des images candidates, peuvent être transformées en hypervecteurs, permettant l'utilisation de l'algèbre pour prédire l'image candidate la plus susceptible de remplir l'emplacement vacant.

Leur approche était précise à près de 88 % sur un ensemble de problèmes, tandis que les solutions de réseau neuronal uniquement étaient précises à moins de 61 %. L'équipe a également montré que, pour les grilles 3 par 3, leur système était presque 250 fois plus rapide qu'une méthode traditionnelle qui utilise des règles de logique symbolique pour raisonner, car cette méthode doit parcourir un énorme livre de règles pour déterminer la bonne prochaine étape.

Un début prometteur

Non seulement l'informatique hyperdimensionnelle nous donne le pouvoir de résoudre symboliquement des problèmes, mais elle résout également certains problèmes épineux de l'informatique traditionnelle. Les performances des ordinateurs d'aujourd'hui se dégradent rapidement si les erreurs causées, par exemple, par un retournement de bit aléatoire (un 0 devient 1 ou vice versa) ne peuvent pas être corrigées par des mécanismes de correction d'erreurs intégrés. De plus, ces mécanismes de correction d'erreurs peuvent imposer une pénalité sur les performances allant jusqu'à 25 %, a déclaré Xun Jiao , informaticien à l'Université de Villanova.

Le calcul hyperdimensionnel tolère mieux les erreurs, car même si un hypervecteur subit un nombre important de retournements de bits aléatoires, il reste proche du vecteur d'origine. Cela implique que tout raisonnement utilisant ces vecteurs n'est pas significativement impacté face aux erreurs. L'équipe de Jiao a montré que ces systèmes sont au moins 10 fois plus tolérants aux pannes matérielles que les ANN traditionnels, qui sont eux-mêmes des ordres de grandeur plus résistants que les architectures informatiques traditionnelles. "Nous pouvons tirer parti de toute [cette] résilience pour concevoir du matériel efficace", a déclaré Jiao.

Un autre avantage de l'informatique hyperdimensionnelle est la transparence : l'algèbre vous indique clairement pourquoi le système a choisi la réponse qu'il a choisie. Il n'en va pas de même pour les réseaux de neurones traditionnels. Olshausen, Rahimi et d'autres développent des systèmes hybrides dans lesquels les réseaux de neurones cartographient les éléments du monde physique en hypervecteurs, puis l'algèbre hyperdimensionnelle prend le relais. "Des choses comme le raisonnement analogique vous tombent dessus", a déclaré Olshausen. "C'est ce que nous devrions attendre de tout système d'IA. Nous devrions pouvoir le comprendre comme nous comprenons un avion ou un téléviseur.

Tous ces avantages par rapport à l'informatique traditionnelle suggèrent que l'informatique hyperdimensionnelle est bien adaptée à une nouvelle génération de matériel extrêmement robuste et à faible consommation d'énergie. Il est également compatible avec les "systèmes informatiques en mémoire", qui effectuent le calcul sur le même matériel qui stocke les données (contrairement aux ordinateurs von Neumann existants qui transfèrent inefficacement les données entre la mémoire et l'unité centrale de traitement). Certains de ces nouveaux appareils peuvent être analogiques, fonctionnant à très basse tension, ce qui les rend économes en énergie mais également sujets aux bruits aléatoires. Pour l'informatique de von Neumann, ce caractère aléatoire est "le mur que vous ne pouvez pas franchir", a déclaré Olshausen. Mais avec l'informatique hyperdimensionnelle, "vous pouvez simplement percer".

Malgré ces avantages, l'informatique hyperdimensionnelle en est encore à ses balbutiements. "Il y a un vrai potentiel ici", a déclaré Fermüller. Mais elle souligne qu'il doit encore être testé contre des problèmes du monde réel et à des échelles plus grandes, plus proches de la taille des réseaux de neurones modernes.

"Pour les problèmes à grande échelle, cela nécessite un matériel très efficace", a déclaré Rahimi. "Par exemple, comment [faites-vous] une recherche efficace sur plus d'un milliard d'articles ?"

Tout cela devrait venir avec le temps, a déclaré Kanerva. "Il y a d'autres secrets [que] les espaces de grande dimension détiennent", a-t-il déclaré. "Je vois cela comme le tout début du temps pour le calcul avec des vecteurs."

Auteur: Ananthaswamy Anil

Info: https://www.quantamagazine.org/ Mais 2023

[ machine learning ]

évolution technologique

Intelligence artificielle ou stupidité réelle ?

Bien que le battage médiatique augmente la sensibilisation à l'IA, il facilite également certaines activités assez stupides et peut distraire les gens de la plupart des progrès réels qui sont réalisés.
Distinguer la réalité des manchettes plus dramatiques promet d'offrir des avantages importants aux investisseurs, aux entrepreneurs et aux consommateurs.

L'intelligence artificielle a acquis sa notoriété récente en grande partie grâce à des succès très médiatisés tels que la victoire d'IBM Watson à Jeopardy et celle de Google AlphaGo qui a battu le champion du monde au jeu "Go". Waymo, Tesla et d'autres ont également fait de grands progrès avec les véhicules auto-propulsés. Richard Waters a rendu compte de l'étendue des applications de l'IA dans le Financial Times : "S'il y a un message unificateur qui sous-tend la technologie grand public exposée [au Consumer Electronics Show] .... c'est : "L'IA partout."

Les succès retentissants de l'IA ont également capturé l'imagination des gens à un tel point que cela a suscité d'autres efforts d'envergure. Un exemple instructif a été documenté par Thomas H. Davenport et Rajeev Ronanki dans le Harvard Business Review. Ils écrirent, "En 2013, le MD Anderson Cancer Center a lancé un projet ""Moon shot " : diagnostiquer et recommander des plans de traitement pour certaines formes de cancer en utilisant le système cognitif Watson d'IBM". Malheureusement, ce système n'a pas fonctionné et en 2017 le projet fut mis en veilleuse après avoir coûté plus de 62 millions de dollars sans avoir été utilisé pour les patients.

Waters a également abordé un autre message, celui des attentes modérées. En ce qui concerne les "assistants personnels à commande vocale", note-t-elle, "on ne sait pas encore si la technologie est capable de remplacer le smartphone pour naviguer dans le monde numérique autrement autrement que pour écouter de la musique ou vérifier les nouvelles et la météo".

D'autres exemples de prévisions modérées abondent. Generva Allen du Baylor College of Medicine et de l'Université Rice a avertit , "Je ne ferais pas confiance à une très grande partie des découvertes actuellement faites qui utilisent des techniques de machine learning appliquées à de grands ensembles de données". Le problème, c'est que bon nombre des techniques sont conçues pour fournir des réponses précises et que la recherche comporte des incertitudes. Elle a précisé : "Parfois, il serait beaucoup plus utile qu'ils reconnaissent que certains sont vraiment consolidés, mais qu'on est pas sûr pour beaucoup d'autres".

Pire encore, dans les cas extrêmes, l'IA n'est pas seulement sous-performante ; elle n'a même pas encore été mise en œuvre. Le FT rapporte, "Quatre jeunes entreprises européennes sur dix n'utilisent aucun programme d'intelligence artificielle dans leurs produits, selon un rapport qui souligne le battage publicitaire autour de cette technologie.

Les cycles d'attentes excessives suivies de vagues de déception ne sont pas surprenants pour ceux qui ont côtoyé l'intelligence artificielle pendant un certain temps. Ils savent que ce n'est pas le premier rodéo de l'IA. En effet, une grande partie du travail conceptuel date des années 1950. D'ailleurs, en passant en revue certaines de mes notes récentes je suis tombé sur une pièce qui explorait les réseaux neuronaux dans le but de choisir des actions - datant de 1993.

La meilleure façon d'avoir une perspective sur l'IA est d'aller directement à la source et Martin Ford nous en donne l'occasion dans son livre, Architects of Intelligence. Organisé sous la forme d'une succession d'entrevues avec des chercheurs, des universitaires et des entrepreneurs de premier plan de l'industrie, le livre présente un historique utile de l'IA et met en lumière les principaux courants de pensée.

Deux perspectives importantes se dégagent de ce livre.

La première est qu'en dépit des origines et des personnalités disparates des personnes interrogées, il existe un large consensus sur des sujets importants.

L'autre est qu'un grand nombre des priorités et des préoccupations des principales recherches sur l'IA sont bien différentes de celles exprimées dans les médias grand public.

Prenons par exemple le concept d'intelligence générale artificielle (AGI). Qui est étroitement lié à la notion de "singularité" ce point où l'IA rejoindra celle de l'homme - avant un dépassement massif de cette dernière. Cette idée et d'autres ont suscité des préoccupations au sujet de l'IA, tout comme les pertes massives d'emplois, les drones tueurs et une foule d'autres manifestations alarmantes.

Les principaux chercheurs en AI ont des points de vue très différents ; ils ne sont pas du tout perturbés par l'AGI et autres alarmismes.

Geoffrey Hinton, professeur d'informatique à l'Université de Toronto et vice-président et chercheur chez Google, dit : "Si votre question est : Quand allons-nous obtenir un commandant-docteur Data (comme dans Star Trek ) je ne crois pas que ce sera comme çà que ça va se faire. Je ne pense pas qu'on aura des programmes uniques et généralistes comme ça."

Yoshua Bengio, professeur d'informatique et de recherche opérationnelle à l'Université de Montréal, nous dit qu'il y a des problèmes très difficiles et que nous sommes très loin de l'IA au niveau humain. Il ajoute : "Nous sommes tous excités parce que nous avons fait beaucoup de progrès dans cette ascension, mais en nous approchant du sommet, nous apercevons d'autres collines qui s'élèvent devant nous au fur et à mesure".

Barbara Grosz, professeur de sciences naturelles à l'Université de Harvard : "Je ne pense pas que l'AGI soit la bonne direction à prendre". Elle soutient que la poursuite de l'AGI (et la gestion de ses conséquences) sont si loin dans l'avenir qu'elles ne sont que "distraction".

Un autre fil conducteur des recherches sur l'IA est la croyance que l'IA devrait être utilisée pour améliorer le travail humain plutôt que le remplacer.

Cynthia Breazeal, directrice du groupe de robots personnels du laboratoire de médias du MIT, aborde la question : "La question est de savoir quelle est la synergie, quelle est la complémentarité, quelle est l'amélioration qui permet d'étendre nos capacités humaines en termes d'objectifs, ce qui nous permet d'avoir vraiment un plus grand impact dans le monde, avec l'IA."

Fei-Fei Li, professeur d'informatique à Stanford et scientifique en chef pour Google Cloud dit lui : "L'IA en tant que technologie a énormément de potentiel pour valoriser et améliorer le travail, sans le remplacer".

James Manyika, président du conseil et directeur du McKinsey Global Institute, fait remarquer que puisque 60 % des professions ont environ un tiers de leurs activités qui sont automatisables et que seulement environ 10 % des professions ont plus de 90 % automatisables, "beaucoup plus de professions seront complétées ou augmentées par des technologies qu'elles ne seront remplacées".

De plus, l'IA ne peut améliorer le travail humain que si elle peut travailler efficacement de concert avec lui.

Barbara Grosz fait remarquer : "J'ai dit à un moment donné que 'les systèmes d'IA sont meilleurs s'ils sont conçus en pensant aux gens'". Je recommande que nous visions à construire un système qui soit un bon partenaire d'équipe et qui fonctionne si bien avec nous que nous ne nous rendions pas compte qu'il n'est pas humain".

David Ferrucci, fondateur d'Elemental Cognition et directeur d'IA appliquée chez Bridgewater Associates, déclare : " L'avenir que nous envisageons chez Elemental Cognition repose sur une collaboration étroite et fluide entre l'intelligence humaine et la machine. "Nous pensons que c'est un partenariat de pensée." Yoshua Bengio nous rappelle cependant les défis à relever pour former un tel partenariat : "Il ne s'agit pas seulement de la précision [avec l'IA], il s'agit de comprendre le contexte humain, et les ordinateurs n'ont absolument aucun indice à ce sujet."

Il est intéressant de constater qu'il y a beaucoup de consensus sur des idées clés telles que l'AGI n'est pas un objectif particulièrement utile en ce moment, l'IA devrait être utilisée pour améliorer et non remplacer le travail et l'IA devrait fonctionner en collaboration avec des personnes. Il est également intéressant de constater que ces mêmes leçons sont confirmées par l'expérience des entreprises.

Richard Waters décrit comment les implémentations de l'intelligence artificielle en sont encore à un stade assez rudimentaire.

Éliminez les recherches qui monopolisent les gros titres (un ordinateur qui peut battre les humains au Go !) et la technologie demeure à un stade très primaire .

Mais au-delà de cette "consumérisation" de l'IT, qui a mis davantage d'outils faciles à utiliser entre les mains, la refonte des systèmes et processus internes dans une entreprise demande beaucoup de travail.

Ce gros travail prend du temps et peu d'entreprises semblent présentes sur le terrain. Ginni Rometty, responsable d'IBM, qualifie les applications de ses clients d'"actes aléatoires du numérique" et qualifie nombre de projets de "hit and miss". (ratages). Andrew Moore, responsable de l'intelligence artificielle pour les activités de Google Cloud business, la décrit comme "intelligence artificielle artisanale". Rometty explique : "Ils ont tendance à partir d'un ensemble de données isolé ou d'un cas d'utilisation - comme la rationalisation des interactions avec un groupe particulier de clients. Tout ceci n'est pas lié aux systèmes, données ou flux de travail plus profonds d'une entreprise, ce qui limite leur impact."

Bien que le cas HBR du MD Anderson Cancer Center soit un bon exemple d'un projet d'IA "au clair de lune "qui a probablement dépassé les bornes, cela fournit également une excellente indication des types de travail que l'IA peut améliorer de façon significative. En même temps que le centre essayait d'appliquer l'IA au traitement du cancer, son "groupe informatique expérimentait l'utilisation des technologies cognitives pour des tâches beaucoup moins ambitieuses, telles que faire des recommandations d'hôtels et de restaurants pour les familles des patients, déterminer quels patients avaient besoin d'aide pour payer leurs factures, et résoudre les problèmes informatiques du personnel".

Dans cette entreprise, le centre a eu de bien meilleures expériences : "Les nouveaux systèmes ont contribué à accroître la satisfaction des patients, à améliorer le rendement financier et à réduire le temps consacré à la saisie fastidieuse des données par les gestionnaires de soins de l'hôpital. De telles fonctions banales ne sont peut-être pas exactement du ressort de Terminator, mais elles sont quand même importantes.

Optimiser l'IA dans le but d'augmenter le travail en collaborant avec les humains était également le point central d'une pièce de H. James Wilson et Paul R. Daugherty "HBRpiece". Ils soulignent : "Certes, de nombreuses entreprises ont utilisé l'intelligence artificielle pour automatiser leurs processus, mais celles qui l'utilisent principalement pour déplacer leurs employés ne verront que des gains de productivité à court terme. Grâce à cette intelligence collaborative, l'homme et l'IA renforcent activement les forces complémentaires de l'autre : le leadership, le travail d'équipe, la créativité et les compétences sociales de la première, la rapidité, l'évolutivité et les capacités quantitatives de la seconde".

Wilson et Daugherty précisent : "Pour tirer pleinement parti de cette collaboration, les entreprises doivent comprendre comment les humains peuvent le plus efficacement augmenter les machines, comment les machines peuvent améliorer ce que les humains font le mieux, et comment redéfinir les processus commerciaux pour soutenir le partenariat". Cela demande beaucoup de travail et cela va bien au-delà du simple fait de balancer un système d'IA dans un environnement de travail préexistant.

Les idées des principaux chercheurs en intelligence artificielle, combinées aux réalités des applications du monde réel, offrent des implications utiles. La première est que l'IA est une arme à double tranchant : le battage médiatique peut causer des distractions et une mauvaise attribution, mais les capacités sont trop importantes pour les ignorer.

Ben Hunt discute des rôles de la propriété intellectuelle (PI) et de l'intelligence artificielle dans le secteur des investissements, et ses commentaires sont largement pertinents pour d'autres secteurs. Il note : "L'utilité de la propriété intellectuelle pour préserver le pouvoir de fixation des prix est beaucoup moins fonction de la meilleure stratégie que la PI vous aide à établir, et beaucoup plus fonction de la façon dont la propriété intellectuelle s'intègre dans le l'esprit du temps (Zeitgeist) dominant dans votre secteur.

Il poursuit en expliquant que le "POURQUOI" de votre PI doit "répondre aux attentes de vos clients quant au fonctionnement de la PI" afin de protéger votre produit. Si vous ne correspondez pas à l'esprit du temps, personne ne croira que les murs de votre château existent, même si c'est le cas". Dans le domaine de l'investissement (et bien d'autres encore), "PERSONNE ne considère plus le cerveau humain comme une propriété intellectuelle défendable. Personne." En d'autres termes, si vous n'utilisez pas l'IA, vous n'obtiendrez pas de pouvoir de fixation des prix, quels que soient les résultats réels.

Cela fait allusion à un problème encore plus grave avec l'IA : trop de gens ne sont tout simplement pas prêts à y faire face.

Daniela Rus, directrice du laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT déclare : "Je veux être une optimiste technologique. Je tiens à dire que je vois la technologie comme quelque chose qui a le potentiel énorme d'unir les gens plutôt que les diviser, et de les autonomiser plutôt que de les désolidariser. Mais pour y parvenir, nous devons faire progresser la science et l'ingénierie afin de rendre la technologie plus performante et plus utilisable." Nous devons revoir notre façon d'éduquer les gens afin de nous assurer que tous ont les outils et les compétences nécessaires pour tirer parti de la technologie.

Yann Lecun ajoute : "Nous n'aurons pas de large diffusion de la technologie de l'IA à moins qu'une proportion importante de la population ne soit formée pour en tirer parti ".

Cynthia Breazeal répéte : "Dans une société de plus en plus alimentée par l'IA, nous avons besoin d'une société alphabétisée à l'IA."

Ce ne sont pas non plus des déclarations creuses ; il existe une vaste gamme de matériel d'apprentissage gratuit pour l'IA disponible en ligne pour encourager la participation sur le terrain.

Si la société ne rattrape pas la réalité de l'IA, il y aura des conséquences.

Brezeal note : "Les craintes des gens à propos de l'IA peuvent être manipulées parce qu'ils ne la comprennent pas."

Lecun souligne : " Il y a une concentration du pouvoir. À l'heure actuelle, la recherche sur l'IA est très publique et ouverte, mais à l'heure actuelle, elle est largement déployée par un nombre relativement restreint d'entreprises. Il faudra un certain temps avant que ce ne soit utilisé par une plus grande partie de l'économie et c'est une redistribution des cartes du pouvoir."

Hinton souligne une autre conséquence : "Le problème se situe au niveau des systèmes sociaux et la question de savoir si nous allons avoir un système social qui partage équitablement... Tout cela n'a rien à voir avec la technologie".

À bien des égards, l'IA est donc un signal d'alarme. En raison de l'interrelation unique de l'IA avec l'humanité, l'IA a tendance à faire ressortir ses meilleurs et ses pires éléments. Certes, des progrès considérables sont réalisés sur le plan technologique, ce qui promet de fournir des outils toujours plus puissants pour résoudre des problèmes difficiles. Cependant, ces promesses sont également limitées par la capacité des gens, et de la société dans son ensemble, d'adopter les outils d'IA et de les déployer de manière efficace.

Des preuves récentes suggèrent que nous avons du pain sur la planche pour nous préparer à une société améliorée par l'IA. Dans un cas rapporté par le FT, UBS a créé des "algorithmes de recommandation" (tels que ceux utilisés par Netflix pour les films) afin de proposer des transactions pour ses clients. Bien que la technologie existe, il est difficile de comprendre en quoi cette application est utile à la société, même de loin.

Dans un autre cas, Richard Waters nous rappelle : "Cela fait presque dix ans, par exemple, que Google a fait trembler le monde de l'automobile avec son premier prototype de voiture autopropulsée". Il continue : "La première vague de la technologie des voitures sans conducteur est presque prête à faire son entrée sur le marché, mais certains constructeurs automobiles et sociétés de technologie ne semblent plus aussi désireux de faire le grand saut. Bref, ils sont menacés parce que la technologie actuelle est à "un niveau d'autonomie qui fait peur aux constructeurs automobiles, mais qui fait aussi peur aux législateurs et aux régulateurs".

En résumé, que vous soyez investisseur, homme d'affaires, employé ou consommateur, l'IA a le potentiel de rendre les choses bien meilleures - et bien pires. Afin de tirer le meilleur parti de cette opportunité, un effort actif axé sur l'éducation est un excellent point de départ. Pour que les promesses d'AI se concrétisent, il faudra aussi déployer beaucoup d'efforts pour mettre en place des infrastructures de systèmes et cartographier les forces complémentaires. En d'autres termes, il est préférable de considérer l'IA comme un long voyage plutôt que comme une destination à court terme.

Auteur: Internet

Info: Zero Hedge, Ven, 03/15/2019 - 21:10

[ prospective ]