démocratie

Je suis un ardent défenseur des institutions républicaines, mais je constate qu'elles peinent à se conformer à leur concept.

Auteur: Wieviorka Michel

Info:

[ limitation ]

souffle

En littérature, il n'y a que des boeufs. Les génies sont les plus gros, ceux qui peinent dix-huit heures par jour d'une manière infatigable. La gloire est un effort constant.

Auteur: Renard Jules

Info: Journal, 1887

nature

Observez les lis des champs, comme ils poussent; ils ne peinent ni ne filent. Or, je vous dis que Salomon lui-même, dans toute sa gloire, n'a pas été vêtu comme l'un d'eux.

Auteur: la Bible

Info: Evangile selon saint Matthieu VI 28-29

[ souveraine ]

avenir

Je suis convaincu que la voie à suivre pour l'humanité consiste à reconnaître et à protéger le droit fondamental de souveraineté sur la conscience, à se défaire des chaînes d'héritages religieux qui divisent, à rechercher des formes de spiritualité (ou pas de spiritualité du tout si vous préférez) qui soutiennent véritablement la liberté et la tolérance, à aider l'esprit humain à grandir plutôt qu'à dépérir, et à nourrir notre capacité innée d'amour et de respect mutuel. Les anciennes voies sont en faillite, brisées, et de nouvelles peinent à naître. Chacun d'entre nous, avec ses propres talents et  ses propres choix, a un rôle à jouer dans ce processus.

Auteur: Hancock Graham

Info:

[ espérance ]

rapports humains

Dans les régimes démocratiques, la coexistence d'une pluralité de cultures, d'appartenances religieuses, de courants politiques ou de modes de vie est reconnue par la majorité des acteurs sociaux comme un bien et comme une richesse. Ce consensus de surface n'empêche cependant pas cet état de fait d'être source de tensions innombrables. Un des rôles dont se saisit le roman consiste alors à rendre compte des perturbations de la coexistence et des troubles que connaissent les sociétés différenciées lorsqu'elles font face à des conflits de valeurs. En mettant en scène des individus qui peinent à partager le même espace parce qu'ils manifestent des sensibilités différentes pour le monde qui les entoure, les romans qu'on va explorer s'inquiètent chacun à leur manière de notre capacité à vivre ensemble.

Auteur: Message Vincent

Info: Romanciers pluralistes

[ littérature ] [ tolérance ] [ écriture ]

écrire

Un écrivain ne doit pas et ne peut pas parler uniquement de lui. Cela n'a rien à voir avec l'idée romantique ou patriotique du "porte-parole du peuple". C'est l'essence même de l'écriture. Certains écrivains peuvent croire qu'ils sont leur unique sujet : s'ils ont un quelconque talent, c'est en fait l'histoire de leur temps et de leurs contemporains qu'ils racontent, sous forme d'autoportrait. Car tout autoportrait a un second plan, avec des petits personnages qui peinent ou qui gambadent, comme les représentaient les maîtres hollandais. Si un écrivain n'arrive à produire rien de plus qu'une image de lui-même sur fond noir, ce n'est qu'un misérable écrivaillon qui n'est jamais sorti de la puberté, quel que soit le nombre de scènes de baise qu'il met dans son roman.

Auteur: Skvorecký Josef

Info: Le camarade joueur de jazz

[ distanciation ] [ personnages périphériques ] [ analogie picturale ] [ recette ]

adaptation animale

Dans les abysses, des poissons absorbent 99,5% de la lumière entrante 

Dans les profondeurs océaniques, que les photons peinent à percer, les poissons ont développé toutes sortes de ressources pour les aider à se nourrir. Certains, par exemple, sont devenus experts en camouflage.

À l’instar des oiseaux de paradis, dont les plumes absorbent 99,95% de la lumière, et du Vantablack, cet objet créé par l’Homme capable d’en absorber autant, plusieurs espèces de poissons évoluant en eaux profondes ont développé une peau ultra-noire, capable d’absorber le moindre photon disponible (ou presque). Des chercheurs du Smithsonian Museum et de l’Université Duke (États-Unis) en ont répertorié une quinzaine. Ils détaillent leurs travaux dans la revue Current Biology.

Karen Osoborn, zoologiste au Smithsonian Museum, a d’abord été intriguée par ces poissons naturellement sombres après avoir essayé d’en photographier quelques-uns capturés dans des filets. Elle s’est alors très vite rendu compte que la grande majorité de leurs caractéristiques anatomiques étaient impossibles à isoler. "Peu importe comment vous configurez la caméra ou l’éclairage, ils aspirent simplement toute la lumière", explique-t-elle.

Des analyses en laboratoire ont finalement révélé pourquoi. La biologiste a découvert que de la mélanine – un pigment qui protège la peau humaine en absorbant 99,9% du rayonnement UV solaire – était présente en abondance dans la peau des spécimens étudiés. Mais pas que.

Ces pigments étaient également compactés dans des compartiments cellulaires, eux-mêmes rassemblés de manière très étroite. En outre, la taille, la forme et la disposition de ces cellules les amènent à diriger toute la lumière restante vers d’autres compartiments.

Grâce à cette approche, la plupart des poissons étudiés étaient capables d’absorber environ 99,5% des photons entrants.

"Si vous voulez vous fondre dans la noirceur infinie de votre environnement, aspirer chaque photon qui vous frappe est une excellente façon de procéder, explique Karen Osoborn. Ce qu’ils ont fait, c’est créer un piège à lumière super efficace. La lumière ne rebondit pas, et ne traverse pas. Elle pénètre simplement dans cette couche, puis disparaît".

Et ça marche !

Des modélisations informatiques ont en effet suggéré que cette capacité à réfléchir une quantité infime de lumière peut réduire de six fois la distance à laquelle ces prédateurs peuvent être repérés par leurs proies. Certains, notamment, sont des prédateurs d’embuscade qui ont développé des leurres bioluminescents. Les chercheurs soupçonnent ainsi que cette peau ultra-noire permet de les rendre invisibles à leur propre lumière.

Fait intéressant, les chercheurs ont même isolé une peau ultra-noire autour de l’intestin de l’une des espèces, nommée Cyclothone acclinidens. Selon eux, ce poisson aurait évolué ainsi pour absorber la lumière émise par ses proies bioluminescentes ingérées.

Auteur: Internet

Info: https://sciencepost.fr/, Brice Louvet, rédacteur sciences, 17 juillet 2020

[ obscurité totale ]

question

Stephen Paddock, le papy du futur ?
La tuerie de Las Vegas préfigure peut-être une nouvelle criminalité, celle des vieux et des malades qui n’ont rien à perdre dans une société du tout juridique où la morale n’a plus d’effet.
Stephen Craig Paddock, le tueur de Las Vegas, était trop vieux, trop riche, trop indifférent à la religion, à la politique - et même aux armes à feu - pour que son geste soit intelligible selon les grilles d’interprétation ordinaires. Et loin d’être un fou ou un être isolé, il était "normal", il avait une famille et une fiancée. Il n’avait d’ailleurs pas le moindre antécédent judiciaire. Angoissée par cette absence de sens, la presse chercha dans ses gènes l’explication de son massacre : son père avait été un gangster. Mais cette hypothèse loufoque ne satisfit personne. On prêta très peu d’attention au fait qu’il choisit de tuer des jeunes gens qui écoutaient un concert de musique country, celle que l’affreux retraité adorait. Des jeunes, donc, auxquels il aurait pu s’identifier. Comme si, au crépuscule de sa vie, il regrettait tant de quitter ses joies et ses délices qu’il en devint hargneux et envieux au point de vouloir éliminer ceux qui avaient devant eux de longues décennies pour en profiter.
Peut-être avait-il choisi d’en finir avec sa propre existence, ne supportant pas la vieillesse ou une maladie grave. Mais avant, Paddock voulait assouvir sa haine envers les jeunes bienheureux.
Cette hypothèse serait terrifiante si on la prenait non pas comme l’explication de l’acte isolé d’un homme mais comme une nouvelle manière d’appréhender nos rapports aux normes. En effet, que se passerait-il si la seule contrainte que nous ressentions était celle de la loi, si nous nous détachions complètement de celle de la morale ? Celle-ci était la grande obsession de la romancière américaine Patricia Highsmith. Dans son roman Ripley s’amuse, elle avait imaginé les comportements d’un homme, au bord de la mort, à qui l’on proposait de tuer pour sauver sa famille de la misère.
Bien sûr, la plupart de ceux qui arrivent à la fin de leur vie ne commettent pas des actes aussi graves, même si ces derniers restent impunis, parce que des contraintes morales les en empêchent justement.
Mais notre société ne cesse de saper ce rapport que nous entretenons avec la morale.
Depuis quelques décennies, l’Etat cherche à régler l’ensemble de nos comportements, ceux qui atteignent les autres, mais aussi ceux qui ne portent atteinte qu’à nous-mêmes, et cela commence de plus en plus tôt dans la vie. Il est vrai que les instances dites intermédiaires, comme la famille, l’école ou le travail, sont si fragilisées qu’elles peinent à imposer des normes. Désormais, ces institutions semblent incapables de fonctionner sans que les comportements, y compris les plus anodins, soient réglés par le droit. Ce nouveau travers de nos sociétés n’a-t-il pas comme conséquence l’incroyable cynisme que l’on peut attribuer à Paddock ? Ce travers permet, en effet, d’éviter les comportements antisociaux les plus graves, seulement si l’on risque d’être pris et puni.
Dans un tel monde, le groupe le plus redouté serait celui constitué par les personnes très âgées ou très malades, celles qui n’ont plus rien à perdre, et non plus par les jeunes. Complètement indifférentes à leur réputation post-mortem, elles formeraient des bandes se livrant aux pires turpitudes et suscitant la peur autour d’elles. Leur cynisme sera tel qu’elles devront être l’objet d’une surveillance constante et envahissante.
Des dispositifs techniques de contrôle viendront combler l’absence de sentiment de culpabilité des citoyens, celui-ci n’étant plus intérieur mais extérieur. Sauf à faire marche arrière sur cette bêtise qu’est le tout juridique, sauf à redonner du pouvoir aux instances intermédiaires, lesquelles devront être repensées à leur tour.
Mais quels efforts ne serions-nous pas prêts à faire pour éviter que des tueries comme celles de Sin City (Frank Miller et Robert Rodriguez, 2005), la ville du vice et du péché, ne deviennent aussi banales que les divorces ou les vols ? Pour empêcher que des salauds comme Paddock ne deviennent demain le type le plus courant du papy.

Auteur: Iacub Marcela

Info: Le nouvel observateur, 6 octobre 2017, 18:56

[ normalisation ] [ désenchantement ] [ tueur de masse ] [ amoralité ]

infox

Avons-nous une information économique indépendante? Cet ouvrage est un guide sans complaisance pour comprendre l’était réel de l’économie — inflation, chômage, propriété, retraites, contenus sponsorisés — loin du chichi et du marketing.

Si vous avez fait le plein d’essence dernièrement, vous avez vu la pompe indiquer 130, voire 140 francs suivant la taille de votre réservoir. Pourtant, votre coût de la vie est mal reflété par les statistiques de l’inflation. Celle-ci était déjà une réalité de votre quotidien avant le Covid et avant la guerre en Ukraine, mais l’indice officiel ne vous renseignait que peu sur votre pouvoir d’achat.

L'immobilier s'est envolé

Depuis quelques années, vous avez sans doute constaté que les prix de l’immobilier ont fortement augmenté en Suisse. Vous aurez noté que certes, les taux hypothécaires s’affichent au plancher, à 1%, mais que les jeunes couples peinent à emprunter à la banque pour acquérir un bien à 1 million, s’ils gagnent moins de 180'000 francs. Peut-être avez-vous vu passer le fait qu’en Suisse, la part des ménages propriétaires de leur logement est tombée de 48% à 37% sur la décennie. Ailleurs, les problématiques sont similaires. En France, le logement ne pèse que 6% dans l’indice calculé par l’Insee, alors que chez une partie des locataires, la part des loyers est de 20% du budget et chez une partie des propriétaires, le remboursement des emprunts s’élève à 25% du budget.

Les primes maladies en forte hausse

Vous avez peut-être aussi vu que les primes maladie en Suisse se sont envolées (de 70%) alors même que l’inflation officielle était donnée à 0%, entre 2008 et 2018, et que les salaires n’ont pas été ajustés en conséquence. Vous avez peut-être cherché l’indice des primes maladie de la Confédération, calculé séparément, mais vous avez vu que même lui traduit mal l’impact beaucoup plus fort des hausses de primes sur les bas revenus que sur les hauts revenus, et que son utilité s’avère limitée.

Vous aurez peut-être vu que le nombre de ménages subventionnés pour payer l’assurance maladie a doublé depuis 1996, ce qui peut étonner dans un pays aussi riche que la Suisse. Le nombre de bénéficiaires a augmenté deux fois plus vite que la population, et le montant du subside moyen versé par assuré a triplé depuis 1996.

Et l'inflation, dans tout ça?

Une statistique de l’inflation qui, dans les pays développés, n’informe pas sur le coût de la vie, car elle exclut à peu près tout ce qui monte (assurances, logement, bourse, et dont l’indice étroit exclut l’alimentation et l’énergie): qu’est-ce que cela apporte, à part une image lustrée, peu en phase avec le quotidien de millions de ménages et peu propice à une adaptation des salaires?

Vous avez peut-être constaté que vos avoirs de 2ème pilier n’avaient pas beaucoup bénéficié de l’envolée phénoménale de la bourse ces dix dernières années. La priorité des caisses de pension a été d’alimenter les réserves pour longévité, et c’est tant mieux, mais ça met à mal le lieu commun qui veut que "quand la bourse monte, on est tous gagnants".

Les salariés, grands perdants du siècle

Vous saviez peut-être qu’à cotisations égales, les assurés d’aujourd’hui toucheront 30% moins de deuxième pilier que les générations précédentes. Et que la part de la population directement exposée à la bourse via des portefeuilles d’investissements ne dépasse pas les 10% aux Etats-Unis et probablement aussi en Europe, confirmant que la bourse n’est pas une richesse collective et que la stagnation des salaires a détérioré le pouvoir d’achat de ceux, largement majoritaires, qui dépendent exclusivement de ce revenu.

Peut-être avez-vous également noté que les chiffres du chômage en Suisse, donnés à 2,5%, n’incluent pas les inactifs et les fins de droit, sortis des statistiques, et ne tiennent pas compte du phénomène de sous-emploi, des CDD chez les jeunes ou du chômage des seniors, qui sont en nette hausse.

Dans cet ouvrage il est question de tous ces chiffres qui minimisent les aspects moins reluisants de notre économie, et dont j’observe la faible valeur informative depuis deux décennies de journalisme économique.

Les fake news économiques, un fléau moderne

Tout cela pour dire que la désinformation économique existe dans les pays développés. Les statistiques officielles sont aussi enjolivées, parfois: les déficits budgétaires européens ont été retouchés par tous les pays de l’UE, et pas seulement par la Grèce. On fait dire beaucoup de choses à une statistique de PIB, alors que sa croissance est souvent surestimée par une inflation calculée trop bas.

On publie le chiffre initial du PIB, puis sa version révisée et plus correcte vient plus tard ; mais seul le chiffre initial, souvent trop flatteur, sera largement diffusé. Un PIB devrait être complété par nombre d’indicateurs démographiques et de développement humain si l’on veut avoir une image réaliste de la performance d’un pays.

Du côté corporate, lorsqu’on lit un rapport annuel d’entreprise, on comprend vite que tant de transparence va nous noyer. Parfois, certains rapports annuels font 500 pages, et pourtant, l’essentiel n’y figure pas toujours, ou n’est pas facile à trouver. Les comptes de Credit Suisse ne disaient rien de l’exposition au fonds spéculatif Archegos, qui lui a valu une perte de 5 milliards.

Les comptes d’UBS ne disaient pas un mot de l’exposition aux subprimes américains, qui a duré des années et a constitué une part majeure des profits du groupe. Chez la plupart des multinationales, beaucoup trop de pages technico-légales noient l’information pertinente des comptes, et encore plus de pages sur la responsabilité sociale et environnementale assomment le lecteur par un marketing qui confine dans certains cas au greenwashing. C’est pourquoi j’ai voulu attirer l’attention des lecteurs, à travers cet ouvrage ici résumé, sur les nombreuses imperfections de l’information économique et financière.

Comment bien s'informer aujourd'hui en matière économique?

De nombreux autres exemples sont abordés dans le livre, et notamment le cas des fuites des paradis fiscaux divulgués par des consortiums de journalistes sur la base de sources anonymes, la question du financement des médias et des conflits d’intérêts potentiels, la manipulation des cours de l’or et ses conséquences, les campagnes de désinformation orchestrées par des agences de propagande de plus en plus actives, l’essor du marketing et de la publicité qui ne pose nul problème en soi, sauf quand ces contenus pénètrent l’information économique indépendante, et aussi l’essor des entreprises en tant que médias, avec des moyens démultipliés, et la question de l’indépendance de l’information.

Comment bien s’informer aujourd’hui en matière économique? Cet ouvrage sans complaisance se veut un guide face à toutes ces façons qu’a l’information, dans les pays développés, de se brouiller, de se diluer, de s’embellir, de perdre son indépendance, son objectivité, son utilité sociale et son rôle au service de l’intérêt public. La politisation des chiffres et l’embellissement des statistiques officielles sont souvent masquées par l’extrême mathématisation des indices.

On croirait qu’il s’agit de sciences dures, apolitiques, alors qu’en réalité, derrière chaque chiffre, il y a des postulats et des choix de société. Mieux s’informer sur l’état réel de nos sociétés, recouper les informations, n’a jamais été aussi primordial. Après avoir lu cet ouvrage, vous ne prendrez plus les statistiques officielles ou les concepts à la mode pour argent comptant. Et c’est tout ce que je vous souhaite. 

Auteur: Zaki Myret

Info: Désinformation économique, février 2022, éditions Favre. https://www.blick.ch/

[ idées fausses ] [ hyperinflation ] [ contrevérités ] [ euphémismes ] [ pouvoir informationnel ] [ soft power financier ] [ Helvétie ] [ dissimulation ]

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]