blagues anti-juristes

- Pourquoi enterre-t-on les avocats plus profond que les autres ?

- Parce que dans le fond, ce sont des gens bien. Mais vraiment dans le fond, hein…

- Quelle différence entre une tique et un avocat ?

- A ta mort, la tique te lâche.

- Combien faut-il d’avocats pour changer une ampoule ?

- Trois. Un qui monte l’échelle, un qui la secoue et le troisième qui fait un procès au fabricant.

- Quel est le point commun entre un spermatozoïde et un avocat ?

- Un sur trois millions a une chance de devenir un être humain.

- Quelle est la différence entre un avocat honnête et le Père Noël ?

- Le Père Noël existe, petit !

- Comment savoir si un avocat ment ?

- Ses lèvres bougent.

- Le fils d’un avocat demande à son père : "Dis, papa, c’est vrai que les avocats répondent toujours par une question ?" 

- Qui t’a dit ça ?

- Quelle est la seule chose que les avocats n’aient pas volée ?

- Leur réputation.



- Que représentent 2500 avocats au fond de l'océan ?

- Un bon début

Auteur: Internet

Info:

[ humour ] [ vacheries ] [ menteurs ]

couleurs

Il y avait si longtemps qu'il avait quitté Venise, disait-il, qu'il ne se rappelait presque aucun nom. Il rêvait toujours des places et des canaux, mais ne se souvenait plus de leur nom. Il lut la déception sur le visage de Rodrigo et Jofre.
Il parut un moment découragé, puis il sembla avoir une idée, il se leva et s'enfonça dans l'obscurité. Il revint quelques minutes plus tard, tenant quelque chose de brillant dans sa main. C'était une petite fiole en forme de poire, du genre de celles dans lesquelles les femmes conservent des huiles parfumées. Dans sa main, elle était sombre et opaque, mais lorsqu'il la tint à la lumière d'une des torches, le verre laissa paraître de riches éclats bleus et pourpres, et de minuscules paillettes d'or scintillant sur toute sa surface.
"Vous voyez, voici ce dont je me souviens, la lumière de Venise est comme le verre. Je me souviens que le soleil de la fin d'après-midi faisait danser des étincelles dorées sur les eaux de la lagune. Je me souviens de la lumière nacrée de l'aube en hiver, et du rouge brûlant et âpre du soleil couchant en été, qui conférait au marbre une teinte rose vif. Je me souviens des nuits où les eaux des canaux étaient noires comme de la martre, du scintillement du clair de lune sur l'eau sombre, telle, une barrette d'argent dans les cheveux d'une belle femme. C'est la lumière de Venise que je capture dans mon verre."

Auteur: Maitland Karen

Info: La compagnie des menteurs

[ clarté ]

dernières paroles

Malheureusement, dans ce pays, nous subissons un lavage de cerveau dès notre plus jeune âge pour nous faire croire qu'en échange de notre dévouement et de nos services, le gouvernement oeuvre pour la justice pour tous (...), qu'il y a de la liberté dans ce pays, et que nous devrions être prêts à donner notre vie pour les nobles principes de nos pères fondateurs. (...) J'ai passé toute ma vie d'adulte à essayer de me sortir tout ce bordel de la tête." (...) les hommes politiques, "des voleurs et des menteurs qui ne pensent qu'à leur propre intérêt", le sauvetage des banques et des grandes entreprises "qui se sont écroulées sous le poids de leur gloutonnerie", comme General Motors, le système de santé et les compagnies d'assurances qui "tuent des dizaines de milliers de gens", ou encore les lois : "On demande une signature sur la déclaration d'impôts, mais qui peut dire qu'il comprend vraiment ce qu'il signe ? (...) Si ceci n'est pas une mesure digne d'un régime totalitaire..." (...) ... En moins de trente ans j'ai perdu plusieurs fois toutes mes économies avant de rebondir, pour retomber de nouveau. Mal conseillé par un avocat fiscaliste, j'ai fini par me retrouver "planté au milieu du désastre", poursuivi par le fisc. Après avoir monté deux sociétés de logiciels informatiques, toute deux suspendues par l'administration fiscale, en 2000 et 2004. (...) J'en ai eu plus que je ne peux supporter. Dire que les gens ne meurent plus pour leur liberté dans ce pays est un mythe (...). Je sais qu'il y a eu des victimes avant moi, qu'il y en aura d'autres après. Mais je sais aussi que si je n'ajoute pas mon corps au bilan des morts, rien ne changera" (...) "Je choisis de ne pas continuer à regarder Big Brother me désosser, je choisis de ne pas ignorer ce qu'il se passe autour de moi, je choisis de ne pas prétendre que le "business as usual" ne continuera pas, j'ai eu mon compte. Je peux juste espérer que le nombre de cadavres sera bientôt trop important pour (...) être ignoré et que les zombies américains vont se réveiller et se révolter".
Le credo communiste : de chacun selon ses capacités, à chacun selon ses besoins ; le credo capitaliste : de chacun selon sa crédulité, à chacun selon son avidité.

Auteur: Stack Joe

Info:

[ suicide ]

supercherie

L’an 2000 tombe mal. On n’a pas idée, quand on est un événement aussi prestigieux, de coïncider avec une humanité aussi ridicule. C’est catastrophique, je trouve, pour un nouveau millénaire, d’être obligé de se compromettre avec nos sociétés actuelles en état de pacification dépassée, de lyrisme rageur, avec tous ces individus des deux sexes rongés de prévention, obsédés de sécurité, persécuteurs des derniers plaisirs en circulation, et qui ne trouvent un regain d’énergie que pour réclamer des renforcements de législation grâce auxquels la vie intime, l’existence privée, ne sont déjà plus que de lointains souvenirs. L’an 2000 est mal parti. Il ferait mieux d’attendre. De rester encore un peu dans le ventre du Temps. C’est le premier millénaire, d’abord, qui va arriver alors qu’il y a la télévision. Ça ne s’était jamais vu, dans les âges passés, une malchance pareille. À l’an 1000, au moins, une telle épreuve fut épargnée. L’an 1000 est un ancêtre heureux de l’an 2000. Il n’a pas connu notre présent, lui, ni les médias totalitaires et publicitaires, ni la fin de l’Histoire, ni tous les menteurs qui disent qu’elle continue, ni le silence, après minuit, quand les derniers feux d’artifice sont retombés, des grands parcs de loisirs sous la Lune. Si j’étais l’an 2000, j’aurais honte d’être le fils lointain de l’an 1000. Je ne me sentirais pas à la hauteur de ce grand-père féroce qui sut déchaîner, par toute la chrétienté, des épouvantes légendaires, des représentations terrifiées et des épidémies de pénitence collective qui poussaient en vrac les populations vers les églises archicombles où se relayaient à la chaîne des prédicateurs hallucinés. Pour qu’il y ait des épouvantes populaires, il faut qu’il y ait un peuple, et il n’y a plus de peuple, il n’y a plus que des people. Par-dessus le marché, l’an 1000, astuce suprême, n’a même pas existé, ce qui devrait être pour l’an 2000 une raison de plus d’en faire autant. La Grande Peur de l’an 1000 non plus n’a pas eu lieu, mais ce n’est pas ici, en quatre mille deux cent signes, que je vais le développer (tout est dans Georges Duby). Si j’étais à la place de l’an 2000, je demanderais qu’on retarde les pendules d’encore un siècle au moins, dans l’espoir de cohabiter avec des gens plus présentables que ceux de maintenant. Peut-être qu’il aurait une chance, alors, de ne pas être célébré par des jeunes grimpés sur des rollers, des plus jeunes en train d’essayer de retourner sous eux leur planche à roulettes, et des quadragénaires qui se cramponnent à leur portable au milieu du trottoir ? C’est ça qu’il veut, l’an 2000 ? Être fêté par ces gens-là ? Au son de la techno créative ? Se retrouver acclamé, un 31 décembre, par des dizaines de milliers d’ahuris en tout point semblables à ceux que l’on nous montre, chaque année, fêtant la Saint-Sylvestre sur les Champs-Élysées ? S’il avait la moindre dignité, il se déroberait. Il en a encore la possibilité. Ce n’est pas comme la Révolution française qui fut contrainte de subir, il y a déjà quelque temps, un tourment célébratif si dégradant que le spectacle, je pense, en est encore dans les mémoires. C’est ça qu’il souhaite, l’an 2000 ? Se retrouver transformé en course en sac ? En défilé de lapins Duracel ? En citrouille imbécile d’Halloween ? Il ne sait pas, l’an 2000, que l’homme contemporain ne célèbre et ne commémore que pour mieux effacer ce qu’il célèbre ou commémore (et ce qu’il ne commémore pas, il le juge) ? Il veut être absorbé, lui aussi, l’an 2000, par sa propre célébration, par cette corruption vertueuse et bruyante que notre civilisation hyperfestive n’a inventée que pour planquer la vérité de sa propre débâcle ? Il la veut, l’an 2000, sa parade géante coordonnée par des spécialistes de l’"événementiel" ? Il la veut, l’an 2000, sa Millenium Pride ?

Oui, l’an 2000 tombe mal. Mais encore plus pour nous que pour lui. Comment lui échapper ? C’est la seule question, pour ce qui nous concerne. A quel refuge se vouer, sur la planète mondialisée ? L’an 2000 est inéluctable ? Il est donc inadmissible. 

Auteur: Muray Philippe

Info: Dans "Exorcismes spirituels, tome 2 : Mutins de Panurge", éd. Les Belles lettres, Paris, 1998, pages 474-475

[ pamphlet ] [ marchandisation ] [ psychose collective ] [ millénaristes ]

manipulation

Comment la plus grande technologie jamais développée s'est retournée contre nous.

La sélection naturelle est probablement le facteur qui a conduit l'elk irlandais à développer des bois surdimensionnés : ils étaient un élément bénéfique pour les mâles dans le jeu de la concurrence sexuelle. Cependant, le poids des bois était aussi un fardeau et il a été soutenu que c'était l'une des raisons, peut-être la principale, qui ont conduit à l'extinction de cette espèce, il y a environ 7 000 ans. Dans le cas des humains, on peut considérer le langage comme une caractéristique avantageuse de l'évolution, mais aussi comme quelque chose qui peut très bien révéler des conséquences négatives comme les bois des élans : le tsunami de mensonges auquel nous sommes constamment exposés.

Le langage est la véritable rupture de l'homme avec tout ce qui marche, rampe ou vole sur la terre. Aucune autre espèce (à l'exception des abeilles) n'a un outil qui peut être utilisé pour échanger des informations complexes entre les individus pour décrire, par exemple, où la nourriture peut être localisée et en quelles quantités. C'est le langage qui crée l'ultra-sociabilité de l'être humain. C'est le langage qui nous permet d'être ensemble, de planifier, de faire avancer les choses. Le langage peut être considéré comme une technologie de communication d'une puissance incroyable. Mais, comme pour toutes les technologies, elle a des conséquences inattendues.

Nous savons tous que le son que nous écrivons comme cerf est associé à un type spécifique d'animal. Avec ce symbole, vous pouvez créer des phrases telles que "J'ai vu un cerf près de la rivière, allons le chasser !" Mais, lorsque vous créez le symbole, à certains égards, vous créez le cerf - une créature fantomatique qui a quelques-unes des caractéristiques du cerf réel. Vous pouvez imaginer les cerfs, même s'il n'y a pas de véritable cerf autour de vous. Et ce symbole a une certaine puissance, peut-être que vous pourriez faire apparaître un cerf en prononçant son nom ou en dessinant son symbole sur le mur d'une grotte. C'est le principe que nous appelons magie sympathique, qui est peut-être la forme la plus ancienne et la plus fondamentale de la magie.

La création d'un cerf virtuel est une chose utile si la correspondance avec les vrais cerfs n'est pas perdue. 1. Le problème avec le langage est que ce n'est pas toujours le cas. Le cerf dont vous parlez peut ne pas exister, il peut être une illusion, une erreur ou, pire, une ruse pour piéger et tuer un de vos ennemis. Telle est l'origine du concept que nous appelons mensonge. Vous pouvez utiliser le langage non seulement pour collaborer avec vos voisins, mais aussi pour les tromper. Nous avons la preuve que nos ancêtres étaient confrontés à ce problème grâce aux premiers documents écrits que nous avons. Dans certaines anciennes tablettes sumériennes qui remontent au troisième millénaire avant notre ère 2, nous constatons que parmi les moi (les pouvoirs) que la Déesse Inanna avait volés au Dieu Enki, un de ces pouvoirs était de "prononcer des paroles de tromperie".

La question du mensonge est cruciale pour la survie humaine. Mentir rend la communication inutile puisque vous ne pouvez pas faire confiance aux personnes avec qui vous communiquez. Le cerf dont votre ami vous a dit qu'il était près de la rivière a disparu dans l'espace virtuel : vous ne pouvez pas dire s'il était réel ou non. La technologie prodigieuse du langage, développée pendant des centaines de milliers d'années, s'autodétruit comme conséquence involontaire du mensonge.

Toutes les technologies ont des conséquences inattendues, toutes se prêtent à certains types de solutions technologiques. Lutter contre les mensonges, cela nécessite d'évaluer les déclarations et de savoir qui les profère. La façon la plus simple de le faire est de baser l'évaluation sur la confiance. Nous connaissons tous l'histoire du garçon qui criait au loup, probablement aussi ancienne que l'homo sapiens. Dans ses différentes versions, il est dit que "Si vous mentez une fois, vous ne serez plus jamais cru". Et cela fonctionne; cela a bien marché pendant des centaines de milliers d'années et cela fonctionne encore. Pensez à votre cercle actuel de connaissances ; ces personnes que vous connaissez personnellement et qui vous connaissent depuis un certain temps. Vous leur faites confiance ; vous savez qu'ils ne vont pas vous mentir. C'est pour cette raison que vous les appelez amis, copains, potes, etc.

Mais cela ne fonctionne qu'aussi longtemps que vous maintenez vos relations au sein d'un petit groupe, et nous savons que la taille d'un cercle de relations étroites ne dépasse normalement pas plus d'environ 150 personnes (cela s'appelle le Nombre de Dumbar). Au sein de ce groupe, la réputation de chaque membre est connue par tout le monde et les menteurs sont facilement identifiés et frappés d'infamie (ou même expulsés). Le problème est venu quand les gens ont commencé à vivre dans les grandes villes. Ensuite, la plupart des gens ont dû interagir avec un plus grand nombre de personnes que ce nombre de Dumbar. Comment pouvons-nous dire si quelqu'un que vous n'avez jamais rencontré avant, est digne de confiance ou pas ? Dans cette situation, la seule défense contre les escrocs sont les indices indirects : la façon de se vêtir, la façon de parler, l'aspect physique ; mais aucun n'est aussi efficace que la confiance en quelqu'un que vous connaissez bien.

Mais ce ne fut rien en comparaison de ce qui est advenu avec l'âge des médias de masse. Vous pouvez lire des choses, entendre des choses, voir des choses dans les médias, mais cela ne vous donne vraiment aucune idée de l'endroit d'où ces communications sont venues. Vous ne pouvez pas non plus vérifier si la réalité virtuelle qui vous est renvoyée correspond au monde réel. Comme les médias ont élargi leur portée, les personnes qui les contrôlent ont découvert que le mensonge était facile et qu'ils n'avaient que très peu à perdre dans le mensonge. Côté réception, il n'y avait que des gens confus et incapables de vérifier les informations qu'ils recevaient. Les médias pouvaient facilement leur dire des mensonges qui restaient non découverts, au moins pendant un certain temps. Pensez à l'histoire des armes de destruction massive que l'Irak était censé avoir développées avant l'invasion de 2003. Dans ce cas, le mensonge est devenu évident après qu'aucune de ces armes n'est apparue en Irak après l'invasion, mais les menteurs avaient obtenu ce qu'ils voulaient et ils n'ont souffert d'aucune conséquence de leur action. C'était une époque où un adjoint de Donald Rumsfeld aurait dit : "Maintenant, nous pouvons créer notre propre réalité." Un triomphe de la magie sympathique, en effet.

Ensuite, l'Internet et les médias sociaux sont venus et ils ont démocratisé le mensonge. Maintenant tout le monde peut mentir à tout le monde, simplement en partageant un message. La vérité ne vient plus de la confiance dans les personnes qui la transmettent, mais du nombre de likes et de partages qu'un message a reçus. La vérité n'est peut-être pas aussi virale, mais elle semble être devenue exactement ce qu'en est la perception générale : si quelque chose est partagé par beaucoup de gens, alors cela doit être vrai. Donc, aujourd'hui, on nous ment en permanence, de manière cohérente, dans la joie et par tout le monde et à peu près sur tout. Des demi-vérités, de pures inventions, des distorsions de la réalité, des jeux de mots, des faux drapeaux, des statistiques faussées et plus encore, sont le lot des communications que nous croisons tous les jours. Le tsunami des mensonges qui nous tombent dessus est presque inimaginable et il a des conséquences, des conséquences désastreuses. Il nous rend incapables de faire confiance en quoi que se soit ou en quelqu'un. Nous perdons le contact avec la réalité, nous ne savons plus comment filtrer les messages innombrables que nous recevons. La confiance est un enjeu majeur dans la vie humaine ; ce n'est pas pour rien si le diable est nommé le père du mensonge (Jean 8:44). En effet, ce que l'anthropologue Roy Rappaport appelle les "mensonges diaboliques", sont les mensonges qui altèrent directement le tissu même de la réalité. Et si vous perdez le contact avec la réalité, vous êtes vous-même perdu. C'est peut-être ce qui se passe pour nous tous.

Certains d'entre nous trouvent qu'il est plus facile de simplement croire ce qui leur est dit par les gouvernements et les lobbies ; d'autres se placent dans une posture de méfiance généralisée de tout, tombant facilement victimes de mensonges opposés. Les mensonges diaboliques sont fractals, ils cachent encore plus de mensonges à l'intérieur, ils font partie de plus grands mensonges. Considérons un événement tel que les attaques du 9/11 à New York; il est maintenant caché derrière une telle couche de multiples mensonges de toutes sortes, que ce qui est arrivé ce jour-là est impossible à discerner, et peut-être destiné à rester tel quel pour toujours.

Donc, nous sommes revenus à la question du garçon qui criait au loup. Nous sommes le garçon, nous ne faisons plus confiance à personne, personne ne nous fait plus confiance, et le loup est là pour de vrai. Le loup prend la forme du réchauffement climatique, de l'épuisement des ressources, de l'effondrement des écosystèmes, et plus encore, mais la plupart d'entre nous sommes incapables de le reconnaître, même d'imaginer, qu'il puisse exister. Mais comment reprocher à ces gens qui ont été trompés tant de fois qu'ils ont décidé qu'ils ne croiraient plus du tout ce qui vient d'un canal même légèrement officiel ? C'est une catastrophe majeure et cela se produit en ce moment, devant nos yeux. Nous sommes devenus l'un de ces anciens cerfs détruits par le poids de ses cornes prodigieuses. Le langage nous joue un tour, pétaradant sur nous après nous avoir été si utile.

Nous croyons souvent que la technologie est toujours utile et que les nouvelles technologies nous sauveront des catastrophes qui nous affligent. Je commence à penser que ce dont nous avons besoin n'est pas davantage de technologie, mais moins. Et si la langue est une technologie, il me semble que nous en ayons trop d'elle, vraiment. Nous entendons trop de discours, trop de mots, trop de bruits. Peut-être avons-nous tous besoin d'un moment de silence. Peut-être que Lao Tzu a vu cela déjà depuis longtemps quand il a écrit dans le Tao Te King 3.

Trop de discours conduit inévitablement au silence.

Mieux vaut en venir rapidement au néant.

Auteur: Bardi Ugo

Info: 20 mars 2016, Source Cassandra Legacy

[ langage ] [ surmédiatisation ] [ infobésité ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]