Citation
Catégorie
Tag – étiquette
Auteur
Info



nb max de mots
nb min de mots
trier par
Dictionnaire analogique intriqué pour extraits. Recherche mots ou phrases tous azimuts. Aussi outil de précision sémantique et de réflexion communautaire. Voir la rubrique mode d'emploi. Jetez un oeil à la colonne "chaînes". ATTENTION, faire une REINITIALISATION après  une recherche complexe. Et utilisez le nuage de corrélats !!!!..... Lire la suite >>
Résultat(s): 27
Temps de recherche: 0.0393s

femmes-hommes

On ne pouvait m'accuser de pratiquer l'art de la conquête ; à l'encontre des moeurs du temps, c'était Rosa qui m'avait demandé une danse. Ce qui fit de moi le plus grand veinard de tout l'hémisphère Nord, au bas mot. Rosa : j'osais à peine la regarder mais, à un moment donné, je fus bel et bien avec elle sur la piste de danse. Ni dieu ni diable qui comprît comment j'avais mérité ça. Et moi encore moins. J'aurais voulu m'excuser auprès de tous ces garçons qui me regardaient avec envie à travers la fumée de leurs cigarettes Belga. [...] Ensuite, elle a eu chaud, elle a dit qu'elle voulait sortir prendre un peu d'air frais, et m'a demandé de l'accompagner. Jusque là, tous les préliminaires avaient été de son initiative. Le genre entreprenant. Mais à présent, c'était à moi de jouer. Pas besoin de faire le naïf, je savais ce que j'avais à faire. Pas une seule fille ne demande à un garçon d'aller prendre l'air pour des prunes. Et sûrement pas après avoir dansé avec lui. Mais je n'ai rien fait. Je suis resté planté à côté d'elle. Imaginant les questions les plus nulles qu'un garçon puisse imaginer dans des moments aussi cruciaux. Où elle allait à l'école, si elle aimait aller à l'école, quel métier elle pensait choisir et, merde alors, avait-elle la moindre idée si elle voulait avoir des enfants, et si oui, combien... c'était pour ainsi dire ma première soirée, j'avais voulu me montrer un gentleman, montrer que je ne recherchais pas un succès rapide auprès des filles. De tous les grands secrets propres à l'univers féminins de notre espèce souvent répugnante, je pensais en avoir dévoilé un, à savoir que les femmes détestent les types qui se jettent trop vite et de façon trop ciblée sur "la chose".
Rosa s'était bien entendu refroidie entre temps (fallait la réchauffer, imbécile), et a proposé de rentrer. J'ai aussitôt compris que j'avais fichu en l'air avec brio une chance qui m'était offerte sur un plateau d'argent. Elle, qu'a-t-elle bien pu penser ? Que j'aimais les garçons ? Que je ne la trouvais pas assez jolie ? Que j'allais sous peu choisir d'entrer au séminaire, j'étudiais déjà le latin, pas vrai ? Je n'en sais rien, mais l'oiseau s'est envolé et n'est jamais revenu.

Auteur: Verhulst Dimitri

Info: Comment ma femme m'a rendu fou, p. 30-31

[ occasion manquée ] [ séduction ]

 

Commentaires: 0

femmes-hommes

Le plaisir sexuel masculin : Une certitude : le plaisir sexuel de l'homme n'a rien à voir avec celui de la femme. Jouissance, orgasme, tous ces termes parlent de la sexualité heureuse de l'homme, mais parlent-ils de la même chose ? A ce sujet, les hommes sont moins prolixes et leur sexualité paraît plus simple, comme s'il suffisait d'une pénétration pour ressentir du plaisir et d'une éjaculation pour jouir.

En réalité, ce n'est pas si simple... "La jouissance sexuelle correspond à une intense circulation énergétique qui provient du contact des muqueuses" mais au-delà de cette expérience commune, le plaisir de l'homme ne trouve et ne partage, ni la même origine, ni la même expression que celui de la femme. L'homme est centré sur le fonctionnement de son pénis. Pour des raisons en partie biologique, l'homme recherche avant tout l'orgasme dans la sexualité. L'érection est la première manifestation de son désir et instinctivement celle-ci représente une mise sous tension dont l'homme va chercher à se libérer au travers de la relation sexuelle avec pour aboutissement, une éjaculation. Cette focalisation du désir et de l'excitation au niveau de leur pénis explique la raison pour laquelle ils attendent rapidement de leur partenaire qu'elle les caresse aux endroits les plus sensibles dont le pénis fait partie, alors que les femmes ont besoin de caresses préliminaires, souvent en dehors de leurs zones génitales. Ce qui fait jouir les hommes.

Si la jouissance sexuelle est souvent décrite avec les mêmes mots par les uns ou les autres, ce qui les fait jouir ne comporte souvent aucune logique. "Certains sont attirés par les gros seins, d'autres par les petits ou encore les talons aiguilles". "Et le pénis n'est pas forcément le seul organe érogène de l'homme" précise-t-il. Pour certains, par exemple, la pointe du mamelon, pour d'autres, l'anus sont des zones qui procurent une jouissance extrême.

La jouissance des hommes aussi ... est d'abord dans la tête. Mais, il ne faut pas s'y tromper. Si la jouissance résonne dans le corps, - elle n'en dépend pas moins des fantasmes qui la gouvernent". Autrement dit, pour les humains le premier organe sexuel est d'abord le cerveau. Pour un homme, la jouissance s'apparente surtout à une délivrance qui survient après une phase de tension sexuelle. Et, "quel que soit le degré d'amour que lui porte sa partenaire, c'est à l'instant précieux de l'orgasme qu'un homme peut le mieux recevoir cet amour...", explique un célèbre thérapeute conjugal américain.

Auteur: Feldman Catherine

Info: http://www.e-sante.be

[ mâles-femelles ] [ vus-scientifiquement ] [ libido cérébrale ]

 

Commentaires: 0

clé de lecture

L’œuvre d’Ibn Arabî offre un exemple particulièrement paradoxal de dialectique orientale et de pensée ésotérique, à savoir ce que nous pourrions appeler l’herméneutique inversante : c’est-à-dire qu’il lui arrive d’inverser le sens d’un verset koranique à contenu négatif, dans l’intention d’extraire de la sentence la signification la plus profonde possible. Ce paradoxe, que nous ne pouvons passer sous silence ici, nous oblige à quelques considérations préliminaires d’un caractère général.

L’exotérisme consiste à identifier les réalités transcendantes aux formes dogmatiques - et au besoin aux faits historiques - de telle Révélation, tandis que l’ésotérisme se réfère d’une manière plus ou moins directe à ces réalités mêmes. Mais du fait que le rapport d’un symbolisme à son contenu est celui d’une manifestation à son principe, il y a à la fois analogie et opposition entre les deux plans : l’ésotérisme étaie l’exotérisme parce qu’il en est la substance, mais il le contredit aussi à certains égards parce qu’il le dépasse ; en réalité, la contradiction est d’emblée du côté de l’exotérisme, de même que la création est à la fois conforme et opposée à Dieu. Cependant, de même que la Toute-Réalité n’abolit pas la logique des situations cosmiques, de même les prérogatives apparemment paradoxales de l’ésotérisme ne peuvent abolir les données de l’exotérisme sur le plan de celui-ci, sauf éventuellement d’une façon fragmentaire et dans des cas isolés.

De cet aspect d’opposition, ou de cette dimension contradictoire, Ibn Arabî paraît tirer la conclusion suivante : du moment que l’Absolu est Un et que cet Un est infini et parfait, la Vérité suprême ne peut être qu’une et positive, elle ne peut donc en sa substance comporter d’antinomies, telles le bien et le mal, le ciel et l’enfer ; le Koran ne comporte ces antinomies que secondairement et extrinsèquement mais non en sa substance incréée. Il y a donc pour chaque verset exprimant une opposition ou un mal, une interprétation qui les annule ; c’est-à-dire qu’il y a pour toute sentence négative une interprétation positive, se référant directement ou indirectement à l’Essence toujours vierge. Quand le Koran parle du feu infernal, Ibn Arabî - sans vouloir ni pouvoir rejeter ce sens immédiat - n’hésite pas à l’interpréter, sur le plan de la Vérité quintessentielle, comme le feu de l’Amour divin ; car l’ultime Vérité ne saurait englober que l’essentiel, à savoir la Beauté et l’Amour.

[…] Au demeurant, l’argumentation n’est pas toujours, chez le Shaykh el-akbar, au niveau de l’intention métaphysique : la pensée est parfois trop hâtive ou trop expéditive, l’âme est saisie par la perception de la Beauté une qui pénètre tout et qui absorbe tout. C’est cette perception - concrète et permanente — de la divine Beauté qui est chez Ibn Arabî la "foi", étant donné qu’en Islam la notion de foi s’étend de la simple ferveur jusqu’à la plus élevée des stations spirituelles, et qu'elle est attribuée pour cette raison aux anges et aux élus.

Auteur: Schuon Frithjof

Info: Dans "Logique et transcendance", éditions Sulliver, 2007, page 143-145

[ ellipsisme ] [ coran ]

 

Commentaires: 0

Ajouté à la BD par Coli Masson

femmes-hommes

Sexe : les femmes valent bien les hommes
En matière de sexe, le comportement des hommes et des femmes est plus similaire qu'on ne le croit.
La Série Sex and the City s'amuse à casser un certain nombre de clichés sexuels concernant les femmes. Elle montre, notamment, combien les femmes adorent, elles aussi, parler de sexe entre elles ! Autant que les hommes et avec les mêmes mots crus. Autant le dire, les femmes peuvent se révéler aussi obsédées et ardentes que les mecs, malgré tous les stéréotypes qui ont cours. Terry D. Conley, professeur assistant de psychologie à l'université du Michigan, sans doute grande admiratrice de la série, s'est amusée à confronter ces clichés aux dernières études menées en la matière. En voici la liste - instructive - publiée dans la revue Current Directions in Psychological Science.
Les femmes et les hommes n'auraient pas les mêmes critères de sélection concernant leur partenaire. Les premières privilégieraient le statut social tandis que les seconds choisiraient la partenaire la plus sexy.
Faux : Cette différence de choix qui peut apparaître dans certaines enquêtes portant sur le partenaire idéal ne se retrouve pas vraiment dans la vraie vie. Lors d'enquêtes spécifiques, il ressort que les deux sexes privilégient un cocktail équivalent de séduction et de statut social.
Les femmes éprouvent moins de désirs et possèdent moins de partenaires que les hommes.
Faux. Les enquêtes qui montrent cette différence souffrent, en fait, d'un biais statistique. En réalité, si on fait croire aux personnes sondées qu'elles sont soumises à un détecteur de mensonges, elles fournissent des réponses plus ou moins similaires. La différence entre hommes et femmes s'évapore.
Les hommes pensent davantage au sexe que les femmes.
Vrai. Selon une info, non vérifiée, les hommes penseraient au sexe "toutes les sept secondes". Si cette affirmation relève, bien évidemment, d'une blague, elle repose néanmoins sur un fond de vérité. En 2011, des chercheurs ont demandé à des volontaires d'actionner un compteur à chaque fois fois qu'ils pensaient au sexe, à la nourriture ou au sommeil, durant une semaine. Effectivement, les hommes ont légèrement devancé les femmes questions sexe, mais plus encore pour la bouffe et le sommeil. Les auteurs de l'enquête en ont simplement conclu que les hommes sont plus attentifs à leurs besoins que les femmes. Ce qui est cohérent avec l'hypothèse que les femmes se focalisent davantage sur les besoins des autres que sur les leurs.
Les femmes connaissent moins d'orgasmes que les hommes.
Vrai. Une étude portant sur plusieurs milliers de personnes a bien relevé cette différence. Pour trois orgasmes masculins, un seul féminin. Pourtant, ce gouffre a tendance à se réduire lorsque les partenaires entretiennent des relations basées sur un engagement profond et amoureux. Dans un couple romantique, les femmes jouissent à 79 % autant que leur partenaire. La raison avancée par les chercheurs : l'homme ferait davantage de préliminaires à sa partenaire habituelle qu'à une rencontre occasionnelle.
Les hommes ont davantage de partenaires occasionnelles que les femmes.
Vrai. De nombreuses études l'ont montré. Lors d'un test célèbre où des étudiants en psychologie ont demandé à des personnes de rencontre de faire l'amour, aucune femme n'a accepté alors que 70 % des hommes acceptaient l'avance ! Une énorme différence qui semblerait ne pouvoir s'expliquer que biologiquement et non par une cause socio-culturelle. Pourtant, d'autres études plus récentes sont moins claires. Quand on demande à la personne testée si elle serait prête à coucher avec un(e) ami(e) proche doté(e) d'une réputation de grand(e) amoureux(se) et qui pourrait lui fournir une expérience sexuelle positive, alors hommes et femmes montrent quasiment le même intérêt. Selon Conley, si les femmes pratiquent moins le sexe occasionnel, c'est qu'elles doutent des capacités sexuelles de leurs partenaires d'un soir, et parce qu'elles craignent d'être stigmatisées en raison de ce comportement.
Les femmes sont plus difficiles dans leur choix que les hommes.
Vrai. Mais, selon le professeur Conley, c'est simplement qu'elles sont plus sollicitées que les hommes. Une étude récente a examiné le comportement d'individus lors de speed-dating. Dans ce cas, le simple fait de se rapprocher physiquement et d'échanger quelques informations rapproche le comportement des hommes et des femmes. Les premiers deviennent plus difficiles, tandis que les secondes le deviennent moins. Ce qui fait conclure à Conley que le choix est influencé par les normes sociales.

Auteur: Le Point.fr

Info: 19/10/2011

[ égalité ]

 

Commentaires: 0

Intelligence artificielle

OpenAI présente Super Alignment : Ouvrir la voie à une IA sûre et alignée

La présentation par OpenAI de son développement du super alignement est extrêmement prometteuse pour l'humanité. Grâce à ses capacités étendues, il est en mesure de répondre à certains des problèmes les plus urgents auxquels notre planète est confrontée. Le risque de déresponsabilisation, voire d'anéantissement de l'humanité, est l'un des graves dangers associés à l'émergence de la superintelligence.

L'arrivée du super-alignement

Le super-alignement peut sembler une possibilité lointaine, mais il pourrait se matérialiser dans les dix prochaines années. Nous devons créer de nouvelles structures de gouvernance et traiter le problème de l'alignement des superintelligences afin de maîtriser efficacement les risques qui y sont associés.

Superalignement de l'IA et de l'homme : Le défi actuel

Garantir que les systèmes d'IA, qui sont beaucoup plus intelligents que les humains, s'alignent sur les intentions de ces derniers constitue un obstacle de taille. Actuellement, nos techniques d'alignement de l'IA, telles que l'apprentissage par renforcement à partir du retour d'information humain, reposent sur la supervision humaine. Cependant, lorsqu'il s'agit de systèmes d'IA dépassant l'intelligence humaine, nos méthodes d'alignement actuelles deviennent inadéquates. Pour y remédier, nous avons besoin de nouvelles percées scientifiques et techniques.

OpenAI a mis à disposition ses modèles de cohérence pour la génération d'œuvres d'art par l'IA

Surmonter les hypothèses et intensifier les efforts d'alignement

Plusieurs hypothèses qui guident actuellement le développement de l'IA risquent d'échouer lorsque nous entrerons dans l'ère de la superintelligence. Il s'agit notamment de la capacité de nos modèles à identifier et à contourner la supervision au cours de la formation, ainsi que de leurs caractéristiques de généralisation favorables au cours du déploiement.

Un chercheur d'alignement automatique doté d'une intelligence proche de celle de l'homme, c'est ce que l'OpenAI vise à construire. L'objectif est d'intensifier les efforts et d'aligner itérativement la superintelligence en utilisant une grande puissance de calcul.

Construire les bases d'un super-alignement

Pour atteindre son objectif de chercheur en alignement automatisé, l'OpenAI a identifié trois étapes clés :

Se transformer en expert et avoir un impact significatif sur le monde de la science des données.

1. Développer une méthode de formation évolutive

OpenAI se concentrera sur la création d'une stratégie de formation qui s'adapte bien. Cette méthode sera essentielle pour apprendre aux systèmes d'IA à effectuer des activités difficiles à évaluer pour les humains.

2. Validation du modèle résultant

Il est essentiel de valider l'efficacité du chercheur d'alignement après sa construction. Pour s'assurer que le modèle est conforme aux intentions humaines et qu'il fonctionne comme prévu, l'OpenAI le soumettra à des tests rigoureux.

3. Test de stress du pipeline d'alignement

OpenAI soumettra son pipeline d'alignement à des tests de stress approfondis pour s'assurer de sa durabilité. En soumettant ses systèmes à des situations difficiles, elle pourra trouver d'éventuelles failles et les corriger.

Exploiter les systèmes d'IA pour la supervision et la généralisation

L'OpenAI utilisera des systèmes d'IA pour aider à l'évaluation d'autres systèmes d'IA afin de résoudre la difficulté de superviser des tâches qui sont difficiles à juger pour les humains. Cette méthode de supervision évolutive vise à garantir la réussite de l'alignement. Les chercheurs se pencheront également sur la généralisation de la surveillance, qui permettra aux systèmes d'IA de gérer des activités qui ne sont pas sous le contrôle de l'homme.

Validation de l'alignement : Robustesse et interprétabilité

Pour garantir l'alignement des systèmes d'IA, il est nécessaire de se concentrer sur deux facteurs essentiels : la robustesse et l'interprétabilité. Afin de découvrir d'éventuels problèmes d'alignement, l'OpenAI examinera les éléments internes de ses systèmes et automatisera la recherche de comportements problématiques.

Tests adverses : Détection des désalignements

OpenAI entraînera délibérément des modèles mal alignés pour évaluer l'efficacité de ses méthodes d'alignement. Elle peut évaluer l'efficacité de ses stratégies d'identification et de résolution des désalignements en testant ces modèles de manière rigoureuse et contradictoire.

Évolution des priorités de recherche et collaboration

L'OpenAI est consciente qu'à mesure qu'elle en apprendra davantage sur la question de l'alignement des superintelligences, ses objectifs de recherche évolueront. Les meilleurs chercheurs et ingénieurs en apprentissage automatique seront réunis pour travailler sur ce projet. Afin de créer de nouvelles techniques et de les déployer à grande échelle, l'OpenAI encourage les contributions d'autres équipes et souhaite publier plus d'informations sur sa feuille de route à l'avenir.

L'OpenAI est néanmoins optimiste, même si le défi de l'alignement de la superintelligence est ambitieux et que le succès n'est pas garanti. Elle a réalisé des tests préliminaires encourageants et dispose de mesures utiles pour suivre le développement. L'OpenAI est d'avis qu'un effort ciblé et coopératif peut aboutir à une résolution.

L'équipe dédiée de l'OpenAI : Leaders et collaboration

Le cofondateur et scientifique en chef d'OpenAI, Ilya Sutskever, a fait de l'alignement de la superintelligence le principal sujet de son étude. Il codirigera le groupe avec Jan Leike, responsable de l'alignement. L'équipe est composée de chercheurs et d'ingénieurs talentueux issus de l'ancienne équipe d'alignement de l'OpenAI ainsi que de chercheurs d'autres équipes de l'entreprise.

OpenAI recherche activement des universitaires et des ingénieurs de haut niveau pour se joindre à ses efforts. Ils souhaitent diffuser largement les résultats de leurs travaux, qu'ils considèrent comme essentiels à leur objectif d'aider à l'alignement et à la sécurité des modèles non-OpenAI.

Notre avis

Les efforts de la nouvelle équipe Superalignment complètent ceux d'OpenAI pour rendre les modèles existants comme ChatGPT plus sûrs. Les différents problèmes posés par l'IA, tels que les abus, les perturbations économiques, la désinformation, les préjugés, la discrimination, la dépendance et la surdépendance, sont également au centre des préoccupations de l'OpenAI. Elle collabore avec des professionnels pluridisciplinaires pour s'assurer que ses solutions techniques répondent à des problèmes sociétaux et humains plus importants.

En se consacrant à la création de systèmes d'IA sûrs et compatibles, OpenAI est à l'origine de technologies révolutionnaires qui influenceront la manière dont l'humanité fonctionnera à l'avenir.

Auteur: Sakshi Khanna

Info: https://www.analyticsvidhya.com/blog/author/sakshi_raheja/ - Publié le 8 juillet 2023

[ homme-machine ] [ machine-homme ] [ conservation du pouvoir ] [ prépondérance de l'humain ]

 

Commentaires: 0

Ajouté à la BD par miguel

boomers vs wokes

Kompromat à la française - Pour avoir réussi un coup de maître – faire signer 50 artistes pour défendre Gérard Depardieu – Yannis Ezziadi est à son tour lynché. Cette affaire restera un cas d’école de la mécanique de la Terreur qui veut en finir avec toute singularité.



Pouvez-vous expliquer ces blagues ? Dans le brouhaha malveillant orchestré autour de la tribune de 50 artistes et assimilés pour Depardieu et de son auteur, notre ami Yannis Ezziadi, cette question que lui a adressée Marine Turchi dit la vérité la plus profonde de toute cette affaire (et de pas mal d’autres).



Dans le monde rêvé des néo-féministes en particulier et des wokistes en général, tout passe au hachoir de l’esprit de sérieux : l’art, la littérature, le sexe (abaissé à un ennuyeux pacte contractuel) et l’humour lui-même, prié de participer à la rééducation des masses boomeuses et dépravées.



Pour bien faire comprendre la dangerosité du gars, il me faut reproduire quelques-unes de ces plaisanteries citées à comparaître. Pour vous, c’est cadeau. D’abord, il y a cette citation de Courteline, postée en 2013 (les fouilleurs de poubelles numériques sont consciencieux):  L’homme est le seul mâle qui batte sa femelle. Il est donc le plus brutal des mâles, à moins que, de toutes les femelles, la femme soit la plus insupportable. Le petit malin (il avait 22 ans), avait assorti la citation de ce commentaire :  Je vais me faire lyncher, mais c’est tellement drôle.  Plus grave, car sortie du cerveau malade de l’auteur, cette blague de février 2021 : Pour les accusations de violences sexuelles, heureusement, ce ne sera pas comme pour le Covid. Une fois que la majorité des hommes aura été accusée de viol et d’inceste, ils seront peut-être protégés par l’immunité collective. C’est le seul espoir… Espoir fortement déçu. Si ça vous a fait marrer, votre compte est bon : vous êtes un défenseur des violences sexistes-et-sexuelles et un amateur de violences conjugales. Ou le contraire.



Vous avez le droit de rire, à condition que ce rire ne soit jamais traversé de mauvaises pensées. J’aimerais bien savoir à quoi sert l’humour s’il n’est pas le sauf-conduit de nos mauvaises pensées, le refuge du négatif. Si ça se trouve, nos mangeuses d’hommes n’ont jamais de mauvaises pensées. Les pauvres. Et pauvres de nous. Le règne de la positivité, du premier degré, de la transparence est ce qui s’apparente le plus au meilleur des mondes. C’est-à-dire à l’enfer.



Mais je reviens à mes moutons, en l’occurrence au bouc. Pour ceux qui l’ignorent, Marine Turchi, qui officie à Mediapart, est à la nouvelle terreur féministe ce que Vychinski était au stalinisme. Procureur implacable, elle est capable d’écouter des dizaines d’heure du Masque et la plume , pour révéler qu’on y a dit 32 fois salope ou entendu 41 blagues sexistes (les chiffres sont fantaisistes). Il faut lui reconnaître  une certaine conscience professionnelle. Turchi monte ses dossiers. Et bien sûr, elle donne la parole à l’accusé, parole qui se retrouve généralement noyée entre les témoignages accusatoires. Turchi exerce sa charge avec une certaine froideur, alors qu’Ariane Chemin, qui requiert au Monde, semble animée par la passion de nuire. Mais les deux, formées à l’école Plenel, ont le même talent pour construire et imposer un récit totalement fantasmé des faits qu’elles évoquent. En l’occurrence, elles ont réussi à faire passer l’initiative d’un franc-tireur baroque et flamboyant pour une opération d’extrême droite, orchestrée par "la galaxie Bolloré " pour faire main basse sur le monde de la culture – galaxie, ça vous a un petit air Guerre des étoiles, bien contre mal etc. Ces affabulations complotistes ont suffi à déclencher une chasse à l’homme.



Pour les historiens qui étudieront le totalitarisme sans goulag (analysé par Mathieu Bock-Côté dans son dernier livre) et se demanderont comment des peuples cultivés ont pu se laisser déposséder de leurs libertés sans la moindre contrainte militaire ou physique, l’affaire de la pétition Depardieu sera un cas d’école. Un modèle d’efficacité de la mécanique de la terreur.



Premier acte : panique au quartier général.



Cinquante-six artistes et producteurs dénoncent le lynchage de Depardieu. Un bras d’honneur à la loi du Milieu. Un artiste peut à la limite se taire (bien que cela soit parfois suspect). Mais s’il l’ouvre, il n’a qu’un droit : celui d’énoncer les poncifs du progressisme prêchi-prêcheur, en commençant par quelques génuflexions devant la révolution #metoo. S’il veut cocher toutes les cases, il peut lutter contre la loi scélérate sur les retraites (Bosser jusqu’à 63 ans, jamais !), dénoncer les crimes climatiques des riches et des ploucs, manifester (dans son salon) pour l’accueil des migrants. Cependant, s’il n’a pas le temps de dispenser sa compassion à tout-va, une cause contient toutes les autres, la lutte contre l’extrême droite. C’est la formule magique, la carte du Parti. Qui, en plus d’offrir à son détenteur la considération de France Inter lui permet de bosser.



Sans la sortie d’Emmanuel Macron, qui a déclaré quelques jours plus tôt que Depardieu faisait la fierté de la France, l’affaire en serait peut-être restée là. Du reste, sans l’encouragement présidentiel, les signataires auraient certainement été moins nombreux et moins titrés. Cette fois, il ne s’agit pas des sans-grades de l’intermittence du spectacle, ni de réacs estampillés, mais de stars. Certaines sont sur le retour ou en fin de carrière (ce qui permettra à d’élégants plumitifs de calculer l’âge moyen des signataires), d’autres sont inconnus, mais il y a aussi des comédiens bankables, dont les noms aident à monter un film.



C’est bien ce qui enrage le clergé médiatico-culturel, habitué à voir ses excommunications et proscriptions appliquées sans protestations. La volaille qui fait l’opinion sent le danger : sous peine de voir son pouvoir d’intimidation ébranlé, il lui faut frapper fort. On peut compter sur la police politique.



Acte II. On discrédite le message.



C’est simple : il n’y a qu’à saucissonner le texte en lui faisant dire ce qu’il ne dit pas – que Depardieu a tous les droits, y compris de cuissage. Peut-être y a-t-il des maladresses de rédaction, le texte n’établissant pas assez clairement la différence entre des accusations de viol et des blagues obscènes. Reste que 55 personnes l’ont signé en connaissance de cause – le seul à avoir longuement essayé d’introduire des modifications a été Yvan Attal qui, malgré ces désaccords, a maintenu sa signature. Des agents, des avocats l’ont lu, beaucoup ont dissuadé leurs clients de signer, d’autres ont approuvé des deux mains.



A lire aussi, Dominique Labarrière: Affaire Depardieu: la bourgeoisie de farces et attrapes dans tous ses états



Que ce texte choque, c’est naturel, mais pas pour les raisons invoquées par les milices vigilantes qui sévissent dans les égouts numériques. Le scandale c’est que des artistes puissent adopter le point de vue de l’art plutôt que celui de la morale. Qu’ils affirment clairement que le génie de l’artiste leur importe plus que les agissements de l’homme – cela ne signifie pas que l’un excuse les autres. L’histoire retiendra-t-elle de Picasso qu’il a mal traité ses femmes ou été un artiste de génie ? La réponse à cette question dépendra de l’issue de la guerre idéologique entre les déconstructeurs et les héritiers. En attendant, ce ne sont pas des hommes déconstruits qui ont fait l’histoire de l’art. Ni l’histoire tout court.



Les maîtresses d’école[1] qui surveillent le débat public n’entendent rien à cette grammaire qui échappe aux cadres rigides structurant leur pensée. Elles se contentent de distribuer froncements de sourcils et coups de règles aux signataires. Ils n’ont pas un mot pour les victimes (qui sont en réalité des plaignantes), preuve qu’ils sont solidaires des agresseurs, violeurs et autres pédophiles. Ces premières sommations entraînent déjà quelques défections, sur le mode " J’avais mal lu " voire " J’ai signé sans lire ". Mais croyez-le bien je pense tous les jours aux violences contre les femmes.



Acte III. On brûle le messager.



Là, on ne rigole plus. La hauteur de l’affront exige une victime expiatoire. Après les préliminaires, se met en branle une mécanique proprement totalitaire, de celles qui broient les individus pour la bonne cause. Dans les sacristies médiatiques, on découvre avec fureur que le diablus ex machina de cette sorcellerie est un quasi inconnu (sauf pour les heureux lecteurs de Causeur et les afficionados). Voilà un type qui prétend avoir, avec ses petits bras, convaincu des vedettes comme Bertrand Blier, Carole Bouquet ou Pierre Richard de prendre la défense d’un homme que Le Monde et Mediapart ont pourtant condamné à la mort sociale.



Il faut lui donner une leçon, à lui et à tous ceux qui l’ont suivi. Leur faire passer l’envie de récidiver. On s’intéresse donc à sa personne, débitée en tranches avec encore plus de malveillance que son texte. De ce point de vue, l’article d’Ariane Chemin mérite la médaille d’or de la dégueulasserie journalistique. Avec quelques micro-bouts de vérité, elle dresse un portrait totalement mensonger intitulé : À la source de la tribune pour Depardieu, un comédien proche des sphères identitaires et réactionnaires. Non seulement il écrit dans Causeur, mensuel dépeint, selon les médias ou les jours, comme d’extrême droite, conservateur, ultra-conservateur ou réactionnaire, mais Chemin souligne qu’il est ami avec Sarah Knafo et Eric Zemmour et qu’il fait la fête avec votre servante. À l’évidence, pour Chemin, l’amitié ne saurait tolérer la divergence. Quant à nos fêtes, elle doit s’imaginer qu’on y récite des horreurs racistes et sexistes affublés de chapeaux pointus. Nous passons en effet d’excellentes soirées à rire, nous disputer, boire, manger, danser, chanter et rire encore. Tout ce rire, c’est suspect, chef. Surtout entre gens qui ne pensent pas la même chose.



Les articles d’Ezziadi sont passés à la même moulinette diffamatoire. Le texte magnifique dans lequel il démonte la mécanique complotiste qui lui a retourné le cerveau à l’âge de 18 ans devient une preuve à charge : le gars est un « dieudonniste repenti » (ce qui signifie dieudonniste toujours). Sa charge contre Jean-Paul Rouve qui joue Matzneff en monstre et se dit fier de ne rien comprendre à son personnage est présentée comme une défense de l’écrivain à nymphettes. Pour sa défense, Ezziadi cite Bruno Ganz qui, dans la Chute, campait un Hitler diablement humain et fut honoré pour cela. Certains en concluent sans doute qu’en prime, il est nazi. Son reportage sur l’islamisation rampante de Nangis, paisible ville de Seine et Marne fait de lui un adepte de " la théorie complotiste-extrême-droite du Grand remplacement " sans que quiconque se donne la peine de réfuter les faits qu’il décrit – et pour cause. Et quand il affirme, sur LCI, que les hommes ont peur, son interlocutrice, une péronnelle blonde à l’air méchant, le toise, semblant penser qu’ils ont bien raison d’avoir peur, toi le premier. Les ligues de vertu avaient fabriqué un monstre avec Depardieu. En une semaine, elles accouchent d’une nouvelle figure du mal et du mâle à abattre.



Acte IV. La litanie des autocritiques.



Pour nombre de signataires, la pression morale et financière est insupportable. Ils n’ont pas l’habitude des flots de haine et d’injures qui s’abattent sur eux. Leurs agents les engueulent, ils se font pourrir par leurs neveux woke lors des dîners de famille, des directeurs de théâtre, des producteurs, des diffuseurs, des réalisateurs menacent à mots couverts. Ils doivent lâcher l’ennemi du Parti sous peine d’être purgé avec lui. Certains, honteux de leur propre reculade, se retirent sur la pointe des pieds, parfois après avoir adressé en privé à Ezziadi un signe amical – je suis désolé mais je n’ai pas le choix. Jacques Weber pleurniche, écrivant curieusement que sa signature était un  " autre viol  " – son respect de la présomption d’innocence aura duré deux semaines. D’autres en rajoutent dans l’adoration de la Révolution, braillent comme des pourceaux, jurant qu’ils ont été trahis, manipulés, envoutés par un petit comploteur d’extrême droite. Puisque Le Monde le dit, il ne leur vient même pas à l’esprit de se poser une question. Comme me l’écrit Jonathan Siksou, " si Ariane Chemin ou BFM avait dit que Yannis était une table à roulettes ou un pélican, tout le monde le croirait ". Ils ont signé parce qu’ils croyaient que le vent avait tourné. Ils se replacent naturellement dans le sens du vent.



Le plus inquiétant est que la machine à détruire s’en prenne à un jeune homme qui n’a aucun pouvoir, sinon celui de son grand charme et du plaisir que ses amis prennent à sa compagnie. Contrairement aux consœurs qui peuvent encore briser des carrières et réduire des hommes au chômage sur la seule foi d’accusations (les femmes ne mentent jamais), Yannis Ezziadi ne peut nuire à personne. Il a effectivement monté son attentat contre la bienséance avec sa seule force de conviction. Il s’est pendu au téléphone, d’abord avec les amis, puis les amis d’amis, chacun des signataires a donné ses contacts, certains, dit « oui » puis « non » en fonction de leurs dîners de la veille.



Il n’est guère étonnant que ce dandy fantastiquement drôle qui peut pleurer de bonheur en écoutant un opéra ou en regardant une corrida enrage les vestales fanatiques de la religion des femmes et tous ceux qui, terrifiés, psalmodient derrière elles. Yannis Ezziadi possède quelque chose que ces esprits policiers haïssent parce qu’ils y ont renoncé. Cela s’appelle la liberté.



Epilogue. Le Parti a toujours raison.



Les tricoteuses féministes ont réduit au silence tous ceux qui auraient pu, qui auraient dû, se lever contre ce procès de Moscou. Beaucoup se taisent par peur d’être à leur tour soupçonnés, donc condamnés. On peut le comprendre mais ils ont tort. Pour peu qu’ils aient une sexualité vaguement débridée (quoique parfaitement légale), ils finiront, eux aussi, par être arrêtés un matin, même sans avoir jamais rien fait. Si toutes les stars de la tribune Depardieu avaient tenu bon et adressé un grand bras d’honneur aux maitres-chanteurs, le rapport de forces aurait changé. Un peu de courage ne nuit pas.



Oui, il y a des raisons d’avoir peur. L’inquisition a gagné une bataille. Si demain, plus personne n’ose sortir des clous de la bienséance, si nous acceptons docilement que Polanski, Depardieu et tant d’autres soient brûlés en place publique, que leurs œuvres soient bannies des écrans et des mémoires, elle règnera sur nos esprits. Quand on a peur de dire ce qu’on pense, on finit par avoir peur de penser.



[1] Des deux sexes mais le féminin pour tout le monde est ici parfaitement justifié

Auteur: Lévy Elisabeth

Info: Causeur, 4 janvier 2024

[ pouvoir sémantique ] [ Gaule ] [ parisianisme ]

 

Commentaires: 0

Ajouté à la BD par Le sous-projectionniste

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]

 

Commentaires: 0

Ajouté à la BD par miguel