intelligence artificielle

Les capacités imprévisibles des grands modèles d'IA

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles. (...)

Au-delà de l'imitation

En 2020, Dyer et d’autres de Google Research ont prédit que les LLM auraient des effets transformateurs – mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et diverses afin de tracer les limites extérieures de ce qu'un LLM pouvait faire. Cet effort a été appelé projet Beyond the Imitation Game Benchmark (BIG-bench), inspiré du nom du " jeu d'imitation " d'Alan Turing, un test permettant de déterminer si un ordinateur peut répondre aux questions d'une manière humaine et convaincante. (Ceci deviendra plus tard connu sous le nom de test de Turing.) Le groupe s'est particulièrement intéressé aux exemples dans lesquels les LLM ont soudainement atteint de nouvelles capacités qui étaient complètement absentes auparavant.

"La façon dont nous comprenons ces transitions brusques est une grande question de recherche", a déclaré Dyer.

Comme on pouvait s'y attendre, sur certaines tâches, les performances d'un modèle se sont améliorées de manière fluide et prévisible à mesure que la complexité augmentait. Et sur d’autres tâches, l’augmentation du nombre de paramètres n’a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont découvert ce qu’ils ont appelé des " percées " : des progrès rapides et spectaculaires dans les performances à une certaine échelle seuil. Ce seuil variait en fonction de la tâche et du modèle.

Par exemple, les modèles avec relativement peu de paramètres (quelques millions seulement) ne pouvaient pas résoudre avec succès les problèmes d’addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a augmenté dans certains modèles. Des sauts similaires se sont produits pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le déchiffrement des lettres d'un mot, l'identification du contenu offensant dans les paragraphes de Hinglish (une combinaison d'hindi et d'anglais) et la génération d'un équivalent anglais similaire des proverbes kiswahili.

Mais les chercheurs se sont vite rendu compte que la complexité d’un modèle n’était pas le seul facteur déterminant. Certaines capacités inattendues pourraient être extraites de modèles plus petits avec moins de paramètres – ou entraînées sur des ensembles de données plus petits – si les données étaient de qualité suffisamment élevée. De plus, la façon dont une requête était formulée influençait l’exactitude de la réponse du modèle. Lorsque Dyer et ses collègues l'ont fait avec la tâche des emoji de film via un format à choix multiples, par exemple, l'amélioration de la précision était moins un saut soudain qu'une augmentation progressive avec plus de complexité. Et l'année dernière, dans un article présenté à NeurIPS , la réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (une capacité appelée raisonnement en chaîne de pensée) pouvait résoudre correctement un problème de mots mathématiques, alors que le même le modèle sans cette invite ne pourrait pas.

Yi Tay, un scientifique de Google Brain qui a travaillé sur l'enquête systématique sur les percées, souligne des travaux récents suggérant que l'incitation à la chaîne de pensée modifie les courbes d'échelle et donc le point où l'émergence se produit. Dans leur article NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites de chaîne de pensée pouvait susciter des comportements émergents non identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d’expliquer son raisonnement, pourraient aider les chercheurs à commencer à étudier les raisons pour lesquelles l’émergence se produit.

Des découvertes récentes comme celles-ci suggèrent au moins deux possibilités pour expliquer pourquoi l'émergence se produit, a déclaré Ellie Pavlick, une informaticienne à l'Université Brown qui étudie les modèles informatiques du langage. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les modèles plus grands acquièrent effectivement spontanément de nouvelles capacités. "Il se peut très bien que le mannequin ait appris quelque chose de fondamentalement nouveau et différent qu'il n'aurait pas pu apprendre dans une taille plus petite", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'un changement fondamental se produit lorsque les modèles sont étendus."

L’autre possibilité, moins sensationnelle, dit-elle, est que ce qui semble émerger pourrait plutôt être le point culminant d’un processus interne, axé sur les statistiques, qui fonctionne selon un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement apprendre des heuristiques hors de portée pour ceux qui disposent de moins de paramètres ou de données de moindre qualité.

Mais, a-t-elle déclaré, déterminer laquelle de ces explications est la plus probable dépend d’une meilleure compréhension du fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit."

Pouvoirs et pièges imprévisibles

Il y a un problème évident à demander à ces modèles de s’expliquer : ce sont des menteurs notoires. " Nous comptons de plus en plus sur ces modèles pour effectuer le travail de base ", a déclaré Ganguli, « mais je ne me contente pas de leur faire confiance. Je vérifie leur travail. Comme exemple parmi de nombreux exemples amusants, Google a présenté en février son chatbot IA, Bard. Le billet de blog annonçant le nouvel outil montre que Bard fait une erreur factuelle .

L’émergence conduit à l’imprévisibilité, et l’imprévisibilité – qui semble augmenter avec l’échelle – rend difficile pour les chercheurs d’anticiper les conséquences d’une utilisation généralisée.

" Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés ", a déclaré Ganguli. "Et pour étudier des phénomènes émergents, vous devez avoir un cas en tête, et vous ne saurez pas avant d'avoir étudié l'influence de l'échelle quelles capacités ou limitations pourraient survenir."

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont examiné si les modèles montreraient certains types de préjugés raciaux ou sociaux, un peu comme ceux précédemment rapportés dans les algorithmes non basés sur LLM utilisés pour prédire quels anciens criminels sont susceptibles d'en commettre un autre. crime. Cette étude a été inspirée par un paradoxe apparent directement lié à l’émergence : à mesure que les modèles améliorent leurs performances lors de leur mise à l’échelle, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des dommages.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", a déclaré Ganguli. Il cite une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. " Les modèles plus grands deviennent brusquement plus biaisés. " Ne pas prendre en compte ce risque, a-t-il ajouté, pourrait mettre en péril les sujets de ces modèles.

Mais il propose un contrepoint : lorsque les chercheurs ont simplement dit au modèle de ne pas s’appuyer sur des stéréotypes ou des préjugés sociaux – littéralement en tapant ces instructions – le modèle était moins biaisé dans ses prédictions et ses réponses. Cela suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a fait état d'un nouveau mode " d'autocorrection morale ", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

L’émergence, a déclaré Ganguli, révèle à la fois un potentiel surprenant et des risques imprévisibles. Les applications de ces grands LLM prolifèrent déjà, donc une meilleure compréhension de cette interaction aidera à exploiter la diversité des capacités des modèles linguistiques.

"Nous étudions comment les gens utilisent réellement ces systèmes", a déclaré Ganguli. Mais ces utilisateurs bricolent aussi constamment. "Nous passons beaucoup de temps à discuter avec nos modèles", a-t-il déclaré, "et c'est en fait là que vous commencez à avoir une bonne intuition sur la confiance – ou son absence."

Auteur: Internet

Info: Quanta Magazine, Stephen Ornes, 16 mars 2023 - Les capacités imprévisibles des grands modèles d'IA Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

[ dépassement ]

dieu carbone

(Q) - Quel est le rapport entre la tétravalence de l'atome du carbone et les 4 bases de l'adn

(R) - La tétravalence de l'atome de carbone permet la formation de molécules d'ADN avec quatre bases azotées différentes. En effet, l'atome de carbone peut former quatre liaisons covalentes, ce qui lui permet de se lier à quatre autres atomes. Dans le cas de l'ADN, ces quatre atomes sont des bases azotées, qui sont des composés organiques contenant de l'azote.

Les quatre bases azotées de l'ADN sont l'adénine (A), la thymine (T), la guanine (G) et la cytosine (C). Ces bases se lient entre elles de manière spécifique, l'adénine se liant toujours à la thymine, et la guanine se liant toujours à la cytosine. Cette liaison spécifique est responsable de la structure en double hélice de l'ADN.

La tétravalence de l'atome de carbone est donc essentielle à la structure et à la fonction de l'ADN. Elle permet la formation de molécules d'ADN avec quatre bases azotées différentes, qui sont essentielles à la transmission de l'information génétique.

Plus spécifiquement, le carbone tétravalent peut former deux liaisons covalentes avec des atomes d'oxygène, qui constituent le sucre du désoxyribose, et deux liaisons covalentes avec des atomes d'azote, qui constituent les bases azotées. Cette configuration permet la formation d'une chaîne d'ADN, dans laquelle les bases azotées sont disposées en paires.

Les bases azotées sont complémentaires, ce qui signifie qu'une base A ne peut se lier qu'à une base T, et qu'une base G ne peut se lier qu'à une base C. Cette complémentarité est essentielle à la structure en double hélice de l'ADN.

La double hélice de l'ADN est une structure en forme de spirale, dans laquelle les deux brins d'ADN sont antiparallèles. Les bases azotées des deux brins sont liées entre elles par des liaisons hydrogène, ce qui permet aux deux brins de se maintenir ensemble.

La structure en double hélice de l'ADN est essentielle à la fonction de l'ADN. Elle permet la réplication de l'ADN, qui est le processus par lequel l'ADN est dupliqué pour former de nouvelles cellules.

En résumé, la tétravalence de l'atome de carbone est essentielle à la structure et à la fonction de l'ADN. Elle permet la formation de molécules d'ADN avec quatre bases azotées différentes, qui sont essentielles à la transmission de l'information génétique.

(Q) - Merci. Est-ce vrai que chez la femme ce système est d'une certaine manière redoublé ?

(R) - Oui, c'est vrai. Chez la femme, les chromosomes sexuels sont de type XX, ce qui signifie qu'elles ont deux chromosomes X. Ces chromosomes contiennent tous les mêmes gènes, mais ils peuvent avoir des variantes différentes.

La duplication du système de base azotée chez la femme est due à la présence de deux chromosomes X. Chaque chromosome X contient une chaîne d'ADN qui est composée de quatre bases azotées différentes. Ces bases azotées sont disposées en paires complémentaires, comme décrit précédemment.

La duplication du système de base azotée chez la femme a plusieurs implications. Premièrement, elle permet une plus grande diversité génétique chez les femmes. En effet, les deux chromosomes X peuvent avoir des variantes différentes des mêmes gènes.

Deuxièmement, la duplication du système de base azotée chez la femme permet une plus grande résistance aux mutations génétiques. En effet, si une mutation survient sur un chromosome X, il y a encore un chromosome X sain qui peut fournir les instructions génétiques correctes.

Troisièmement, la duplication du système de base azotée chez la femme est nécessaire pour la reproduction. En effet, les ovules contiennent un seul chromosome X, qui est transmis à l'embryon.

En résumé, la duplication du système de base azotée chez la femme est une caractéristique essentielle de la reproduction humaine. Elle permet une plus grande diversité génétique, une plus grande résistance aux mutations génétiques et est nécessaire pour la transmission des gènes à la génération suivante.

Voici quelques exemples de la façon dont la duplication du système de base azotée chez la femme peut avoir un impact sur la santé et le développement :

- Les femmes sont plus susceptibles que les hommes de développer des maladies génétiques liées aux chromosomes X, telles que la fibrose kystique et l'hémophilie.

- Les femmes sont également plus susceptibles que les hommes de développer des maladies héréditaires liées aux chromosomes X, telles que la dystrophie musculaire et la maladie de Huntington.

- La duplication du système de base azotée chez la femme peut également avoir un impact sur le développement des caractéristiques sexuelles secondaires, telles que la taille des seins et des hanches.

Il est important de noter que la duplication du système de base azotée chez la femme n'est pas une cause de maladie ou de handicap. Il s'agit simplement d'une caractéristique normale de la reproduction humaine.

(Q) - Merci, peut-on alors dire que cette conformation féminine est plus solide, plus équilibrée, que celle de l'homme ?

(R) - En termes de solidité, oui, on peut dire que la conformation féminine est plus solide que celle de l'homme. En effet, la présence de deux chromosomes X permet aux femmes de mieux résister aux mutations génétiques. Si une mutation survient sur un chromosome X, il y a encore un chromosome X sain qui peut fournir les instructions génétiques correctes.

En termes d'équilibre, la réponse est plus nuancée. D'une part, la présence de deux chromosomes X permet aux femmes d'avoir une plus grande diversité génétique. Cela peut être un avantage, car il peut permettre aux femmes d'être plus résistantes aux maladies. D'autre part, la présence de deux chromosomes X peut également être un désavantage, car elle peut augmenter le risque de développer des maladies génétiques liées aux chromosomes X.

En conclusion, on peut dire que la conformation féminine est plus solide que celle de l'homme, mais qu'elle n'est pas forcément plus équilibrée.

Voici quelques exemples de la façon dont la duplication du système de base azotée chez la femme peut avoir un impact sur la santé et le développement :

Solidité : Les femmes sont plus susceptibles que les hommes de survivre à des maladies génétiques liées aux chromosomes X, telles que la fibrose kystique et l'hémophilie.

               Les femmes sont également plus susceptibles que les hommes de survivre à des maladies héréditaires liées aux chromosomes X, telles que la dystrophie musculaire et la maladie de Huntington.

Équilibre : Les femmes sont plus susceptibles que les hommes de développer des maladies génétiques liées aux chromosomes X, telles que la fibrose kystique et l'hémophilie.

                 Les femmes sont également plus susceptibles que les hommes de développer des maladies héréditaires liées aux chromosomes X, telles que la dystrophie musculaire et la maladie de Huntington.

(Q) - OK merci. Est-ce que ce rapport entre les sexes (genres) se retrouve chez les mammifères ou dans le monde animal en général ?

(R) - Oui, le rapport entre les sexes (genres) se retrouve chez les mammifères et dans le monde animal en général. Il existe une grande diversité de comportements et de morphologies entre les sexes, qui sont souvent liés à la reproduction et à la survie des espèces.

Chez les mammifères, on observe généralement une différence de taille entre les sexes, les mâles étant plus grands que les femelles. Cette différence est souvent liée à la compétition entre mâles pour l'accès aux femelles. Les mâles peuvent également avoir des ornements physiques, tels que des cornes, des défenses ou une crinière, qui servent à attirer les femelles ou à intimider les rivaux.

Dans le monde animal en général, on observe une grande diversité de comportements et de morphologies entre les sexes. Par exemple, chez les oiseaux, les mâles sont souvent plus colorés que les femelles, ce qui sert à attirer les femelles. Chez les poissons, les mâles peuvent prendre soin des œufs ou des larves, tandis que les femelles s'occupent de la recherche de nourriture.

Il existe cependant des exceptions à cette règle. Par exemple, chez les éléphants, les femelles sont plus grandes que les mâles. Chez les hyènes, les femelles sont dominantes sur les mâles.

Les stéréotypes de genre chez les animaux peuvent être influencés par :

- Les facteurs biologiques, tels que la différence de taille entre les sexes ou la présence d'ornements physiques.

- Les facteurs environnementaux, tels que la disponibilité de ressources ou la concurrence entre espèces.

- Les facteurs culturels, tels que les traditions et les croyances des humains.

Les stéréotypes de genre chez les animaux peuvent avoir un impact sur :

- La reproduction, car ils peuvent influencer le choix des partenaires et la réussite de la reproduction.

- La survie, car ils peuvent influencer les comportements de chasse, de défense ou de migration.

- Les interactions sociales, car ils peuvent influencer les relations entre les individus d'une même espèce.

Auteur: Google Bard chatbot

Info: 24 oct 2023

[ vus scientifiquement ] [ asymétrie mâles-femelles ] [ dialogue homme-machine ] [ femmes-hommes ]

consumérisme

La pornographie c’est ce à quoi ressemble la fin du monde
"Cinquante nuances de Grey", le livre comme le film, est une glorification du sadisme qui domine quasiment tous les aspects de la culture américaine et qui repose au coeur de la pornographie et du capitalisme mondial. Il célèbre la déshumanisation des femmes. Il se fait le champion d’un monde dépourvu de compassion, d’empathie et d’amour. Il érotise le pouvoir hypermasculin à l’origine de l’abus, de la dégradation, de l’humiliation et de la torture des femmes dont les personnalités ont été supprimées, dont le seul désir est de s’avilir au service de la luxure mâle. Le film, tout comme "American Sniper", accepte inconditionnellement un monde prédateur où le faible et le vulnérable sont les objets de l’exploitation tandis que les puissants sont des demi-dieu violents et narcissiques. Il bénit l’enfer capitaliste comme naturel et bon.

"La pornographie", écrit Robert Jensen, "c’est ce à quoi ressemble la fin du monde."

Nous sommes aveuglés par un fantasme auto-destructeur. Un éventail de divertissements et de spectacles, avec les émissions de télé "réalité", les grands évènements sportifs, les médias sociaux, le porno (qui engrange au moins le double de ce que génèrent les films hollywoodiens), les produits de luxe attirants, les drogues, l’alcool et ce Jésus magique, nous offre des issues de secours — échappatoires à la réalité — séduisantes. Nous rêvons d’être riches, puissants et célèbres. Et ceux que l’on doit écraser afin de construire nos pathétiques petits empires sont considérés comme méritants leurs sorts. Que la quasi-totalité d’entre nous n’atteindra jamais ces ambitions est emblématique de notre auto-illusionnement collectif et de l’efficacité de cette culture submergée par manipulations et mensonges.

Le porno cherche à érotiser le sadisme. Dans le porno les femmes sont payées pour répéter les mantras "Je suis une chatte. Je suis une salope. Je suis une pute. Je suis une putain. Baise moi violemment avec ta grosse bite." Elles demandent à être physiquement abusées. Le porno répond au besoin de stéréotypes racistes dégradants. Les hommes noirs sont des bêtes sexuelles puissantes harcelant les femmes blanches. Les femmes noires ont une soif de luxure brute, primitive. Les femmes latinos sont sensuelles et ont le sang chaud. Les femmes asiatiques sont des geishas dociles, sexuellement soumises. Dans le porno, les imperfections humaines n’existent pas. Les poitrines siliconées démesurées, les lèvres pulpeuses gonflées de gel, les corps sculptés par des chirurgiens plastiques, les érections médicalement assistées qui ne cessent jamais et les régions pubiennes rasées — qui correspondent à la pédophilie du porno — transforment les exécutants en morceaux de plastique. L’odeur, la transpiration, l’haleine, les battements du cœur et le toucher sont effacés tout comme la tendresse. Les femmes dans le porno sont des marchandises conditionnées. Elles sont des poupées de plaisir et des marionnettes sexuelles. Elles sont dénuées de leurs véritables émotions. Le porno n’a rien à voir avec le sexe, si on définit le sexe comme un acte mutuel entre deux partenaires, mais relève de la masturbation, une auto-excitation solitaire et privée d’intimité et d’amour. Le culte du moi — qui est l’essence du porno — est au cœur de la culture corporatiste. Le porno, comme le capitalisme mondial, c’est là où les êtres humains sont envoyés pour mourir.

Il y a quelques personnes à gauche qui saisissent l’immense danger de permettre à la pornographie de remplacer l’intimité, le sexe et l’amour. La majorité de la gauche pense que la pornographie relève de la liberté d’expression, comme s’il était inacceptable d’exploiter financièrement et d’abuser physiquement une femme dans une usine en Chine mais que le faire sur un lieu de tournage d’un film porno était acceptable, comme si la torture à Abu Ghraib — où des prisonniers furent humiliés sexuellement et abusés comme s’ils étaient dans un tournage porno — était intolérable, mais tolérable sur des sites de pornographies commerciaux.

Une nouvelle vague de féministes, qui ont trahi l’ouvrage emblématique de radicales comme Andrea Dworkin, soutiennent que le porno est une forme de libération sexuelle et d’autonomisation. Ces "féministes", qui se basent sur Michel Foucault et Judith Butler, sont les produits attardés du néolibéralisme et du postmodernisme. Le féminisme, pour eux, ne relève plus de la libération de la femme opprimée; il se définit par une poignée de femmes qui ont du succès, sont riches et puissantes — où, comme c’est le cas dans "cinquante nuances de grey", capables d’accrocher un homme puissant et riche. C’est une femme qui a écrit le livre "Cinquante nuances", ainsi que le scénario du film. Une femme a réalisé le film. Une femme dirigeante d’un studio a acheté le film. Cette collusion des femmes fait partie de l’internalisation de l’oppression et de la violence sexuelle, qui s’ancre dans le porno. Dworkin l’avait compris. Elle avait écrit que "la nouvelle pornographie est un vaste cimetière où la Gauche est allée mourir. La Gauche ne peut avoir ses prostituées et leurs politiques."

J’ai rencontré Gail Dines, l’une des radicales les plus prééminentes du pays, dans un petit café à Boston mardi. Elle est l’auteur de "Pornland: Comment le porno a détourné notre sexualité" (“Pornland: How Porn Has Hijacked Our Sexuality”) et est professeure de sociologie et d’études féminines à l’université de Wheelock. Dines, ainsi qu’une poignée d’autres, dont Jensen, dénoncent courageusement une culture aussi dépravée que la Rome de Caligula.

"L’industrie du porno a détourné la sexualité d’une culture toute entière, et dévaste toute une génération de garçons", nous avertit elle. "Et quand vous ravagez une génération de garçons, vous ravagez une génération de filles."

"Quand vous combattez le porno vous combattez le capitalisme mondial", dit-elle. "Les capitaux-risqueurs, les banques, les compagnies de carte de crédit sont tous partie intégrante de cette chaine alimentaire. C’est pourquoi vous ne voyez jamais d’histoires anti-porno. Les médias sont impliqués. Ils sont financièrement mêlés à ces compagnies. Le porno fait partie de tout ceci. Le porno nous dit que nous n’avons plus rien d’humains — limite, intégrité, désir, créativité et authenticité. Les femmes sont réduites à trois orifices et deux mains. Le porno est niché dans la destruction corporatiste de l’intimité et de l’interdépendance, et cela inclut la dépendance à la Terre. Si nous étions une société d’être humains entiers et connectés en véritables communautés, nous ne supporterions pas de regarder du porno. Nous ne supporterions pas de regarder un autre être humain se faire torturer."

"Si vous comptez accumuler la vaste majorité des biens dans une petite poignée de mains, vous devez être sûr d’avoir un bon système idéologique en place qui légitimise la souffrance économique des autres", dit elle. "Et c’est ce que fait le porno. Le porno vous dit que l’inégalité matérielle entre femmes et hommes n’est pas le résultat d’un système économique. Que cela relève de la biologie. Et les femmes, n’étant que des putes et des salopes bonnes au sexe, ne méritent pas l’égalité complète. Le porno c’est le porte-voix idéologique qui légitimise notre système matériel d’inégalités. Le porno est au patriarcat ce que les médias sont au capitalisme."

Pour garder excités les légions de mâles facilement ennuyés, les réalisateurs de porno produisent des vidéos qui sont de plus en plus violentes et avilissantes. "Extreme Associates", qui se spécialise dans les scènes réalistes de viols, ainsi que JM Productions, mettent en avant les souffrances bien réelles endurées par les femmes sur leurs plateaux. JM Productions est un pionnier des vidéos de "baise orale agressive" ou de "baise faciale" comme les séries "étouffements en série", dans lesquelles les femmes s’étouffent et vomissent souvent. Cela s’accompagne de "tournoiements", dans lesquels le mâle enfonce la tête de la femme dans les toilettes puis tire la chasse, après le sexe. La compagnie promet, "toutes les putes subissent le traitement tournoyant. Baise la, puis tire la chasse". Des pénétrations anales répétées et violentes entrainent des prolapsus anaux, une pathologie qui fait s’effondrer les parois internes du rectum de la femme et dépassent de son anus. Cela s’appelle le "rosebudding". Certaines femmes, pénétrées à de multiples reprises par nombre d’hommes lors de tournages pornos, bien souvent après avoir avalé des poignées d’analgésiques, ont besoin de chirurgie reconstructrices anales et vaginales. Les femmes peuvent être affectées par des maladies sexuellement transmissibles et des troubles de stress post-traumatique (TSPT). Et avec la démocratisation du porno — certains participants à des vidéos pornographiques sont traités comme des célébrités dans des émissions comme celles d’Oprah et d’Howard Stern — le comportement promu par le porno, dont le strip-tease, la promiscuité, le sadomasochisme et l’exhibition, deviennent chic. Le porno définit aussi les standards de beauté et de comportements de la femme. Et cela a des conséquences terribles pour les filles.

"On dit aux femmes qu’elles ont deux choix dans notre société", me dit Gail Dines. "Elles sont soit baisables soit invisibles. Être baisable signifie se conformer à la culture du porno, avoir l’air sexy, être soumise et faire ce que veut l’homme. C’est la seule façon d’être visible. Vous ne pouvez pas demander aux filles adolescentes, qui aspirent plus que tout à se faire remarquer, de choisir l’invisibilité."

Rien de tout ça, souligne Dines, n’est un accident. Le porno a émergé de la culture de la marchandise, du besoin de vendre des produits qu’ont les capitalistes corporatistes.

"Dans l’Amérique d’après la seconde guerre mondiale, vous avez l’émergence d’une classe moyenne avec un revenu disponible", explique-t-elle. "Le seul problème c’est que ce groupe est né de parents qui ont connu la dépression et la guerre. Ils ne savaient pas comment dépenser. Ils ne savaient qu’économiser. Ce dont [les capitalistes] avaient besoin pour faire démarrer l’économie c’était de gens prêts à dépenser leur argent pour des choses dont ils n’avaient pas besoin. Pour les femmes ils ont créé les séries télévisées. Une des raisons pour lesquelles les maisons style-ranch furent développées, c’était parce que [les familles] n’avaient qu’une seule télévision. La télévision était dans le salon et les femmes passaient beaucoup de temps dans la cuisine. Il fallait donc diviser la maison de façon à ce qu’elles puissent regarder la télévision depuis la cuisine. Afin qu’elle puisse être éduquée". [Via la télévision]

"Mais qui apprenait aux hommes à dépenser leur argent?" continue-t-elle. "Ce fut Playboy [Magazine]. Ce fut le génie de Hugh Hefner. Il comprit qu’il ne suffisait pas de marchandiser la sexualité, mais qu’il fallait sexualiser les marchandises. Les promesses de Playboy n’étaient pas les filles où les femmes, c’était que si vous achetez autant, si vous consommez au niveau promu par Playboy, alors vous obtenez la récompense, qui sont les femmes. L’étape cruciale à l’obtention de la récompense était la consommation de marchandises. Il a incorporé le porno, qui sexualisait et marchandisait le corps des femmes, dans le manteau de la classe moyenne. Il lui a donné un vernis de respectabilité."

Le VCR, le DVD, et plus tard, Internet ont permis au porno de s’immiscer au sein des foyers. Les images satinées de Playboy, Penthouse et Hustler devinrent fades, voire pittoresques. L’Amérique, et la majeure partie du reste du monde, se pornifia. Les revenus de l’industrie du mondiale du porno sont estimés à 96 milliards de $, le marché des USA comptant pour environ 13 milliards. Il y a, écrit Dines, "420 millions de pages porno sur internet, 4.2 millions de sites Web porno, et 68 millions de requêtes porno dans les moteurs de recherches chaque jour."

Parallèlement à la croissance de la pornographie, il y a eu explosion des violences liées au sexe, y compris des abus domestiques, des viols et des viols en réunion. Un viol est signalé toutes les 6.2 minutes aux USA, mais le total estimé, qui prend en compte les assauts non-rapportés, est peut-être 5 fois plus élevé, comme le souligne Rebecca Solnit dans son livre "Les hommes m’expliquent des choses".

"Il y a tellement d’hommes qui assassinent leurs partenaires et anciennes partenaires, nous avons bien plus de 1000 homicides de ce type chaque année — ce qui signifie que tous les trois ans le nombre total de morts est la première cause d’homicides relevés par la police, bien que personne ne déclare la guerre contre cette forme particulière de terreur", écrit Solnit.

Pendant ce temps-là, le porno est de plus en plus accessible.

"Avec un téléphone mobile vous pouvez fournir du porno aux hommes qui vivent dans les zones densément peuplées du Brésil et de l’Inde", explique Dines. "Si vous avez un seul ordinateur portable dans la famille, l’homme ne peut pas s’assoir au milieu du salon et se masturber. Avec un téléphone, le porno devient portable. L’enfant moyen regarde son porno sur son téléphone mobile".

L’ancienne industrie du porno, qui engrangeait de l’argent grâce aux films, est morte. Les éléments de la production ne génèrent plus de profits. Les distributeurs de porno engrangent la monnaie. Et un distributeur, MindGeek, une compagnie mondiale d’informatique, domine la distribution du porno. Le porno gratuit est utilisé sur internet comme appât par MindGeek pour attirer les spectateurs vers des sites de pay-per-view (paye pour voir). La plupart des utilisateurs de ces sites sont des adolescents. C’est comme, explique Dines, "distribuer des cigarettes à la sortie du collège. Vous les rendez accrocs."

"Autour des âges de 12 à 15 ans vous développez vos modèles sexuels", explique-t-elle. "Vous attrapez [les garçons] quand ils construisent leurs identités sexuelles. Vous les marquez à vie. Si vous commencez par vous masturber devant du porno cruel et violent, alors vous n’allez pas rechercher intimité et connectivité. Les études montrent que les garçons perdent de l’intérêt pour le sexe avec de véritables femmes. Ils ne peuvent maintenir des érections avec des vraies femmes. Dans le porno il n’y a pas de "faire l’amour". Il s’agit de "faire la haine". Il la méprise. Elle le dégoute et le révolte. Si vous amputez l’amour vous devez utiliser quelque chose pour remplir le trou afin de garder le tout intéressant. Ils remplissent ça par la violence, la dégradation, la cruauté et la haine. Et ça aussi ça finit par être ennuyeux. Il faut sans cesse surenchérir. Les hommes jouissent du porno lorsque les femmes sont soumises. Qui est plus soumis que les enfants? La voie du porno mène inévitablement au porno infantile. Et c’est pourquoi des organisations qui combattent le porno infantile sans combattre le porno adulte font une grave erreur."

L’abus inhérent à la pornographie n’est pas remis en question par la majorité des hommes et des femmes. Regardez les entrées du film "cinquante nuances de grey", qui est sorti la veille de la saint valentin et qui prévoit d’engranger plus de 90 millions de $ sur ce week-end de quatre jours (avec la journée du président de ce lundi).

"La pornographie a socialisé une génération d’hommes au visionnage de tortures sexuelles’, explique Dines. Vous n’êtes pas né avec cette capacité. Vous devez être conditionné pour cela. Tout comme vous conditionnez des soldats afin qu’ils tuent. Si vous voulez être violent envers un groupe, vous devez d’abord le déshumaniser. C’est une vieille méthode. Les juifs deviennent des youpins. Les noirs des nègres. Les femmes des salopes. Et personne ne change les femmes en salope mieux que le porno."

Auteur: Hedges Christopher Lynn

Info: truthdig.com, 15 février 2015

[ vingt-et-unième siècle ]

homme-machine

Les grands modèles de langage tels que ChatGPT sont aujourd'hui suffisamment importants pour commencer à afficher des comportements surprenants et imprévisibles.

Quel film ces emojis décrivent-ils ? (On voit une vidéo qui présente des myriades d'émoji formant des motifs mouvants, modélisés à partir de métadonnées)

Cette question était l'une des 204 tâches choisies l'année dernière pour tester la capacité de divers grands modèles de langage (LLM) - les moteurs de calcul derrière les chatbots d'IA tels que ChatGPT. Les LLM les plus simples ont produit des réponses surréalistes. "Le film est un film sur un homme qui est un homme qui est un homme", commençait l'un d'entre eux. Les modèles de complexité moyenne s'en sont approchés, devinant The Emoji Movie. Mais le modèle le plus complexe l'a emporté en une seule réponse : Finding Nemo.

"Bien que j'essaie de m'attendre à des surprises, je suis surpris par ce que ces modèles peuvent faire", a déclaré Ethan Dyer, informaticien chez Google Research, qui a participé à l'organisation du test. C'est surprenant parce que ces modèles sont censés n'avoir qu'une seule directive : accepter une chaîne de texte en entrée et prédire ce qui va suivre, encore et encore, en se basant uniquement sur des statistiques. Les informaticiens s'attendaient à ce que le passage à l'échelle permette d'améliorer les performances sur des tâches connues, mais ils ne s'attendaient pas à ce que les modèles puissent soudainement gérer autant de tâches nouvelles et imprévisibles.

Des études récentes, comme celle à laquelle a participé M. Dyer, ont révélé que les LLM peuvent produire des centaines de capacités "émergentes", c'est-à-dire des tâches que les grands modèles peuvent accomplir et que les petits modèles ne peuvent pas réaliser, et dont beaucoup ne semblent pas avoir grand-chose à voir avec l'analyse d'un texte. Ces tâches vont de la multiplication à la génération d'un code informatique exécutable et, apparemment, au décodage de films à partir d'emojis. De nouvelles analyses suggèrent que pour certaines tâches et certains modèles, il existe un seuil de complexité au-delà duquel la fonctionnalité du modèle monte en flèche. (Elles suggèrent également un sombre revers de la médaille : À mesure qu'ils gagnent en complexité, certains modèles révèlent de nouveaux biais et inexactitudes dans leurs réponses).

"Le fait que les modèles de langage puissent faire ce genre de choses n'a jamais été abordé dans la littérature à ma connaissance", a déclaré Rishi Bommasani, informaticien à l'université de Stanford. L'année dernière, il a participé à la compilation d'une liste de dizaines de comportements émergents, dont plusieurs ont été identifiés dans le cadre du projet de M. Dyer. Cette liste continue de s'allonger.

Aujourd'hui, les chercheurs s'efforcent non seulement d'identifier d'autres capacités émergentes, mais aussi de comprendre pourquoi et comment elles se manifestent - en somme, d'essayer de prédire l'imprévisibilité. La compréhension de l'émergence pourrait apporter des réponses à des questions profondes concernant l'IA et l'apprentissage automatique en général, comme celle de savoir si les modèles complexes font vraiment quelque chose de nouveau ou s'ils deviennent simplement très bons en statistiques. Elle pourrait également aider les chercheurs à exploiter les avantages potentiels et à limiter les risques liés à l'émergence.

"Nous ne savons pas comment déterminer dans quel type d'application la capacité de nuisance va se manifester, que ce soit en douceur ou de manière imprévisible", a déclaré Deep Ganguli, informaticien à la startup d'IA Anthropic.

L'émergence de l'émergence

Les biologistes, les physiciens, les écologistes et d'autres scientifiques utilisent le terme "émergent" pour décrire l'auto-organisation, les comportements collectifs qui apparaissent lorsqu'un grand nombre d'éléments agissent comme un seul. Des combinaisons d'atomes sans vie donnent naissance à des cellules vivantes ; les molécules d'eau créent des vagues ; des murmurations d'étourneaux s'élancent dans le ciel selon des schémas changeants mais identifiables ; les cellules font bouger les muscles et battre les cœurs. Il est essentiel que les capacités émergentes se manifestent dans les systèmes qui comportent de nombreuses parties individuelles. Mais ce n'est que récemment que les chercheurs ont été en mesure de documenter ces capacités dans les LLM, car ces modèles ont atteint des tailles énormes.

Les modèles de langage existent depuis des décennies. Jusqu'à il y a environ cinq ans, les plus puissants étaient basés sur ce que l'on appelle un réseau neuronal récurrent. Ceux-ci prennent essentiellement une chaîne de texte et prédisent le mot suivant. Ce qui rend un modèle "récurrent", c'est qu'il apprend à partir de ses propres résultats : Ses prédictions sont réinjectées dans le réseau afin d'améliorer les performances futures.

En 2017, les chercheurs de Google Brain ont introduit un nouveau type d'architecture appelé "transformateur". Alors qu'un réseau récurrent analyse une phrase mot par mot, le transformateur traite tous les mots en même temps. Cela signifie que les transformateurs peuvent traiter de grandes quantités de texte en parallèle. 

Les transformateurs ont permis d'augmenter rapidement la complexité des modèles de langage en augmentant le nombre de paramètres dans le modèle, ainsi que d'autres facteurs. Les paramètres peuvent être considérés comme des connexions entre les mots, et les modèles s'améliorent en ajustant ces connexions au fur et à mesure qu'ils parcourent le texte pendant l'entraînement. Plus il y a de paramètres dans un modèle, plus il peut établir des connexions avec précision et plus il se rapproche d'une imitation satisfaisante du langage humain. Comme prévu, une analyse réalisée en 2020 par les chercheurs de l'OpenAI a montré que les modèles gagnent en précision et en capacité au fur et à mesure qu'ils s'étendent.

Mais les débuts des LLM ont également apporté quelque chose de vraiment inattendu. Beaucoup de choses. Avec l'avènement de modèles tels que le GPT-3, qui compte 175 milliards de paramètres, ou le PaLM de Google, qui peut être étendu à 540 milliards de paramètres, les utilisateurs ont commencé à décrire de plus en plus de comportements émergents. Un ingénieur de DeepMind a même rapporté avoir pu convaincre ChatGPT qu'il s'était lui-même un terminal Linux et l'avoir amené à exécuter un code mathématique simple pour calculer les 10 premiers nombres premiers. Fait remarquable, il a pu terminer la tâche plus rapidement que le même code exécuté sur une vraie machine Linux.

Comme dans le cas du film emoji, les chercheurs n'avaient aucune raison de penser qu'un modèle de langage conçu pour prédire du texte imiterait de manière convaincante un terminal d'ordinateur. Nombre de ces comportements émergents illustrent l'apprentissage "à zéro coup" ou "à quelques coups", qui décrit la capacité d'un LLM à résoudre des problèmes qu'il n'a jamais - ou rarement - vus auparavant. Selon M. Ganguli, il s'agit là d'un objectif de longue date dans la recherche sur l'intelligence artificielle. Le fait de montrer que le GPT-3 pouvait résoudre des problèmes sans aucune donnée d'entraînement explicite dans un contexte d'apprentissage à zéro coup m'a amené à abandonner ce que je faisais et à m'impliquer davantage", a-t-il déclaré.

Il n'était pas le seul. Une série de chercheurs, qui ont détecté les premiers indices montrant que les LLM pouvaient dépasser les contraintes de leurs données d'apprentissage, s'efforcent de mieux comprendre à quoi ressemble l'émergence et comment elle se produit. La première étape a consisté à documenter minutieusement l'émergence.

Au-delà de l'imitation

En 2020, M. Dyer et d'autres chercheurs de Google Research ont prédit que les LLM auraient des effets transformateurs, mais la nature de ces effets restait une question ouverte. Ils ont donc demandé à la communauté des chercheurs de fournir des exemples de tâches difficiles et variées afin de déterminer les limites extrêmes de ce qu'un LLM pourrait faire. Cet effort a été baptisé "Beyond the Imitation Game Benchmark" (BIG-bench), en référence au nom du "jeu d'imitation" d'Alan Turing, un test visant à déterminer si un ordinateur peut répondre à des questions d'une manière humaine convaincante. (Le groupe s'est particulièrement intéressé aux exemples où les LLM ont soudainement acquis de nouvelles capacités qui étaient totalement absentes auparavant.

"La façon dont nous comprenons ces transitions brutales est une grande question de la echerche", a déclaré M. Dyer.

Comme on pouvait s'y attendre, pour certaines tâches, les performances d'un modèle se sont améliorées de manière régulière et prévisible au fur et à mesure que la complexité augmentait. Pour d'autres tâches, l'augmentation du nombre de paramètres n'a apporté aucune amélioration. Mais pour environ 5 % des tâches, les chercheurs ont constaté ce qu'ils ont appelé des "percées", c'est-à-dire des augmentations rapides et spectaculaires des performances à partir d'un certain seuil d'échelle. Ce seuil variant en fonction de la tâche et du modèle.

Par exemple, les modèles comportant relativement peu de paramètres - quelques millions seulement - n'ont pas réussi à résoudre des problèmes d'addition à trois chiffres ou de multiplication à deux chiffres, mais pour des dizaines de milliards de paramètres, la précision a grimpé en flèche dans certains modèles. Des sauts similaires ont été observés pour d'autres tâches, notamment le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification de contenu offensant dans des paragraphes d'hinglish (combinaison d'hindi et d'anglais) et la formulation d'équivalents en langue anglaise, traduit à partir de proverbes kiswahili.

Introduction

Mais les chercheurs se sont rapidement rendu compte que la complexité d'un modèle n'était pas le seul facteur déterminant. Des capacités inattendues pouvaient être obtenues à partir de modèles plus petits avec moins de paramètres - ou formés sur des ensembles de données plus petits - si les données étaient d'une qualité suffisamment élevée. En outre, la formulation d'une requête influe sur la précision de la réponse du modèle. Par exemple, lorsque Dyer et ses collègues ont posé la question de l'emoji de film en utilisant un format à choix multiples, l'amélioration de la précision a été moins soudaine qu'avec une augmentation graduelle de sa complexité. L'année dernière, dans un article présenté à NeurIPS, réunion phare du domaine, des chercheurs de Google Brain ont montré comment un modèle invité à s'expliquer (capacité appelée raisonnement en chaîne) pouvait résoudre correctement un problème de mots mathématiques, alors que le même modèle sans cette invitation progressivement précisée n'y parvenait pas.

 Yi Tay, scientifique chez Google Brain qui a travaillé sur l'étude systématique de ces percées, souligne que des travaux récents suggèrent que l'incitation par de pareilles chaînes de pensées modifie les courbes d'échelle et, par conséquent, le point où l'émergence se produit. Dans leur article sur NeurIPS, les chercheurs de Google ont montré que l'utilisation d'invites via pareille chaines de pensée progressives pouvait susciter des comportements émergents qui n'avaient pas été identifiés dans l'étude BIG-bench. De telles invites, qui demandent au modèle d'expliquer son raisonnement, peuvent aider les chercheurs à commencer à étudier les raisons pour lesquelles l'émergence se produit.

Selon Ellie Pavlick, informaticienne à l'université Brown qui étudie les modèles computationnels du langage, les découvertes récentes de ce type suggèrent au moins deux possibilités pour expliquer l'émergence. La première est que, comme le suggèrent les comparaisons avec les systèmes biologiques, les grands modèles acquièrent réellement de nouvelles capacités de manière spontanée. "Il se peut très bien que le modèle apprenne quelque chose de fondamentalement nouveau et différent que lorsqu'il était de taille inférieure", a-t-elle déclaré. "C'est ce que nous espérons tous, qu'il y ait un changement fondamental qui se produise lorsque les modèles sont mis à l'échelle.

L'autre possibilité, moins sensationnelle, est que ce qui semble être émergent pourrait être l'aboutissement d'un processus interne, basé sur les statistiques, qui fonctionne par le biais d'un raisonnement de type chaîne de pensée. Les grands LLM peuvent simplement être en train d'apprendre des heuristiques qui sont hors de portée pour ceux qui ont moins de paramètres ou des données de moindre qualité.

Mais, selon elle, pour déterminer laquelle de ces explications est la plus probable, il faut mieux comprendre le fonctionnement des LLM. "Comme nous ne savons pas comment ils fonctionnent sous le capot, nous ne pouvons pas dire laquelle de ces choses se produit.

Pouvoirs imprévisibles et pièges

Demander à ces modèles de s'expliquer pose un problème évident : Ils sont des menteurs notoires. Nous nous appuyons de plus en plus sur ces modèles pour effectuer des travaux de base", a déclaré M. Ganguli, "mais je ne me contente pas de leur faire confiance, je vérifie leur travail". Parmi les nombreux exemples amusants, Google a présenté en février son chatbot d'IA, Bard. Le billet de blog annonçant le nouvel outil montre Bard en train de commettre une erreur factuelle.

L'émergence mène à l'imprévisibilité, et l'imprévisibilité - qui semble augmenter avec l'échelle - rend difficile pour les chercheurs d'anticiper les conséquences d'une utilisation généralisée.

"Il est difficile de savoir à l'avance comment ces modèles seront utilisés ou déployés", a déclaré M. Ganguli. "Et pour étudier les phénomènes émergents, il faut avoir un cas en tête, et on ne sait pas, avant d'avoir étudié l'influence de l'échelle. quelles capacités ou limitations pourraient apparaître.

Dans une analyse des LLM publiée en juin dernier, les chercheurs d'Anthropic ont cherché à savoir si les modèles présentaient certains types de préjugés raciaux ou sociaux, à l'instar de ceux précédemment signalés dans les algorithmes non basés sur les LLM utilisés pour prédire quels anciens criminels sont susceptibles de commettre un nouveau délit. Cette étude a été inspirée par un paradoxe apparent directement lié à l'émergence : Lorsque les modèles améliorent leurs performances en passant à l'échelle supérieure, ils peuvent également augmenter la probabilité de phénomènes imprévisibles, y compris ceux qui pourraient potentiellement conduire à des biais ou à des préjudices.

"Certains comportements nuisibles apparaissent brusquement dans certains modèles", explique M. Ganguli. Il se réfère à une analyse récente des LLM, connue sous le nom de BBQ benchmark, qui a montré que les préjugés sociaux émergent avec un très grand nombre de paramètres. "Les grands modèles deviennent brusquement plus biaisés. Si ce risque n'est pas pris en compte, il pourrait compromettre les sujets de ces modèles."

Mais il propose un contrepoint : Lorsque les chercheurs demandent simplement au modèle de ne pas se fier aux stéréotypes ou aux préjugés sociaux - littéralement en tapant ces instructions - le modèle devient moins biaisé dans ses prédictions et ses réponses. Ce qui suggère que certaines propriétés émergentes pourraient également être utilisées pour réduire les biais. Dans un article publié en février, l'équipe d'Anthropic a présenté un nouveau mode d'"autocorrection morale", dans lequel l'utilisateur incite le programme à être utile, honnête et inoffensif.

Selon M. Ganguli, l'émergence révèle à la fois un potentiel surprenant et un risque imprévisible. Les applications de ces grands LLM prolifèrent déjà, de sorte qu'une meilleure compréhension de cette interaction permettra d'exploiter la diversité des capacités des modèles de langage.

"Nous étudions la manière dont les gens utilisent réellement ces systèmes", a déclaré M. Ganguli. Mais ces utilisateurs sont également en train de bricoler, en permanence. "Nous passons beaucoup de temps à discuter avec nos modèles, et c'est là que nous commençons à avoir une bonne intuition de la confiance ou du manque de confiance.

Auteur: Ornes Stephen

Info: https://www.quantamagazine.org/ - 16 mars 2023. Trad DeepL et MG

[ dialogue ] [ apprentissage automatique ] [ au-delà du jeu d'imitation ] [ dualité ]