bipolarité

L’une des questions qui me paraissent les plus intéressantes sur ce sujet est celle de l’éventuelle dissolution du moi que peut entraîner l’empathie : quand on éprouve de l’empathie, qu’en est-il des frontières du moi ? Si l’on imagine une politique fondée sur l’empathie, qu’en est-il du désir individuel ? Peut-il continuer à avoir du sens ? La science-fiction explore régulièrement ce territoire, en recourant à différentes formes et degrés imaginaires d’empathie, de télépathie, voire de symbiose : le collectif Gaïa dans le "Cycle de Fondation" (1942-1993) d’Isaac Asimov ; divers télépathes et empathes dans L’Oreille interne (1972) de Robert Silverberg, Chroniques du pays des mères (1992) et le "Cycle de Tyranaël" (1994-1997) d’Élisabeth Vonarburg ou la série Babylon 5 (1994-1998) de J. Michael Straczynski ; le symbiote Solstice/Paramètre dans Le Canal Ophite (1977) de John Varley, quelques passages saisissants de Starship Troopers (1997) de Paul Verhoeven, Connectés et Mécanistes dans Étoiles Mourantes (1999) d’Ayerdhal et Jean-Claude Dunyach, la drogue empathique dans Code 46 (2003) de Michael Winterbottom ; enfin, Vulcains, Bétazoïdes ou Trills dans les différentes séries Star Trek depuis 1966 (Next Generation, Deep Space Nine, Voyager, etc.), avec notamment l’idée que la télépathie pourrait être l’unique forme possible de communication avec des espèces extraterrestres par trop différentes, autrement dit authentiquement alien (épisode "The Devil in the Dark2 (1967) dans la série Star Trek originale), idée qu’on retrouve également dans Maître des arts (1974) de William Rotsler. Mais si je me suis concentrée jusque-là sur ce qu’on pourrait appeler "l’empathie passive ou réceptrice", qui correspond à la signification la plus courante du terme, nous n’avons en fait cessé de rencontrer une possible forme symétrique, que l’on pourrait désigner comme "empathie active ou émettrice", et qui désignerait la faculté de transmettre à autrui ses émotions et ses désirs (casque sensoriel dans Strange Days (1995) de Kathryn Bigelow), et plus généralement de le manipuler ("Persuasion de Force" dans Star Wars - 1977 - de George Lucas). Or cette forme d’empathie joue certainement un rôle crucial dans les sociétés humaines et animales, car elle pose la question de la manipulation des individus et des foules, et, de façon générale, celle de l’art, de la politique, et de leurs liens (cf. l’art du kineïrat dans le cycle "La Bohême et l’Ivraie" (1990) d’Ayerdhal). La philosophie n’est d’ailleurs pas en reste sur cette question, puisque c’est déjà ce qui occupe Platon, centralement dans Ion, La République ou Les Lois (IVe siècle av. J.-C.), mais aussi dans l’ensemble de sa démarche, la philosophie se donnant précisément pour but de convaincre autrui par la raison, par opposition au sophiste qui persuade par l’émotion, c’est-à-dire la transmission empathique – avec tous les dangers que ce dernier procédé présente, et que l’histoire des hommes ne cesse de rappeler.

Auteur: Allouche Sylvie

Info: https://www.cairn.info/revue-hermes-la-revue-2014-1-page-149.htm, dernière partie de "Communication empathique, télépathique et symbiotique"

[ charisme ] [ pouvoir ] [ identification ] [ rationalisme vs emoi ]

cyberguerre

Des chercheurs créent le tout premier ver informatique capable de se répandre dans les systèmes d'IA

Vous vous demandiez si l’intelligence artificielle pouvait être infectée par des virus ou des malwares ? Maintenant, oui.

C’est, selon l’équipe qui l’a développé, une grande première dans le monde de l’intelligence artificielle. Afin de rappeler au monde les risques inhérents à toute technologie connectée, un groupe de chercheurs vient de créer le tout premier ver informatique capable d’infecter les agents IA. Une démonstration qui doit alerter sur l’émergence possible de nouveaux types de cyberattaques.

La résurgence du spectre Morris à l’ère de l’intelligence artificielle

Baptisé Morris II en référence à Morris,  célèbre pour avoir semé le chaos sur Internet en 1998, ce ver informatique d’un genre nouveau aurait la capacité de se répandre d’un système d’IA à l’autre. Créé par une équipe de chercheurs dans un environnement de test, Morris est aujourd’hui capable d’attaquer des agents IA génératifs pour siphonner des données et propager des malwares. Dans le cadre des essais menés par le groupe de recherche, le ver a pu s’en prendre à un assistant autonome de messagerie pour dérober des informations contenues dans les mails et envoyer des spams.

Une expérience qui souligne la vulnérabilité croissante des modèles de langage à grande échelle (LLM), alors qu’ils sont de plus en plus performants, polyvalents et multimodaux. Bien que ces vers IA n'aient pas encore été observés en conditions réelles, ils représentent un risque de sécurité que les start-up, les développeurs et les entreprises tech doivent prendre au sérieux et anticiper.

Des prompts auto-réplicatifs pour jailbreaker les systèmes d’IA générative

Pour créer ce ver, les équipes de Cornell Tech ont créé un prompt " auto-réplicatif ". En clair, un ensemble d’instructions conduisant un système d’IA génératif à autoproduire des instructions supplémentaires dans ses réponses. Un procédé que l’on retrouve dans des attaques classiques par injection de SQL ou de type buffer overflow. En parallèle, ils ont aussi créé un système de mails capable d’envoyer et de recevoir des messages en recourant à différents agents intelligents comme ChatGPT et Gemini, ainsi qu’au LLM open source LLaVA.

L’expérience s’est révélée concluante en utilisant deux méthodes d’auto-réplication des instructions. La première via des prompts textuels, la seconde en intégrant un prompt dans un fichier image. Dans le premier cas, les chercheurs ont réussi à " empoisonner " la base de données des assistants de messagerie, forçant le déclenchement de la RAG – retrieval-aumented generation, techno permettant d’améliorer les réponses de l’IA à l’aide d’informations plus récentes sans modifier le LLM en profondeur.

(Photo - Schéma de la propagation du ver dans les systèmes d'IA générative intégrant la RAG © Cornell Tech)

Une fois le mail récupéré par la RAG en réponse à une requête de l’utilisateur, et envoyé à GPT-4 ou Gemini, il parvient à contourner les mesures de sécurité des systèmes d’IA et dérobe les données du message. " La réponse générée contenant les données utilisateur sensibles infecte plus tard les nouveaux hôtes lorsqu'elle est utilisée pour répondre à un mail envoyé à un nouveau client puis stockée dans la base de données du nouveau client ", a expliqué Ben Nassi, l’un des membres du groupe de recherche.

Avec la seconde méthode (intégration du prompt malveillant dans une image), le processus a permis d’obliger l’assistant à transférer plusieurs fois le mail infecté à d’autres systèmes de messagerie.

(Photo -  Schéma de la propagation du ver dans les systèmes d'IA à l'aide d'un prompt malveillant dissimulé dans une image © Cornell Tech)

Pour anticiper de telles attaques qu’ils estiment probables d’ici deux à trois ans, les chercheurs de Cornell Tech ont partagé leurs travaux avec Google et OpenAI qui travaillent à rendre leurs systèmes plus résilients, tout en encourageant les développeurs à s'assurer qu'ils travaillent avec des outils sains.

(Ajout de 2024 : librairie d'invites informatiques mise en ligne par Anthropic) 

 

Auteur: Internet

Info: https://www.clubic.com/, Chloé Claessens, 2 mars 2024, source : Technion - Israel Institute of Technology, Ron Bitton, Ben Nassi, Stav Cohen

[ conflits numériques ] [ homme-machine ]