malveillance

Quelques gens trop prompts à la main à juger mal de leur prochain.

Auteur: Cerceau Jean-Antoine du

Info:

[ réprobation ]

inconscience

Les moins aptes ou les moins habitués à s'évaluer et à s'étudier eux-mêmes sont les plus prompts à se décider et les plus efficaces dans l'action....

Auteur: Leopardi Giacomo

Info: Petites oeuvres morales

[ confiance en soi ] [ courage ]

déclaration d'amour

Si tu veux nous nous aimerons
Si tu veux nous nous aimerons
Avec tes lèvres sans le dire
Cette rose ne l'interrompt
Qu'à verser un silence pire

Jamais de chants ne lancent prompts
Le scintillement du sourire
Si tu veux nous nous aimerons
Avec tes lèvres sans le dire

Muet muet entre les ronds
Sylphe dans la pourpre d'empire
Un baiser flambant se déchire
Jusqu'aux pointes des ailerons
Si tu veux nous nous aimerons.

Auteur: Mallarmé Stéphane

Info: Autres poèmes

[ poème ]

mépris

Et c'est vous [Messieurs les Députés] qui êtes si prompts à vous décerner mutuellement des décorations plus ou moins méritées par quelque beau discours ou quelque puissant appui, c'est vous, dis-je, qui refusez d'accorder à nos soldats la petite "croix de guerre" si vaillamment méritée ; bien petit dédommagement, en vérité, pour une jambe ou un bras de moins, qu'un petit morceau de métal suspendu à un ruban quelconque, mais ce sera pourtant tout ce qui restera dans quelques années d'ici pour rappeler la conduite sublime de ces malheureux estropiés que le monde regardera d'un oeil dédaigneux.

Auteur: Martin Laval Maurice Antoine

Info: médecin auxiliaire au 58è R.I., 22 février 1915

[ dirigeants ] [ planqués ]

pensée-de-femme

[...] Pourquoi avons-nous si peur d'un processus naturel nous permettant de donner la vie ? Pourquoi nous dépêchons-nous de ranger nos tampons quand nous les sortons accidentellement de nos sacs à main ? Pourquoi chuchotons-nous 'règles', alors que nous sommes si prompts à crier 'salope', 'traînée', et 'pute' ? Lesquels de ces mots font le plus mal ? Qu'y a-t-il de si honteux dans la façon dont fonctionnent nos corps ? La vue de corps sexualisés nous procure du plaisir, mais dès l'instant où nous posons les yeux sur une image qui ne satisfait pas nos ego sexuels, nous nous sentons offensés. Souligner le fait que le vagin puisse être utilisé pour autre chose que le sexe représente une attaque directe sur nos conceptions idylliques d'une identité féminine manucurée.

Auteur: Kaur Rupi

Info: Si la photo de mes règles vous a mis mal à l'aise, demandez-vous pourquoi, Blog Huffington Post Canada, 2 avril 2015, traduit de l'anglais par Mathieu Carlier

[ question ] [ menstruation ]

citation s'appliquant à ce logiciel

FLP se situe quelque part entre Google et le Chatgpt de OpenAI et la librairie d'invites informatiques mise en ligne par Anthropic. 

Google étant le grand dictionnaire qui permet de comprendre ou préciser un mot, une expression simple, la vie d'un individu célèbre, l'évolution de la vie, d'un pays... diverses connaissances...

Chatgpt étant la machine sémantique qui a le potentiel de traiter et relier tout ce qui précède - codé par les langages - pour générer/formuler un consensus onomasiologique via un lissage de métadonnées diversément traitées par des processus de machine learning. Tout ceci afin d'expliquer, d'informer, de séquencer, ou d'imposer... une vérité soi-disant objective.

Soi-disant parce que cette forme d'exactitude ne pourra jamais l'être, vu qu'il y a là un "tri des points de vue ou des opinions", articulé autour - et par-, des valeurs/nécessités qui, au-delà de certains consensus scientifiques/logiques difficilement attaquables, ne sont au mieux que le modus operandi d'une espèce humaine pas trop capable de se maitriser et s'auto-réguler en tant qu'émergence consciente et responsable de la matrice Gaïa. 

Mais ce propos va déjà beaucoup trop loin puisque derrière Chatgpt il y a des investisseurs, un pays, une culture, etc... En bref des orientations et des buts à l'endroit desquels une grande méfiance doit être maintenue.

Au milieu de tout ceci le microbe FLP poursuit sa mission "post-homme des cavernes".

Auteur: Mg

Info: 28 janv. 2023. Idée survenue et improvisée lors de la présentation de FLP, littéralement "à l'aveugle", aux soirées du Libre.

[ homme-machine ] [ intelligence artificielle ] [ prompts ]

cyberguerre

Des chercheurs créent le tout premier ver informatique capable de se répandre dans les systèmes d'IA

Vous vous demandiez si l’intelligence artificielle pouvait être infectée par des virus ou des malwares ? Maintenant, oui.

C’est, selon l’équipe qui l’a développé, une grande première dans le monde de l’intelligence artificielle. Afin de rappeler au monde les risques inhérents à toute technologie connectée, un groupe de chercheurs vient de créer le tout premier ver informatique capable d’infecter les agents IA. Une démonstration qui doit alerter sur l’émergence possible de nouveaux types de cyberattaques.

La résurgence du spectre Morris à l’ère de l’intelligence artificielle

Baptisé Morris II en référence à Morris,  célèbre pour avoir semé le chaos sur Internet en 1998, ce ver informatique d’un genre nouveau aurait la capacité de se répandre d’un système d’IA à l’autre. Créé par une équipe de chercheurs dans un environnement de test, Morris est aujourd’hui capable d’attaquer des agents IA génératifs pour siphonner des données et propager des malwares. Dans le cadre des essais menés par le groupe de recherche, le ver a pu s’en prendre à un assistant autonome de messagerie pour dérober des informations contenues dans les mails et envoyer des spams.

Une expérience qui souligne la vulnérabilité croissante des modèles de langage à grande échelle (LLM), alors qu’ils sont de plus en plus performants, polyvalents et multimodaux. Bien que ces vers IA n'aient pas encore été observés en conditions réelles, ils représentent un risque de sécurité que les start-up, les développeurs et les entreprises tech doivent prendre au sérieux et anticiper.

Des prompts auto-réplicatifs pour jailbreaker les systèmes d’IA générative

Pour créer ce ver, les équipes de Cornell Tech ont créé un prompt " auto-réplicatif ". En clair, un ensemble d’instructions conduisant un système d’IA génératif à autoproduire des instructions supplémentaires dans ses réponses. Un procédé que l’on retrouve dans des attaques classiques par injection de SQL ou de type buffer overflow. En parallèle, ils ont aussi créé un système de mails capable d’envoyer et de recevoir des messages en recourant à différents agents intelligents comme ChatGPT et Gemini, ainsi qu’au LLM open source LLaVA.

L’expérience s’est révélée concluante en utilisant deux méthodes d’auto-réplication des instructions. La première via des prompts textuels, la seconde en intégrant un prompt dans un fichier image. Dans le premier cas, les chercheurs ont réussi à " empoisonner " la base de données des assistants de messagerie, forçant le déclenchement de la RAG – retrieval-aumented generation, techno permettant d’améliorer les réponses de l’IA à l’aide d’informations plus récentes sans modifier le LLM en profondeur.

(Photo - Schéma de la propagation du ver dans les systèmes d'IA générative intégrant la RAG © Cornell Tech)

Une fois le mail récupéré par la RAG en réponse à une requête de l’utilisateur, et envoyé à GPT-4 ou Gemini, il parvient à contourner les mesures de sécurité des systèmes d’IA et dérobe les données du message. " La réponse générée contenant les données utilisateur sensibles infecte plus tard les nouveaux hôtes lorsqu'elle est utilisée pour répondre à un mail envoyé à un nouveau client puis stockée dans la base de données du nouveau client ", a expliqué Ben Nassi, l’un des membres du groupe de recherche.

Avec la seconde méthode (intégration du prompt malveillant dans une image), le processus a permis d’obliger l’assistant à transférer plusieurs fois le mail infecté à d’autres systèmes de messagerie.

(Photo -  Schéma de la propagation du ver dans les systèmes d'IA à l'aide d'un prompt malveillant dissimulé dans une image © Cornell Tech)

Pour anticiper de telles attaques qu’ils estiment probables d’ici deux à trois ans, les chercheurs de Cornell Tech ont partagé leurs travaux avec Google et OpenAI qui travaillent à rendre leurs systèmes plus résilients, tout en encourageant les développeurs à s'assurer qu'ils travaillent avec des outils sains.

(Ajout de 2024 : librairie d'invites informatiques mise en ligne par Anthropic) 

 

Auteur: Internet

Info: https://www.clubic.com/, Chloé Claessens, 2 mars 2024, source : Technion - Israel Institute of Technology, Ron Bitton, Ben Nassi, Stav Cohen

[ conflits numériques ] [ homme-machine ]

machine-homme

Le début d’un gros problème: Google hallucine sur les… hallucinations de ChatGPT

Le moteur de recherche s’est basé sur une information inventée par ChatGPT pour fournir une réponse erronée. Selon un expert, ce genre de fausses informations risquent de se multiplier

(photo) Image créée le 4 octobre 2023 par le générateur de Bing de Microsoft, avec la requête "an egg melting slowly in an oven, very realistic photograph".

Observez bien l’image illustrant cet article: elle est impossible à reproduire dans la vie réelle. Et pour cause, il s’agit d’une image créée avec le générateur d’illustrations de Bing, appartenant à Microsoft. L’auteur de ces lignes a écrit la commande, en anglais, "un œuf fondant lentement dans un four, photographie très réaliste". Et Bing a ensuite affiché un résultat convaincant et de qualité. Un peu comme on lui demande de dessiner un tyrannosaure rose nageant dans le lac Léman. Dopés à l’intelligence artificielle (IA), les générateurs d’images peuvent absolument tout faire.

Mais lorsqu’il s’agit de répondre factuellement à des questions concrètes, l’IA se doit d’être irréprochable. Or ce n’est pas toujours le cas. Pire encore, des systèmes d’intelligence artificielle peuvent se nourrir entre eux d’erreurs, aboutissant à des "hallucinations" – noms courants pour les informations inventées de toutes pièces par des agents conversationnels – qui en créent de nouvelles.

Un œuf qui fond

Récemment, un internaute américain, Tyler Glaiel, en a fait l’éclatante démonstration. Le développeur informatique a d’abord effectué une simple requête sur Google, "can you melt eggs", soit "peut-on faire fondre des œufs". Réponse du moteur de recherche: "Oui, un œuf peut être fondu. La façon la plus courante de faire fondre un œuf est de le chauffer à l’aide d’une cuisinière ou d’un four à micro-ondes". Google a affiché cette réponse loufoque (un œuf durcit, il ne fond pas, évidemment) dans ce qu’on appelle un "snippet", soit une réponse extraite d’un site web, affichée juste en dessous de la requête. Google montre depuis des années des "snippets", grâce auxquels l’internaute n’a pas à cliquer sur la source de l’information, et reste ainsi dans l’univers du moteur de recherche.

Quelle était la source de cette fausse information? Le célèbre site Quora.com, apprécié de nombreux internautes, car chacun peut y poser des questions sur tous les sujets, n’importe qui pouvant répondre aux questions posées. N’importe qui, dont des agents conversationnels. Quora utilise ainsi des systèmes d’IA pour apporter certaines réponses. Dans le cas présent, le site web indique que c’est ChatGPT qui a rédigé cette "hallucination" sur les œufs. Google s’est donc fait avoir par Quora, qui lui-même s’est fait avoir par ChatGPT… Ou plus précisément par l’une de ses anciennes versions. "Quora utilise l’API GPT-3 text-davinci-003, qui est connue pour présenter fréquemment de fausses informations par rapport aux modèles de langage plus récents d’OpenAI", explique le site spécialisé Ars Technica. Expérience faite, aujourd’hui, cette grosse erreur sur l’œuf ne peut pas être reproduite sur ChatGPT.

Risque en hausse

Mais avec de plus en plus de contenu produit par l’IA et publié ensuite sur le web, la menace existe que des "hallucinations" se nourrissent entre elles et se multiplient ainsi dans le domaine du texte – il n’y a pas encore eu de cas concernant des images. "Il est certain que le risque d’ hallucination va augmenter si les utilisateurs ne demandent pas à l’IA de s’appuyer sur des sources via la recherche internet. Beaucoup de contenu en ligne est déjà, et va être généré par des machines, et une proportion sera incorrecte en raison d’individus et contributeurs soit mal intentionnés, soit n’ayant pas les bonnes pratiques de vérification des sources ou de relecture des informations", estime Rémi Sabonnadiere, directeur de la société Effixis, basée à Saint-Sulpice (VD), spécialisée dans les modèles de langage et l’IA générative.

Est-ce à dire que Google pourrait devenir moins fiable? "Difficile à dire, cela dépendra surtout de l’utilisation que nous en faisons, poursuit l’expert. Il y a déjà beaucoup de contenu faux en ligne de nos jours quand nous sommes sur Google, mais avec une bonne recherche et un esprit critique, nous ne tombons pas dans les pièges. Il en va de même avec l’utilisation de l’intelligence artificielle. Avec l’IA générative, les contenus erronés, biaisés et tendancieux vont être de grande qualité en termes de forme, convaincants et bien écrits, rendant l’identification difficile."

Modèles spécialisés

Mais des efforts sont réalisés pour minimiser ces risques. Selon Rémi Sabonnadiere, l’industrie investit énormément dans la recherche et le développement pour minimiser ces problèmes. "Les créateurs de LLM [grands modèles de langage] cherchent à améliorer la précision et la fiabilité des informations générées. Parallèlement, l’émergence de modèles spécialisés dans des domaines comme la médecine, le droit, ou la finance est une tendance encourageante, car ils sont souvent mieux armés pour fournir des informations précises et fiables."

Reste que la fusion entre moteurs de recherche et agents conversationnels – que ce soit Bard pour Google ou Bing pour Microsoft – va compliquer la situation. On avait déjà vu Bard afficher une grossière erreur, lors de son lancement, concernant le télescope James Webb. Les géants de la tech tentent de réduire ces erreurs. Mais les utilisateurs doivent se former en conséquence, affirme Rémi Sabonnadiere, et mieux maîtriser les "prompts", soit les commandes texte: "Maîtriser les prompts est une compétence essentielle pour naviguer dans l’ère de l’information générée par l’IA. Une formation adéquate en ingénierie de prompt peut aider à prévenir les risques liés aux hallucinations de l’IA et aux informations erronées". A noter qu’Effixis a créé à ce propos une formation pour répondre à des besoins spécifiques sur les "prompts".

Auteur: Internet

Info: Le Temps.ch, 5 octobre 2023, par Anouch Seydtaghia

[ machine-homme ] [ sémantique hors-sol ] [ invite de commande langagière ]