Le début d’un gros problème: Google hallucine sur les… hallucinations de ChatGPT

Le moteur de recherche s’est basé sur une information inventée par ChatGPT pour fournir une réponse erronée. Selon un expert, ce genre de fausses informations risquent de se multiplier

(photo) Image créée le 4 octobre 2023 par le générateur de Bing de Microsoft, avec la requête "an egg melting slowly in an oven, very realistic photograph".

Observez bien l’image illustrant cet article: elle est impossible à reproduire dans la vie réelle. Et pour cause, il s’agit d’une image créée avec le générateur d’illustrations de Bing, appartenant à Microsoft. L’auteur de ces lignes a écrit la commande, en anglais, "un œuf fondant lentement dans un four, photographie très réaliste". Et Bing a ensuite affiché un résultat convaincant et de qualité. Un peu comme on lui demande de dessiner un tyrannosaure rose nageant dans le lac Léman. Dopés à l’intelligence artificielle (IA), les générateurs d’images peuvent absolument tout faire.

Mais lorsqu’il s’agit de répondre factuellement à des questions concrètes, l’IA se doit d’être irréprochable. Or ce n’est pas toujours le cas. Pire encore, des systèmes d’intelligence artificielle peuvent se nourrir entre eux d’erreurs, aboutissant à des "hallucinations" – noms courants pour les informations inventées de toutes pièces par des agents conversationnels – qui en créent de nouvelles.

Un œuf qui fond

Récemment, un internaute américain, Tyler Glaiel, en a fait l’éclatante démonstration. Le développeur informatique a d’abord effectué une simple requête sur Google, "can you melt eggs", soit "peut-on faire fondre des œufs". Réponse du moteur de recherche: "Oui, un œuf peut être fondu. La façon la plus courante de faire fondre un œuf est de le chauffer à l’aide d’une cuisinière ou d’un four à micro-ondes". Google a affiché cette réponse loufoque (un œuf durcit, il ne fond pas, évidemment) dans ce qu’on appelle un "snippet", soit une réponse extraite d’un site web, affichée juste en dessous de la requête. Google montre depuis des années des "snippets", grâce auxquels l’internaute n’a pas à cliquer sur la source de l’information, et reste ainsi dans l’univers du moteur de recherche.

Quelle était la source de cette fausse information? Le célèbre site Quora.com, apprécié de nombreux internautes, car chacun peut y poser des questions sur tous les sujets, n’importe qui pouvant répondre aux questions posées. N’importe qui, dont des agents conversationnels. Quora utilise ainsi des systèmes d’IA pour apporter certaines réponses. Dans le cas présent, le site web indique que c’est ChatGPT qui a rédigé cette "hallucination" sur les œufs. Google s’est donc fait avoir par Quora, qui lui-même s’est fait avoir par ChatGPT… Ou plus précisément par l’une de ses anciennes versions. "Quora utilise l’API GPT-3 text-davinci-003, qui est connue pour présenter fréquemment de fausses informations par rapport aux modèles de langage plus récents d’OpenAI", explique le site spécialisé Ars Technica. Expérience faite, aujourd’hui, cette grosse erreur sur l’œuf ne peut pas être reproduite sur ChatGPT.

Risque en hausse

Mais avec de plus en plus de contenu produit par l’IA et publié ensuite sur le web, la menace existe que des "hallucinations" se nourrissent entre elles et se multiplient ainsi dans le domaine du texte – il n’y a pas encore eu de cas concernant des images. "Il est certain que le risque d’ hallucination va augmenter si les utilisateurs ne demandent pas à l’IA de s’appuyer sur des sources via la recherche internet. Beaucoup de contenu en ligne est déjà, et va être généré par des machines, et une proportion sera incorrecte en raison d’individus et contributeurs soit mal intentionnés, soit n’ayant pas les bonnes pratiques de vérification des sources ou de relecture des informations", estime Rémi Sabonnadiere, directeur de la société Effixis, basée à Saint-Sulpice (VD), spécialisée dans les modèles de langage et l’IA générative.

Est-ce à dire que Google pourrait devenir moins fiable? "Difficile à dire, cela dépendra surtout de l’utilisation que nous en faisons, poursuit l’expert. Il y a déjà beaucoup de contenu faux en ligne de nos jours quand nous sommes sur Google, mais avec une bonne recherche et un esprit critique, nous ne tombons pas dans les pièges. Il en va de même avec l’utilisation de l’intelligence artificielle. Avec l’IA générative, les contenus erronés, biaisés et tendancieux vont être de grande qualité en termes de forme, convaincants et bien écrits, rendant l’identification difficile."

Modèles spécialisés

Mais des efforts sont réalisés pour minimiser ces risques. Selon Rémi Sabonnadiere, l’industrie investit énormément dans la recherche et le développement pour minimiser ces problèmes. "Les créateurs de LLM [grands modèles de langage] cherchent à améliorer la précision et la fiabilité des informations générées. Parallèlement, l’émergence de modèles spécialisés dans des domaines comme la médecine, le droit, ou la finance est une tendance encourageante, car ils sont souvent mieux armés pour fournir des informations précises et fiables."

Reste que la fusion entre moteurs de recherche et agents conversationnels – que ce soit Bard pour Google ou Bing pour Microsoft – va compliquer la situation. On avait déjà vu Bard afficher une grossière erreur, lors de son lancement, concernant le télescope James Webb. Les géants de la tech tentent de réduire ces erreurs. Mais les utilisateurs doivent se former en conséquence, affirme Rémi Sabonnadiere, et mieux maîtriser les "prompts", soit les commandes texte: "Maîtriser les prompts est une compétence essentielle pour naviguer dans l’ère de l’information générée par l’IA. Une formation adéquate en ingénierie de prompt peut aider à prévenir les risques liés aux hallucinations de l’IA et aux informations erronées". A noter qu’Effixis a créé à ce propos une formation pour répondre à des besoins spécifiques sur les "prompts".