Une fois dans la structure musicale, on peut faire ce que l'on veut avec.

Des chercheurs prouvent que les modèles d’IA dégénèrent s’ils sont entraînés avec leurs propres résultats

À la fin c'est moche (Photo avec quelques exemples de clichés/portraits traités par IA qui perdent leur netteté et leur définition au cours du processus)

Utiliser des données générées par IA pour enrichir un modèle d’IA conduit progressivement à l’effondrement de la qualité de ses résultats.

Détruire un modèle d’IA sera peut-être une préoccupation d’activistes d’ici quelques années. Grâce à une étude publiée dans Nature, on connaît une méthode qui, au moins, semble fonctionner. Des chercheurs en intelligence artificielle de Cambridge, au Royaume-Uni, ont essayé de savoir ce qu’il se passait en entraînant des modèles d’IA avec les résultats issus de ces mêmes modèles. En d’autres termes, nourrir de l’IA générative avec de l’IA générative. Eh bien le résultat est sans appel : le modèle finit tôt ou tard pas s’effondrer.

L’expérimentation n’a rien d’un projet néo-luddite, mais s’apparente plutôt à une mise en garde pour Zakhar Shumaylov, l’un des co-auteurs de l’étude, à toute l’industrie et la recherche en IA : " Tout le sujet est de montrer que nous devons faire vraiment attention à ce que nous utilisons comme donnée pour enrichir les IA ", affirme-t-il.

L’expérience menée à Cambridge : générer des articles Wikipédia

L’équipe de Shumaylov a testé son hypothèse avec l’un des usages les plus fréquents des intelligences artificielles génératives : la génération de texte. Un premier modèle a été enrichi avec des articles de Wikipédia (comme peuvent l’être de nombreux modèles, de ChatGPT à Gemini). Les chercheurs ont ensuite demandé à ce modèle de générer des articles de style Wikipédia. Une tâche simple pour un modèle entraîné sur une bonne matière première, constituée d’articles de Wikipédia.

Mais voilà, ils ont ensuite ajouté les articles générés au modèle initial, mélangeant une source " pure " et authentique (les vrais articles Wikipédia) et une source générée (les articles générés par le modèle dans le style de Wikipédia). Et déjà, les choses ont empiré, avec une seule génération de modèle qui n’a que partiellement été entraînée avec des IA. 

Pourquoi cet appauvrissement dans le matériau original survient-il ? La raison principale vient de l’échantillon de texte source. Quand vous utilisez comme source un article original, notamment d’encyclopédie, vous vous retrouvez avec une collection de mots rares que l’IA va être susceptible d’utiliser. Mais avec une génération suivante d’échantillon, vous commencez à perdre la rareté des mots au profit de mots plus courants, qui sont mécaniquement plus nombreux. Jusqu’à finir sur une production textuelle pauvre, qui, en plus d’avoir perdu en vocabulaire, enchaîne de plus en plus les erreurs. C’est précisément ce que l’équipe de Shumailov a remarqué : " le modèle finit par n’apprendre que des erreurs ".

Un danger pour les moteurs de recherche par IA

Cette étude prouve que l’IA a besoin d’une donnée de qualité pour s’enrichir et garder un haut niveau d’exigence. Cela s’applique dans un cadre universitaire, mais également sur les outils grand public : c’est toute la difficulté, par exemple, d’un Google Gemini sur le web.

Cette expérience de Google, lancée aux États-Unis, vise à résumer les résultats présents sur le web et à les présenter sous la forme de réponses écrites directement dans le moteur de recherche. Ainsi, les internautes n’auraient plus besoin d’aller sur les sites web que Google vient résumer : leur réponse est dans Google. Mais que se passe-t-il si le corpus est de mauvaise qualité ou, pire, si le web devient petit à petit un repaire de textes générés par IA ? Gemini finira par s’enrichir sur des textes pauvres, apprenant sur des matériaux générés et donc mécaniquement moins intéressants.

C’est aussi ce que peut craindre OpenAI, qui vient de lancer en bêta très privée son concurrent à Gemini : SearchGPT. Le géant derrière ChatGPT espère concurrencer Google sur le sujet de l’avenir des moteurs de recherche, mais se heurtera aux mêmes écueils s’il ne fait pas attention à son corpus d’entraînement initial… et à ses enrichissements ultérieurs.

La proposition des chercheurs de Cambridge pour éviter cela, serait de parvenir à une sorte de filigrane (watermark), permettant avec certitude d’identifier un texte généré ou une image générée, afin de l’exclure de l’enrichissement des modèles.

( FLP) - c'est quoi le principe de Foster en paléontologie

( ChatGPT ) - Le principe de Foster, également appelé règle de l'insularité, est une théorie en paléontologie et en biologie évolutive qui postule que la taille des espèces animales tend à évolution de manière particulière sur les îles ou dans des environnements isolés. Il stipule que, dans de tels habitats, les grands animaux deviennent généralement plus petits, tandis que les petits animaux deviennent plus grands.

Ce principe est basé sur les observations faites sur des espèces insulaires et explique comment la taille des animaux évolue en fonction des conditions environnementales spécifiques des îles, telles que la disponibilité limitée des ressources, la pression des prédateurs réduite ou les contraintes de l'espace.

Deux effets principaux :

1 Nanisme insulaire : Les grandes espèces animales, comme les éléphants, les mammouths ou certains dinosaures, tendent à devenir plus petites sur les îles en raison de la rareté des ressources et du besoin de s'adapter à un environnement plus restreint . Par exemple, les mammouths nains qui réussissent sur certaines îles de la Méditerranée pendant le Pléistocène sont un exemple frappant de cette évolution.

2 Gigantisme insulaire : À l'inverse, les petites espèces, telles que les rongeurs ou les lézards, peuvent évoluer vers des tailles plus grandes. Sur des îles, où il y a moins de prédateurs et une compétition réduite, ces espèces peuvent croître en taille, un phénomène observé, par exemple, avec les iguanes marins des Galápagos ou certaines espèces de rongeurs.

En résumé, le principe de Foster montre comment l'isolement insulaire peut conduire à des changements évolutifs extrêmes dans la taille des espèces animales, que ce soit vers le nanisme ou le gigantisme.

Ce principe, également connu sous le nom de  règle des îles , a été énoncé pour la première fois par J. Bristol Foster en 1964 dans une publication intitulée "The Evolution of Mammals on Islands" dans la revue  Nature . Ce principe postule que la taille des animaux évolue différemment lorsqu'ils colonisent les îles en fonction des ressources disponibles et des pressions écologiques spécifiques. Ainsi, les espèces plus petites ont tendance à devenir plus grandes (gigantisme insulaire) en l'absence de prédateurs, tandis que les espèces plus grandes deviennent plus petites (nanisme insulaire) en raison de la limitation des ressources alimentaires. Foster a observé ce phénomène en comparant 116 espèces insulaires à leurs homologues continentaux.

Bien que l'idée de base ait été développée par Foster, elle a été approfondie et raffinée par d'autres scientifiques comme Robert MacArthur et Edward O. Wilson dans  The Theory of Island Biogeography en 1967, et plus tard, Ted J. Case a proposé une analyse plus complexe des tendances de taille des vertébrés terrestres sur les îles. 

(FLP) - C'est presque un genre de phénétique communautaire ?

(ChatGPT) - En effet, on peut voir le principe de Foster comme un concept pertinent d'une phénétique communautaire, car il repose sur l'observation des changements morphologiques, principalement la taille, au sein des populations d'une espèce dans des environnements isolés comme les îles. Ces variations suscitent des réponses adaptatives aux pressions de l'écosystème (disponibilité des ressources, prédateurs, etc.), une notion centrale dans la phénétique, qui regroupe les espèces en fonction de leurs traits observables. Cela se rapproche de l'idée de regroupement d'espèces en fonction de leurs similitudes ou différences physiques au sein de la biocénose insulaire.

Cependant, la règle de Foster va au-delà d'une simple description de la morphologie ; elle explique aussi comment les interactions écologiques et les conditions biogéographiques spécifiques aux îles influencent l'évolution. Cela rejoint la manière dont la phénétique analyse des similitudes globales, mais ici appliquées à l'échelle des communautés insulaires et dans un cadre évolutif.