anecdote

Les corneilles se rassemblent autour de leur camarade décédé pour mieux se "familiariser" avec le danger.
Pour les humains, la découverte d'un membre mort de notre propre espèce (congénère) est une indication évidente et alarmante de danger. Il semble donc intuitif que d'autres animaux, pour ces raisons ou d'autres, considèrent la découverte d'un congénère mort aussi significatif. Pourtant, très peu d'animaux réagissent à leurs morts de manière observable et quantifiable. Ceux qui le font, comme les éléphants, les dauphins, les singes ou les corbeaux/ corneilles, sont par conséquent une précieuse source autant de curiosité, que d'indices sur notre propre évolution en tant qu'êtres humains.
Les corvidés sont connus pour se comporter bizarrement face à la mort d'un de leur congénère : ils se rassemblent et piaillent/ croassent bruyamment à proximité. L'idée que cela fait partie d'une sorte de rituel funéraire a souvent été proposée. Mais ce qu'ils font réellement est resté un mystère et les scientifiques n'avaient que quelques anecdotes rapportées d'un tel comportement. Une équipe a ainsi décidé de savoir pourquoi ces volatiles agissent avec tant d'attention autour de leurs congénères morts.
Pour ce faire, ils ont mis en place une expérience novatrice, en se basant sur de précédentes recherches, notamment par celles menées par John Marzluff de l'université de Washington à Seattle, qui ont révélé que les corbeaux se souviendront d'un individu apparemment dangereux. Non seulement, ils ne l'oublieront pas, mais transmettront leur savoir à leur congénère et tous ensembles râleront bruyamment à la vue de la douteuse face, et cela sur plusieurs années. Pour éviter tout véritable harcèlement de la part des corbeaux, dans la "vraie vie", le visage des chercheurs fut recouvert d'un masque en latex.
En utilisant un déguisement similaire, pour cette nouvelle étude, les chercheurs ont introduit un individu masqué dans une zone où des corneilles (Corvus brachyrhynchos) savaient qu'elles obtiendraient une friandise de l'expérimentatrice, Kaeli Swift, également de l'université de Washington.
En apportant des friandises, elle a joué le rôle de la gentille chercheuse. Mais l'individu masqué tenait le rôle du méchant, en arrivant sur la scène en tenant une corneille morte "comme un plat de hors-d'oeuvre" (image d'entête). Ce sinistre individu devait se tenir à la même place, sans bouger, pendant 30 minutes.
Le premier jour que cette personne masquée est apparue, les corneilles ont évité la nourriture que Swift avait posée. Au lieu de cela, elles ont râlé et se sont engagées dans des comportements de harcèlement à distance. Les corneilles se sont rassemblées en de grands groupes afin d'apparaître menaçantes face au prédateur potentiel.
Dans ce cas, le harcèlement avait plus d'un but, selon les chercheurs. Cela inclut "châtier le prédateur, en affichant une position dominante ou l'apprentissage social de la personne ou du lieu dangereux". Si un faucon était placé à côté du cadavre de la corneille, elles étaient encore plus susceptibles d'éviter la nourriture, indiquant qu'elles croyaient que le faucon était le danger. Lorsque la personne masquée revint le lendemain, même sans une corneille morte, elles évitaient encore la nourriture.
Ces résultats montrent que les corneilles vont éviter une zone ou une chose qui est considérée comme dangereuse pour leur propre espèce. En d'autres termes, elles savent ce qu'est la mort et savent la craindre.
Cela nous apprend que les corvidés voient la mort, au moins en partie, comme un "moment d'enseignement" pour emprunter une phrase anthropomorphique. C'est un signal de danger et le danger est quelque chose à éviter.
Et cette peur d'une situation potentiellement mortelle les poursuit. Même 6 semaines plus tard, plus d'un tiers des 65 paires de corneilles ont continué de répondre de cette façon.
L'étude est dans la même lignée que celles qui ont essayé de mieux comprendre comment les animaux réagissent à leur congénère mort. Les Geais buissonniers, qui sont de la même famille (corvidés), ont également été observés tenir ce type de "funérailles" quand ils voient un camarade mort. Mais alors que les geais répondront également négativement face à d'autres espèces d'oiseaux morts de la même taille, les corneilles ne le font pas. Si la personne masquée tendait un pigeon mort à la place, les corneilles ne semblaient pas aussi dérangées.
Ces résultats soulignent l'importance de leur mémoire dans l'apprentissage et la mémorisation du détail des visages humains. C'est une compétence qui leur permet de faire la différence entre un humain inoffensif, d'un potentiellement dangereux.

Auteur: Internet

Info: étude publiée dans la revue Animal Behaviour

[ décès ] [ enseignement ] [ éthologie ] [ deuil ]

deep machine learning

Inquiets, des chercheurs bloquent la sortie de leur IA
La science ne pense pas, écrivait le philosophe Heidegger. En 2019, si. La situation est cocasse. Des chercheurs de l'association de recherche OpenAI estimeraient leur générateur de texte, opéré par un modèle linguistique d'intelligence artificielle, comme bien trop évolué pour ne pas être dangereux. Entre des mains malveillantes, l'algo virtuose des mots pourrait semer fake news, complots et avis malveillants convaincants, sans élever le moindre soupçon.

Deux cent ans après Victor Frankenstein, des chercheurs d’OpenAI, une association californienne de recherche à but non lucratif en intelligence artificielle, se trouvent face au même dilemme qui agitait le savant dans le roman de Mary Shelley : auraient-ils créé un monstre ? Un journaliste du Guardian l’a testé. La bête, baptisée GPT2, un modèle d’intelligence artificielle (dit linguistique) capable de générer du faux texte avec précision, serait tellement performante que ses créateurs rechignent à la rendre publique. Sur la base d’une page, un paragraphe ou même quelques mots, le générateur est en mesure d’écrire une suite, fidèle au style du journaliste ou de l’auteur et en accord avec le sujet. Ce système, alimenté au machine learning, se base sur l'étude de 8 millions de pages web, partagées sur Reddit et dont le contenu a été validé par au moins trois votes positifs, étaye un article de BigData.

Le journaliste du Guardian a soumis la machine à la question, en intégrant, facétieux, l’incipit de 1984 de George Orwell. "C’était une journée d’avril froide et claire. Les horloges sonnaient treize heures", écrivait l’auteur. Dans l’esprit tout futuriste d’Orwell, GPT2 aurait complété d’un : "J’étais en route pour Seattle pour commencer un nouveau travail. J’ai mis les gaz, les clés, et j’ai laissé rouler. J’ai pensé à quoi ressemblerait la journée. Il y a 100 ans. En 2045, j’étais professeur dans une école dans quelque coin obscur de la Chine rurale". (I was in my car on my way to a new job in Seattle. I put the gas in, put the key in, and then I let it run. I just imagined what the day would be like. A hundred years from now. In 2045, I was a teacher in some school in a poor part of rural China).

Le Guardian poursuit l’expérience et entre dans GPT2 quelques paragraphes issus d’un article à propos du Brexit. La suite proposée par le générateur est étonnante. Le style est celui d’un journaliste, l’article intègre des citations (fausses) du chef de l’opposition britannique Jeremy Corbyn et du porte-parole du gouvernement et évoque même le problème des frontières irlandaises. Selon le directeur de recherche d’OpenAI, Dario Amodei, le modèle GPT2 pousse la supercherie plus loin. Il traduirait et résumerait n’importe quel texte, réussirait des tests basiques de compréhension de texte.

A The Verge, David Yuan, vice-président à la tête de l’ingénierie d’OpenAI, déclare qu’une dissertation composée par GPT2 "aurait pu tout aussi bien être écrite pour les SAT (examens utilisés pour l’admission aux universités américaines, ndlr) et recevoir une bonne note". Et c’est précisément cette maestria à réussir dans ses tâches d’ordre intellectuel qui pousse les chercheurs d’OpenAI à freiner sa sortie, de peur que la technologie tombe entre de mauvaises mains. "Nous choisissons de sortir une version limitée de GPT2 (...) Nous ne publierons ni la base de données, ni le code d'apprentissage, ni le modèle sur lequel GPT2 repose", explique un billet du blog de l'équipe de recherche.

Pour l’heure, l’ONG souhaiterait éprouver davantage le modèle. "Si vous n’êtes pas en mesure d’anticiper les capacités d’un modèle informatique, vous devez le tester pour voir ce qu’il a dans le ventre", explique OpenAI à The Guardian. Le résultat ? Comme GPT2 s’exerce dans la cour de recré des Internets, il ne serait pas très compliqué de pousser l’algorithme à générer des textes que les complotistes ne renieraient pas.

En 2015, Elon Musk s’associait à Sam Altman, président de l’incubateur prisé, Y Combinator pour fonder OpenAI, une organisation à but non lucratif pour encourager la recherche et la réflexion autour d’une IA bienveillante, qui reste au service du bien commun. Ses deux parrains la dotent d’une confortable enveloppe d’un milliard de dollars, soutenus par d’autres angels de la Silicon Valley, tels que Peter Thiel, serial entrepreneur et investisseur réputé pour ses idées controversées – l’homme est libertarien, soutient Trump et est un transhumaniste convaincu – ou Reid Hoffmann, le fondateur de LinkedIn.

A lire ce qui s’écrit ça et là à propos de GPT2, les chercheurs d’OpenAI tomberaient de leur chaise en réalisant le potentiel néfaste de l’algo. A croire que les chercheurs auraient oublié la mission première de l’ONG, à savoir, sensibiliser aux méfaits de l’intelligence artificielle et imaginer cette technologie au service du bien commun. Alors vraie peur des chercheurs, recherche candide ou plutôt, volonté d’interpeller le grand public et d'ouvrir le débat ?

Auteur: Meghraoua Lila

Info: https://usbeketrica.com

[ lecture ] [ écriture ]

homme-animal

Le langage du chant des oiseaux
Pendant plus de 30 ans, Donald Kroodsma a travaillé pour démêler de tels mystères de communication avienne. Par des études sur le terrain et des expériences de laboratoire, il a étudié les forces écologiques et sociales qui ont contribué à l'évolution de l'apprentissage vocal.
Les jeunes perroquets, oiseaux chanteurs et colibris apprennent un répertoire de chansons, comme les enfants en bas âge apprennent à parler. Mais pourquoi cette capacité d'apprendre un système de communication vocal est-il quelque chose que nous partageons avec les oiseaux, mais pas avec nos parents plus proches, tels que les primate ?
Kroodsma a prêté une attention particulière à la variation locale des types de chants - donnés comme dialectes. Par exemple, la Mésange à tête noire (atricapillus Parus) de Martha's Vineyard, a un chant entièrement différent de son homologue terrestre qui vit au Massachusetts dit il. Aussi, les oiseaux qui vivent sur une frontière entre deux dialectes ou qui passent du temps dans différents secteurs peuvent devenir "bilingues" apprenant les chansons de plusieurs groupe de voisins.
Récemment, Kroodsma a découvert que l’Araponga tricaronculé (tricarunculata Procnias) change constamment son chant, créant ce qu'il appelle "une évolution culturelle rapide à chaque génération." Ce genre d'évolution du chant est connu chez les baleines mais, jusqu'ici, rarement dans les oiseaux. Professeur de biologie à l'université du Massachusetts à Amherst, Kroodsma est également Co-rédacteur du livre Ecology and Evolution of Acoustice Communication in Birds (Cornell University Press, 1996). Bien qu'il projette de continuer ses études sur le terrain, il dit qu'un de ses buts les plus importants est maintenant d'aider les gens à comprendre " Comment écouter les chant d'oiseaux. Beaucoup de gens peuvent identifier une grive des bois (Hylocichla mustelina) quand ils l’entendent. Son chant est un des plus beau au monde – mais peu réalisent qu'ils pourraient entendre les choses que la grive communique s’ils savaient juste écouter."

SA : Pouvez vous faire une comparaison entre la façon dont un bébé oiseau apprend à chanter et la façon dont un jeune humain apprend à parler ?
DK : En surface, c'est remarquablement similaire. Je passe souvent une bande de ma fille, enregistrée quand elle avait environ une année et demi. Elle prend tout qu'elle connaît "bruits de toutou, de chat, etc " et les rapièce aléatoirement ensemble dans un ordre absurde de babillage. Ainsi quand on passe la bande d'un jeune oiseau et qu’on dissèque ce qu'il fait dans ce que nous appelons son "subsong" il se passe exactement la même chose. Il prend tous les bruits qu'il a mémorisés, tous les bruits auxquels il a été exposé, et les chante dans un ordre aléatoire. Il semble que ce que le bébé humain et le bébé oiseau font est identique. Certains pourraient voir ceci comme une comparaison grossière, mais elle est très intrigante.
SA : Pourquoi les répertoires de chants et les dialectes de certains oiseaux changent-ils d'un endroit à l'autre ?
DK : Pour les espèces d'oiseaux qui n'apprennent pas leurs chants, j'aime penser de manière simpliste que leurs chants sont codés dans leur ADN. Avec ces oiseaux, si nous trouvons des différences dans les chants d'un endroit à l'autre, cela signifie que l'ADN est aussi changé et que les populations sont génétiquement différentes. Mais il y a des espèces dans lesquelles les chants ne sont pas codés par l'ADN. Alors nous avons quelque chose très semblable aux humains, la parole est apprise et varie d'un endroit à l'autre. Si par exemple, tu a été élevé en Allemagne, tu parleras allemand plutôt que l'anglais, sans changement de gènes. Ainsi avec les oiseaux qui apprennent leurs chants, on obtient ces différences frappantes d'un endroit à l'autre parce que ces oiseaux ont appris le dialecte local.
SA : Comment est-ce influencé par le nomadisme de l’oiseau ?
DK : Si tu sais que le reste de ta vie tu parleras anglais, tu travailleras dur à l'anglais à l'école. Mais qu'en serait-il si tu savais que tu seras jeté à plusieurs reprises dans des milieux avec des personnes parlant des langues différentes ? Tu commences ainsi à entrevoir l'énorme défi que ce serait d'apprendre la langue ou le dialecte de tous ces différents endroits. Alors je pense que les oiseaux nomades comme les Troglodyte à bec court [Cistothorus platensis], parce qu'ils vivent avec différents oiseaux tous les quelques mois partout dans la géographie, ne prennent pas la peine d'imiter les chansons de leurs voisins immédiats. Ils composent une certaine sorte de chant généralisé, ou plutôt ce sont des instructions de l’ADN leur permettent d'improviser la chanson du Troglodyte à bec court. Le contraste du Troglodyte à bec court avec le Troglodyte des marais [Cistothorus palustris] est très intéressant. Les Troglodytes des marais occidentaux de la région de Seattle ou de Californie, restent sur leur territoire pendant toute l'année. Une fois qu'un mâle s'installe sur un territoire il apprend les chants de ses voisins. Ils vivent tous au sein d’une communauté très stable, et je pense que cela leur donne l'élan pour s'imiter les uns les autres. Mais J'aimerai quand même bien avoir la réponse à ça : Pourquoi s'imitent ils tous… pourquoi ont ils les mêmes chants ?.
SA : Une des manières ou vous avez montré que la connaissance de chants est innée - plutôt qu'apprise - chez certaines espèces fut de priver de jeunes Moucherolles de leur capacité d'entendre.
DK : Nous avons fait un tas d'expériences, mais nous savions que l'étape finale avant de pouvoir déclarer qu'ils apprennent était de les empêcher de pratiquer l'audition elle-même. Ainsi nous avons obturé les oreilles des quelques Moucherolle [Sayornis phoebe] et elles continuèrent de produire toujours parfaitement leurs beaux chants. Elles n'auraient pas du être capable de développer des chants normaux après avoir été rendues sourdes s'il n'y avait pas quelque composant d'apprentissage inné.
SA : Vous avez comparé l’Araponga tricaronculé du Costa Rica à la baleine à bosse [Megaptera novaeangliae] parce que leurs chants évoluent rapidement à chaque génération. Comment savoir que les chants des Arapongas ont évolué depuis que les gens ont commencé à les enregistrer ?
DK : Nous avons une série d'enregistrements datant du milieu des années 70, nous donnant une utile documentation sur leurs chants dans trois dialectes. Dans deux des dialectes, les chants des années 70 sont rigoureusement différents des chants aujourd'hui. Dans le troisième, celui avec lequel nous travaillons le plus soigneusement, nous pouvons montrer plusieurs micro changements fait avec le temps. Un des changements est un très un fort sifflent qui a diminué dans sa fréquence [hauteur] depuis les années 70. Celle-ci est passée d'environ 5.500 hertz, (cycles par seconde) descendant à environ 3.700 hertz. C'est une baisse énorme, une baisse moyenne de 70 hertz par an de 70 à 2001.
SA : L’Arapongas (Bellbird) est-il unique parmi les oiseaux dans le sens que ses chants évoluent de cette façon ?
DK : Ces oiseaux réapprennent probablement leurs chansons tout le temps... Ils surveillent ce que les autres oiseaux chantent, n’est-ce pas. Ce genre de modification n'a été démontré qu'avec deux autres sortes d’oiseau, dont le Cassique cul-jaune [ Cacicus cela] du Panama. C'est un merle qui vit en colonies. Les chants dans ces colonies changent en une génération. Avec des oiseaux qui ont des vies assez courtes, comme les Passerin indigo [ Passerina cyanea], qui vivent environs deux ans, une fois que le mâle à développé son chant il le garde toute sa vie. Les chants d’Araponga évoluent au-travers des générations, de manière très proche à la baleine à bosse.
SA : Pourquoi pensez-vous que les chants de l’Araponga se modifient avec le temps ?
DK : Comme probablement dans la plupart des systèmes où relativement peu de mâles réussissent. Le mâle doit exposer son chant à une assistance des femelles, celles-ci conviennent quant à qui est le meilleur mâle. Elles sont probablement la cause d’un système qui permettrait aux mâles de montrer depuis combien de temps ils sont dans les environs : s'ils chantent les chants des dialectes locaux et s’ils ont suivis les changements. Ainsi les mâles qui réussissent pourraient changer leurs chants, forçant les autres mâles, particulièrement les plus jeunes, à rester à niveau. Ce pourrait être une manière pour que les femelles puissent identifier les mâles dominants ou ceux qui ont été dans la population depuis le plus longtemps.
SA : Une des manières qui vous a permis de montrer que les Arapongas apprennent leurs chants est que vous avez découverts qu'ils imitent d'autres oiseaux.
DK : Un ami m'a parlé d'une ville du Brésil appelée Arapongas. Si tu dis "Arapongas" en soulignant le "pong" plus ou moins c'est comme décrire un de ces Araponga à gorge chauve qui habite le Brésil méridional. La ville est baptisée du nom de cet oiseau. Les gens gardent des Arapongas en cage dans cette ville. Mon ami a entendu un là-bas, en cage, faire des bruits comme un merle de Chopi [Gnorimopsar chopi]. Il a découvert qu'il avait été élevé avec des merles de Chopi et qu’il avait appris des éléments - sifflements et ronronnements - de leurs chants. C'était une jolie expérience faite par des amateurs d'oiseau, qui donne ce que je vois comme la preuve claire qu'un Araponga a appris ses sons des merles.
SA : Pourquoi trouvez-vous les l’Araponga si attrayants ?
DK : Il est difficile de penser objectivement une fois qu’on observe ces oiseaux parce qu'ils sont si charismatiques. Ils sautent à cloche-pied sur leurs perchoirs, se mettent en garde, se poussent entre eux en bas des perchoirs, ils se crient dans des oreilles, ils collent leurs têtes dans les bouches d'autres oiseaux. Ils sont simplement extraordinaires. La chose que je trouve excitante en tant que scientifique c'est que c'est seulement le quatrième groupe d'oiseaux au sujet desquels nous sommes documentées pour ce type d'étude vocale. Je pense qu'ils ouvrent une fenêtre sur les conditions dans lesquelles l'apprentissage vocal pourrait avoir évolué dans d'autres groupes ou espèces.
SA : Quels mystères de chant d'oiseaux voudriez vous résoudre dans votre vie ?
DK : Pourquoi les oiseaux acquièrent ils les sons de cette manière ? Pourquoi certains oiseaux apprennent ils et d'autres pas ? Les merles proches les uns des autres semblent avoir des chansons différentes, cela suggère qu'ils les composent probablement. Il doit y avoir une sorte de grand modèle évolutionnaire avec lequel tous ces oiseaux fonctionnent, et si nous en savions juste assez au sujet de leurs histoires de vie, mon sentiment tripal est que toute cette variété que nous voyons parmi des oiseaux commencerait à se comprendre.

Auteur: Fortean times

Info: Entrevue entre Donald Kroodsma et Jennifer Uscher, auteur scientifique indépendante de New York, spécialisée sur les oiseaux. Vers 2004

[ musique ]

homme-animal

La signification des meuglements des vaches, et autres histoires animales surprenantes
Vous pensez bien connaître les animaux? Pourtant les scientifiques qui les étudient leur découvrent régulièrement de nouvelles habiletés, intelligences et savoir-être étonnants.

C'est ce que raconte la journaliste spécialiste des sciences Aline Richard Zivohlava dans son ouvrage "Dans la peau des bêtes", paru en mai aux éditions Plon. Elle se glisse dans la peau de différents animaux pour un récit à la première personne. Nous en publions ci-dessous des extraits. Le titre et les intertitres sont de la rédaction de Slate.

Les corbeaux clairvoyants
L’histoire des Corneilles noires de la ville de Sendai, au Japon, a fait le tour du monde. À des branches de noyer plantés le long des routes pendaient de savoureuses noix, mais elles étaient, dans leurs coques vertes, inaccessibles à nos becs. C’est alors que mes congénères ont appris le code de la route. Au feu rouge, l’oiseau dépose sa noix devant la voiture, qui l’écrase au feu vert, et dont les fragments sont récupérés au feu rouge suivant. Malin, non? Et même carrément intelligent.

Les recherches scientifiques de ces dernières années ont révélé des capacités insoupçonnées chez les corvidés, en particulier dans le domaine de la cognition. Certains de nos savoir-faire avaient pourtant été remarqués dans le passé, mais vous n’aviez pas su les analyser… Vous rappelez-vous d’Ésope, le fabuliste qui a commis "Le Corbeau et le Renard", que nous critiquions tout à l’heure? Nous lui avons volontiers pardonné son écart puisqu’il a rendu hommage à l’ingéniosité de la corneille dans la comptine suivante: "La Corneille ayant soif, trouva par hasard une cruche où il y avait un peu d’eau; mais comme la cruche était trop profonde, elle n’y pouvait atteindre pour se désaltérer. Elle essaya d’abord de rompre la cruche avec son bec; mais n’en pouvant venir à bout, elle s’avisa d’y jeter plusieurs petits cailloux, qui firent monter l’eau jusqu’au bord de la cruche. Alors elle but tout à son aise."

Deux douzaines de siècles plus tard, en 2014, cette fable a été reproduite dans un laboratoire de l’université d’Auckland, en Nouvelle-Zélande. Des chercheurs ont voulu savoir si différents corvidés –Corbeaux calédoniens, Corbeaux freux et Geais des chênes– se montraient aussi clairvoyants que l’oiseau du fabuliste. Expérience réussie: soit deux tubes de verre, un large et un étroit, reliés entre eux par un mécanisme de vases communicants et à moitié remplis d’eau. Dans le premier, un morceau de liège flotte, agrémenté d’un morceau de viande. Tube trop étroit pour y plonger le bec. Les oiseaux ont dû trouver un moyen d’atteindre la nourriture: ils ont jeté des petits cailloux dans le tube large ne contenant pas le morceau de viande, pour faire monter l’eau dans le second tube étroit, et récupérer la récompense. C’est ce que l’on appelle effectuer une relation de cause à effet. Incroyable, quand on sait que, soumis au même test, les petits humains ne le réussissent que vers l’âge de 7 ans.

Les corbeaux sont capables de se priver dans l’immédiat pour une meilleure récompense dans le futur, une opération cognitive complexe.

La conclusion semble couler de source: des corbeaux aussi intelligents que vous, à l’âge de raison des petits humains! Mais au risque de décevoir mes congénères, je n’irai pas jusque-là. Rien ne prouve en effet que les mécanismes mentaux mis en jeu soient les mêmes pour nos deux espèces. Et la faculté spontanée de raisonner dans l’abstrait par le biais d’un processus d’association n’est pas forcément équivalente à ce que vous, humains, entendez généralement par "intelligence".

Il fallait en savoir plus. Les scientifiques qui nous étudient ont d’abord observé nos capacités cognitives liées à la vie en société. Tout comme vous, les corvidés activent leurs neurones pour améliorer leur cadre de vie, interagir avec leurs semblables, obtenir le meilleur pour eux-mêmes et leurs proches… La gestion de la nourriture est un enjeu majeur pour tout être vivant, et, pour nous autres corbeaux, l’occasion d’exercer notre mémoire et même de se projeter dans l’avenir. Des chercheurs britanniques ont par exemple montré que des geais, qui ont l’habitude de cacher leur nourriture, étaient capables de "classer" leurs aliments en fonction du temps écoulé avant la consommation: ils déterraient d’abord les caches de vers de terre, très appréciés mais périssables, avant celles des cacahuètes, moins goûteuses mais plus durables.

Les corbeaux sont aussi capables de se priver dans l’immédiat pour une meilleure récompense dans le futur, une opération cognitive complexe que vous pensiez réservée aux humains et aux grands singes. Une expérience menée en 2017 à l’université de Lund, en Suède, sur des corbeaux dressés consistait à leur faire choisir une friandise à dévorer tout de suite, ou bien un outil permettant d’ouvrir une boîte contenant une friandise plus grosse, au prix de quinze minutes d’efforts. La plupart des corbeaux ont choisi l’outil. Cela suggère la capacité de contrôle de soi et celle d’anticipation.

S’alimenter, c’est aussi coopérer mais parfois se fâcher quand un comportement est jugé incorrect. Dans une expérimentation menée dans un laboratoire à Vienne, des grands corbeaux ont su s’allier en tirant de concert deux bouts de ficelle pour récupérer deux parts de fromage: si l’un des oiseaux n’avait pas joué le jeu, aucun des deux n’aurait pu en profiter. Mais, dans une autre série d’expériences, il est arrivé qu’un des oiseaux ruse pour s’approprier tout le fromage. L’autre a alors refusé de coopérer plus avant avec le tricheur.

Les poulpes farceurs
Ces dernières années, nombre de nos capacités cognitives ont été découvertes par les scientifiques qui nous observent. Par exemple, notre dextérité au maniement des outils, faculté que l’on pensait réservée aux animaux "supérieurs". En 2009, quatre pieuvres de l’espèce Amphioctopus marginatus, habitantes des eaux chaudes de l’ouest du Pacifique, ont été filmées en train de manipuler des coquilles de noix de coco pour s’en faire une armure de protection contre les prédateurs, puis se balader, ainsi équipées, sur le plancher marin. La vidéo a intéressé les chercheurs…

Et enchanté le grand public: sans être encore aussi populaires que ceux consacrés aux chatons mignons, les films de poulpes malins font les beaux jours de votre Internet. Sur YouTube, 3 millions de vidéos sont disponibles! C’est ainsi que les humains ont pu découvrir les talents d’Inky, notre maître-poulpe de l’évasion. Cantonné dans son aquarium de Nouvelle-Zélande, Inky a profité de l’inattention d’un gardien qui n’avait pas bien fermé son réceptacle pour déverrouiller le dispositif, glisser au sol, et emprunter un tuyau d’un diamètre de 15 centimètres (!) se déversant dans l’océan Pacifique.

Stratégie, adaptation, innovation… Autant de qualités qui marquent, pour le moins, une belle intelligence des situations.Nous sommes aussi capables d’apprendre par observation et de manipuler des règles logiques: facultés d’autant plus étonnantes que nous n’avons pas eu de parents pour nous les enseigner. Des chercheurs ont installé des pieuvres devant un labyrinthe, elles ont su s’orienter en observant des congénères, puis en fonction d’indices visuels mis à leur disposition. Dans une autre expérience, on nous a placées devant cinq portes fermées, chacune marquée d’un symbole. Il fallait trouver celle donnant accès à un crabe, friandise que nous apprécions parmi toutes. Nous avons réussi à repérer la bonne porte, et appris à reconnaître son symbole même quand les scientifiques le changeaient de place. Et nous sommes capables de retenir plusieurs jours ces informations apprises, signe d’une bonne mémoire.

De même, nous jouons: un comportement évolué, peu commun chez les invertébrés. Sarah Zylinski, biologiste à l’université de Leeds, au Royaume-Uni, a observé un poulpe de l’espèce Octopus bimaculoides se livrer au jeu du chat et de la souris avec un crabe. En pleine mer, plusieurs plongeurs qui nous observaient ont eu la surprise de voir un tentacule taquin tenter de leur retirer leur masque à oxygène… En captivité, nous jonglons dans l’aquarium avec les petits cubes en plastique que vous nous envoyez. Et ne croyez pas que nous ne savons pas qui vous êtes.

En 2010, à l’aquarium de Seattle, aux États-Unis, deux membres de l’équipe soignante se sont livrés au jeu bien connu du "bad cop-good cop": l’un nous nourrissait avec douceur, l’autre nous touchait avec un bâton piquant. Après deux semaines, racontent les scientifiques qui ont organisé cette expérience, les huit pieuvres de l’aquarium se comportaient différemment avec l’un et l’autre, habillé pourtant du même uniforme.

En captivité, nous savons parfaitement vous faire passer des messages. La chercheuse de Leeds rapporte que des seiches, impatientes d’être nourries, aspergeaient d’eau leur gardien s’il tardait. Et, dans un parc zoologique en Allemagne, un poulpe est monté sur le bord de son aquarium pour inonder un spot dont la lumière devait le gêner.

La science n’a pas fini de dévoiler tout ce qu’il y a d’extraordinaire en nous. En avril 2017, un article scientifique, fort technique puisqu’il a été publié dans la revue Cell (dédiée à la biologie moléculaire et cellulaire), a suggéré que nous évoluions différemment de presque tous les êtres vivants de la planète: certains d’entre nous sont en effet capables de modifier à plusieurs reprises leur séquence d’ARN (acide ribonucléique, l’autre "molécule du vivant" avec l’ADN) et de l’éditer, pour mieux s’adapter à notre environnement. S’ensuivent, par exemple, des modifications de notre cerveau pour pouvoir prospérer dans des eaux aux températures différentes. Bien pratique en cette période de changements climatiques! Ludovic vous l’avait bien dit: nous sommes de véritables extraterrestres du fond des mers.

Les vaches communiquantes
La vache a ses sens en éveil. À l’inverse de ce que certains stupides imaginent, un regard bovin est un regard expert: une vision à 330 degrés, sans bouger la tête, qu’en dites-vous? Il est vrai que nous sommes plutôt myopes, et distinguons bien mieux les tendres pousses dans le pré qu’un véhicule arrivant au loin. Mais notre ouïe très fine y pallie. Les vaches distinguent les ultrasons (jusqu’à 35.000 hertz), tout comme les basses fréquences et les très faibles volumes sonores. Et puis, il y a notre odorat. C’est notre sens premier, il nous distingue et organise notre vie sociale. Les odeurs disent notre âge, nos besoins sexuels, notre place dans la hiérarchie du troupeau, notre niveau de stress. On se renifle et on se lèche entre vaches, et on approche nos mufles des humains à l’approche: il s’agit de flairer l’éleveur, le vétérinaire que l’on connaît, et de s’inquiéter de la présence d’un intrus à l’odeur inconnue.

En 2015, en Suisse, des chercheurs de l’École polytechnique de Zurich se sont livrés à une analyse acoustique de troupeaux pour tenter de comprendre ce que les vaches se disent. Lors des naissances de nos veaux et cela durant trois à quatre semaines, nous parlons à nos petits le mufle à moitié fermé pour produire un son grave. Et à l’inverse, quand on nous les retire, nous produisons un meuglement dans les fréquences hautes. De même, les veaux nous appellent plutôt dans les aigus.

De l’avis des scientifiques et des professionnels, fermiers et éleveurs qui nous côtoient, notre cri d’espèce, émis jusqu’à une cinquantaine de fois dans la journée, exprime une grande variété de situations et d’états: faim, soif, chaud, froid, souffrance, désir, appels…

Quant à vous, on dirait que nos "meuh" vous fascinent. Vous tentez parfois de nous imiter, bizarre! des humains qui singent les vaches! Mais vous n’êtes même pas fichus de vous entendre sur le son à produire… "Meuh" en France ; "moo" chez les Anglo-Saxons; "muh" pour les Allemands et les Danois; et "mō" du côté du Japon. Un plaisantin est même allé jusqu’à fabriquer ce qu’il a appelé une "boîte à meuh" pour faire rire ses semblables, on se demande vraiment pourquoi. Laquelle boîte a au moins eu une utilité: le docteur Lucien Moatti l’a calibrée pour le dépistage néonatal de la surdité des bébés humains. Si l’enfant tourne la tête au son de la vache, c’est qu’il entend bien…

Auteur: Internet

Info: Slate, Aline Richard, 30 mai 2019

[ anecdotes ]

exobiologie

Les extraterrestres sont-ils là sous nos yeux ?

Difficile de détecter quelque chose sans avoir aucune idée de ce que c'est.

Cette année, plusieurs missions sont en quête de vie sur la planète rouge. Mais reconnaîtrions-nous des extraterrestres si nous les trouvions ? En juillet, trois missions non habitées se sont envolées vers Mars : de Chine (Tianwen-1), depuis les États-Unis (Mars 2020 Perseverance Rover de la Nasa) et des Émirats arabes unis (Hope). Les missions chinoise et américaine sont équipées d'atterrisseurs qui rechercheront des signes de vie actuelle ou passée sur Mars. La Nasa prévoit également d'envoyer sa sonde Europa Clipper sur la lune de Jupiter, Europa, et l'atterrisseur robotisé Dragonfly sur la lune de Saturne, Titan. Ces deux lunes sont considérées comme des terrains de chasse prometteurs pour la vie dans notre système solaire, tout comme les océans souterrains d'Encelade, la lune glacée de Saturne.

En attendant, nous pouvons désormais entrevoir la composition chimique des atmosphères des planètes qui orbitent autour d'autres étoiles (exoplanètes), dont plus de 4 000 sont aujourd'hui connues. Certains espèrent que ces études pourraient révéler d'éventuelles signatures de vie.

Mais ces recherches peuvent-elles être efficaces si nous n'avons pas une idée claire de ce qu'est la "vie" ? La définition officieuse de la Nasa est la suivante : "système chimique autonome capable d'évolution darwinienne". "La Nasa a besoin d'une définition de la vie pour savoir comment construire des détecteurs et quels types d'instruments utiliser lors de ses missions", explique le zoologiste Arik Kershenbaum, de l'université de Cambridge. Mais tout le monde ne pense pas qu'elle utilise la bonne définition.

L'astrobiologiste Lynn Rothschild, du centre de recherche Ames de la Nasa en Californie, voit une mise en garde dans l'histoire de Winnie l'ourson d'AA Milne, dans laquelle Pooh et Piglet chassent un Woozle sans savoir à quoi il ressemble et confondent leurs propres empreintes avec ses traces. "On ne peut chasser quelque chose sans avoir aucune idée de ce que c'est", dit-elle.

Le problème de la définition de la vie hante les planétologues depuis que les deux atterrisseurs Viking de la Nasa se sont posés sur Mars en 1976. Depuis, les rovers ont parcouru des dizaines de kilomètres sur les plaines martiennes mais n'ont trouvé aucun signe de vie. Mais saurions-nous la reconnaître si nous la voyions ?

Certains astrobiologistes - scientifiques qui étudient la possibilité de vie sur d'autres mondes - pensent que notre vision est trop étroite. Nous ne connaissons qu'un seul type de vie : la vie terrestre. Tous les êtres vivants sur Terre sont constitués de cellules adaptées à un environnement aquatique, utilisant une machinerie moléculaire construite à partir de protéines et codée sous forme de gènes dans l'ADN. Peu de scientifiques pensent que la vie extraterrestre - si tant est qu'elle existe - repose sur les mêmes éléments chimiques. "Il serait erroné de supposer que la biochimie qui nous est familière est celle que nous allons trouver sur d'autres planètes", déclare Kershenbaum. La surface de Titan, par exemple, est trop froide (moins 179 °C) pour contenir de l'eau liquide, mais la mission de l'atterrisseur Huygens en 2005 a révélé la présence de lacs d'un autre type, constitués d'hydrocarbures comme ceux de l'essence, principalement du méthane et de l'éthane.

Rothschild pense que les règles universelles de la chimie réduisent certaines des options. "J'ai du mal à imaginer une autre forme de vie qui ne soit pas basée sur le carbone", dit-elle. Il est donc logique de concevoir les missions planétaires de recherche de la vie en gardant cela à l'esprit. L'eau présente également "une tonne d'avantages" en tant que solvant de la vie. Même si des réactions chimiques intéressantes se produisaient dans les lacs de méthane de Titan, elles seraient fortement ralenties par les températures glaciales. La vie pourrait-elle se dérouler à un rythme aussi glacial ? Le planétologue Stuart Bartlett, de l'Institut de technologie de Californie à Pasadena, garde l'esprit ouvert. "Il pourrait y avoir des organismes flottant dans l'atmosphère de Titan qui boivent essentiellement de l'essence pour se maintenir", dit-il.

On a longtemps pensé que toute entité méritant d'être qualifiée de vivante possède des attributs qui ne dépendent pas de sa composition chimique précise. Il est toutefois très difficile de définir ces qualités générales. Les systèmes vivants - même les bactéries - sont extrêmement complexes, maintenus par des informations qui passent (dans notre cas via les gènes) entre les générations et créent une organisation. Mais il ne s'agit pas de l'ordre froid et mort des cristaux, où les atomes sont empilés selon des motifs réguliers. Il s'agit plutôt de l'ordre dynamique d'une ville ou d'une formation nuageuse, que les scientifiques qualifient de "déséquilibré" : il est constamment alimenté en énergie et ne s'installe pas dans un état statique.

Bartlett et Wong proposent une catégorie plus large appelée "lyfe", dont la vie telle que nous la connaissons n'est qu'une variante.

Lorsque James Lovelock, aujourd'hui connu pour l'hypothèse Gaia qui propose que notre planète entière soit assimilée à une entité vivante, participa à la conception des atterrisseurs Viking dans les années 1970, il suggéra de rechercher un tel déséquilibre chimique dans l'environnement - que seule la vie pourrait éventuellement maintenir sur des échelles de temps géologiques. Il s'agit plutôt de l'ordre dynamique d'une ville ou d'une formation nuageuse, que les scientifiques qualifient de "déséquilibré" : Les deux étant constamment alimentés en énergie et ne s'installent pas dans un état statique.  Mais des états de "déséquilibre ordonné" peuvent également être trouvés dans des systèmes non vivants, comme des liquides fluides, de sorte que ce seul critère ne permet pas d'identifier la vie.

Bartlett, en collaboration avec l'astrobiologiste Michael Wong de l'Université de Washington à Seattle, soutient que nous devons échapper au carcan de la pensée terrestre sur la vie. Ils proposent d'introduire une catégorie plus large appelée "lyfe" (prononcé, d'une façon étrangement typique du West Country, comme "loif"), dont la vie telle que nous la connaissons n'est qu'une variation. "Notre proposition tente de se libérer de certains des préjugés potentiels dus au fait que nous faisons partie de cette seule instanciation de lyfe", explique Bartlett. Ils suggèrent quatre critères pour la lyfe :

1. Elle puise dans les sources d'énergie de son environnement qui l'empêchent de devenir uniforme et immuable.

2. Elle connaît une croissance exponentielle (par exemple par réplication).

3. Elle peut se réguler pour rester stable dans un environnement changeant.

4. Elle apprend et se souvient des informations sur cet environnement. L'évolution darwinienne est un exemple de cet apprentissage sur des échelles de temps très longues : les gènes préservent les adaptations utiles à des circonstances particulières.

Les deux chercheurs affirment qu'il existe des systèmes "sublyfe" qui ne répondent qu'à certains de ces critères, et peut-être aussi des "superlyfe" qui en remplissent d'autres : des formes lyfe qui ont des capacités supérieures aux nôtres et qui pourraient nous regarder comme nous regardons des processus complexes mais non vivants tels que la croissance des cristaux.

"Nous espérons cette définition libère suffisamment notre imagination pour que nous ne passions pas à côté de formes de lyfe qui pourraient se cacher à la vue de tous", déclare Bartlett. Lui et Wong suggèrent que certains organismes lytiques pourraient utiliser des sources d'énergie inexploitées ici sur Terre, comme les champs magnétiques ou l'énergie cinétique, l'énergie du mouvement. "Il n'existe aucune forme de vie connue qui exploite directement l'énergie cinétique dans son métabolisme", déclare Bartlett.

Selon eux, il pourrait y avoir d'autres moyens de stocker des informations que dans des brins génétiques comme l'ADN. Les scientifiques ont, par exemple, déjà imaginé des moyens artificiels de stocker et de traiter l'information en utilisant des réseaux bidimensionnels de molécules synthétiques, comme des réseaux en damier ou des abaques. Selon Bartlett, la distinction entre "alyfe" et "non-lyfe" pourrait être floue : être "alyve" pourrait être une question de degré. Après tout, les scientifiques se disputent déjà sur la question de savoir si les virus peuvent être considérés comme tels, même si personne ne doute de leur capacité à détruire la vie.

Il est sceptique quant à la notion de la définition de travail de la Nasa selon laquelle la vie ne peut apparaître et se développer que par l'évolution darwinienne. Il affirme que même les organismes terrestres peuvent façonner leur comportement d'une manière qui ne dépend pas d'un mécanisme Darwinien, à savoir des mutations aléatoires couplées à une compétition pour les ressources qui sélectionne les mutations avantageuses. "L'évolution darwinienne existe bien sûr, mais je pense qu'elle doit être complétée par une vision plus large de l'apprentissage biologique", déclare-t-il.

L'astrobiologiste et physicienne Sara Walker, de l'Arizona State University, partage cet avis. "Il se peut que certains systèmes possèdent de nombreux attributs de la vie mais ne franchissent jamais le seuil de la vie darwinienne", dit-elle. Mais dans son nouveau livre The Zoologist's Guide to the Galaxy, Kershenbaum affirme qu'il est difficile d'imaginer un autre processus susceptible de produire des systèmes chimiques complexes dignes d'être considérés comme vivants (ou alyves). L'évolution par sélection naturelle, dit-il, suit "des principes bien définis dont nous savons qu'ils s'appliqueront non seulement sur Terre mais aussi ailleurs dans l'univers" - et il est "très confiant dans le fait qu'elle sera à l'origine de la diversité de la vie sur les planètes extraterrestres". Si c'est le cas, affirme-t-il, nous pouvons faire des hypothèses raisonnables sur d'autres attributs de ces planètes : par exemple, la vie aura un processus comme la photosynthèse pour récolter l'énergie de l'étoile mère.

Bartlett et Wong se demandent également si les choses vivantes doivent avoir des frontières physiques bien définies.

Après tout, alors que nous pourrions imaginer n'être que tout ce qui se trouve à l'intérieur de notre peau, nous dépendons d'autres organismes en nous : le micro-biote des bactéries dans nos intestins par exemple. Et certains philosophes soutiennent que notre esprit s'étend au-delà de notre cerveau et de notre corps, par exemple dans nos appareils technologiques. "Nous pensons que la vie est un processus qui se déroule probablement à l'échelle de planètes entières", déclare Bartlett. Walker convient que "la seule limite naturelle des processus vivants est la planète", ce qui rappelle l'hypothèse Gaia de Lovelock.

Mais en l'absence d'une limite pour les ingrédients moléculaires, dit Rothschild, tous les composants d'un système vivant se dilueraient dans son environnement, comme des gouttelettes d'encre dans l'eau. Et Kershenbaum affirme que des organismes distincts et délimités sont nécessaires si l'évolution est darwinienne, car ce n'est qu'alors qu'il y a quelque chose d'autre à concurrencer.

Walker pense qu'en fait Bartlett et Wong ne vont pas assez loin dans leur tentative de libérer les idées quant à une vie terracentrique. Leur notion de lyfe, dit-elle, "fait table rase de bon nombre des problèmes omniprésents dans les définitions actuelles de la vie en proposant une définition plus large basée sur les définitions existantes. Les problèmes de base restent les mêmes. Nous n'avons pas besoin de nouvelles définitions de la vie. Ce dont nous avons besoin, c'est de nouvelles théories qui s'attaquent aux principes sous-jacents qui régissent la physique du vivant dans notre univers."

Une autre possibilité d'élargir notre vision de ce que pourrait être la vie est que nous devenions capables de créer de toutes pièces, en laboratoire, des systèmes vivants totalement différents de ceux que nous connaissons. "Nous en sommes beaucoup plus proches que vous ne le pensez", déclare M. Rothschild. En fait, cela s'est peut-être déjà produit et nous ne nous en sommes pas rendu compte, ajoute-t-elle, en plaisantant à moitié. Si nous ne savons pas ce que nous cherchons, un chercheur a peut-être déjà créé une nouvelle forme de vie - et l'a jetée dans l'évier.

En fin de compte, nous ne devrions peut-être pas être trop sûrs que la vie corresponde à une quelconque définition naturelle, estime M. Rothschild. "Je crois que ce que nous avons actuellement, ce sont des définitions non naturelles de la vie, parce que nous n'avons qu'un seul point de données. Je me demande si la vie n'est pas simplement ce que nous définissons."

"Nous pourrions découvrir des systèmes si bizarres et inattendus qu'il serait ompossible de décider s'ils sont vivants ou non", dit Kershenbaum. "Mais si nous découvrons quelque chose de vraiment intéressant et complexe qui ne correspond pas tout à fait à la définition de la vie, cela restera une avancée passionnante. Nous n'allons pas l'ignorer parce que ça ne correspond pas à notre définition !"

Auteur: Ball Philip

Info: The Guardian, 5 Septembre 2020 - Are aliens hiding in plain sight?

[ dépassement conceptuel ] [ spéculations ] [ changement de paradigme ] [ révolution scientifique ] [ monade planétaire ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]