Citation
Catégorie
Tag – étiquette
Auteur
Info



nb max de mots
nb min de mots
trier par
Dictionnaire analogique intriqué pour extraits. Recherche mots ou phrases tous azimuts. Aussi outil de précision sémantique et de réflexion communautaire. Voir la rubrique mode d'emploi. Jetez un oeil à la colonne "chaînes". ATTENTION, faire une REINITIALISATION après  une recherche complexe. Et utilisez le nuage de corrélats !!!!..... Lire la suite >>
Résultat(s): 682
Temps de recherche: 0.0618s

bêtise bipolaire

Il ne fait aucun doute que les IA sont biaisées. Mais beaucoup déclarent que ces problématiques de l'IA existent parce que nous humains sommes imparfaits, plus que les machines. "Les machines sont-elles condamnées à hériter des préjugés humains ?", titrent les journaux. "Les préjugés humains sont un énorme problème pour l'IA. Voilà comment on va arranger ça." Mais ces récits perpétuent une dangereuse erreur algorithmique qu'il faut éviter.

Oui, les humains sont subjectifs. Oui, malgré les efforts conscients et inconscients de ne pas l'être, nous faisons de la discrimination, nous stéréotypons et portons toutes sortes de jugements de valeur sur les gens, les produits et la politique. Mais nos préjugés ne sont pas correctement mesurés ou modélisés par les machines. Non, les tendances machine sont dues à la logique même de la collecte des données : le système binaire.

Le système binaire est la chaîne de 0 et 1 à la base de tous les systèmes informatiques. Cette méthode mathématique permet de réduire et de calculer efficacement les grands nombres et, deuxièmement, elle permet la conversion de l'alphabet et de la ponctuation en ASCII (American Standard Code for Information Interchange).

Mais ne vous laissez pas berner : Ces 0 et 1 ne signifient pas que la machine comprend le monde et les langages comme nous le faisons : "La plupart d'entre nous, la plupart du temps, suivons des instructions qui nous sont données par ordinateur plutôt que l'inverse ", explique l'historien des technologies George Dyson. Afin de pouvoir communiquer avec les ordinateurs, nous sommes ajustés et orientés vers leur logique, et non vers la nôtre.

Le système binaire réduit tout à des 0 et des 1 insignifiants, quand la vie et l'intelligence font fonctionner XY en tandem. lui rend la lecture et le traitement des données quantitatives plus pratiques, plus efficaces et plus rentables pour les machines. Mais c'est au détriment des nuances, de la richesse, du contexte, des dimensions et de la dynamique de nos langues, cultures, valeurs et expériences.

Il ne faut pas accabler ici les développeurs de la Silicon Valley pour ce système binaire biaisé - mais plutôt Aristote.

Le parti pris binaire d'Aristote
Si vous pensez à Aristote, vous pensez probablement au philosophe grec antique comme à un des pères fondateurs de la démocratie, et non comme l'ancêtre de siècles de logique mécanique et de méthodes scientifiques erronées. C'est cependant sa théorie du "dualisme", selon laquelle quelque chose est soit vrai soit faux, logique ou illogique, qui nous a mis dans cette situation délicate en premier lieu.

Vers 350 av. J.-C., Aristote voulut réduire et structurer la complexité du monde. Pour ce faire, il fit des emprunts à la Table des Opposés de Pythagore, dans laquelle deux éléments sont comparés :

fini, infini... impair, pair... un, beaucoup... droite, gauche... repos, mouvement... droit, tordu... etc.

Mais au lieu d'appliquer ce dualisme à la géométrie neutre comme l'avait fait Pythagore, Aristote l'appliqua aux personnes, aux animaux et à la société. Ce faisant, il conçut un patriarcat hiérarchique social polarisé clivant, enraciné dans ses valeurs internes et ses préjugés : Les objets qu'il ordonnait avoir plus de valeur devinrent des 1, et ceux de moindre importance des 0. En ce qui concerne les femmes, par exemple, il écrivit : "La relation de l'homme à la femme est par nature une relation de supérieur à inférieur et de souverain à gouverné."

Hélas, le système de classification hiérarchique d'Aristote a été implémenté dans l'IA, la pondérant en faveur d'hommes comme lui. Le système même sur lequel toute la technologie moderne est construite contient les artefacts du sexisme d'il y a 2 000 ans.

1 = vrai = rationnel = droit = masculin
0 = faux = émotionnel = gauche = féminin
Si Aristote avait créé la démocratie - et la démocratie est censée être une véritable représentation - femmes et gens de couleur auraient dû avoir un accès égal à l'éducation, avoir voix au chapitre dans les forums et avoir le droit de vote en 350 av. JC. Il n'aurait pas été nécessaire de se battre jusqu'en 1920 pour que le vote féminin soit ratifié aux Etats-Unis. Il n'y aurait pas eu d'esclavage et pas besoin du mouvement pour les droits civiques. Tout le monde aurait été classé et considéré comme égal dès le départ.

Le classement biaisé d'Aristote est maintenant verrouillé et renforcé par plus de 15 millions d'ingénieurs.
Aristote aurait dû lire les notes de son prédécesseur, Socrate. Selon les souvenirs de Platon, Socrate considérait les oracles féminins de Delphes comme "un guide essentiel du développement personnel et de l'état". De plus, dans le Symposium de Platon, Socrate se souvient de l'époque où il était l'élève de Diotima de Mantinea, une femme philosophe dont il tenait en haute estime l'intelligence. Dans le livre V, Socrate est crédité d'avoir suggéré que les femmes sont également qualifiées pour diriger et gouverner : "Il n'y a pas de pratique des gouverneurs d'une ville qui appartient à une femme parce qu'elle est une femme, ou à un homme parce qu'il est un homme."

Mais au lieu que les idées de Socrate sur l'égalité enracinent les idées occidentales sur l'intelligence, nous nous sommes retrouvés avec la logique d'Aristote et son classement biaisé sans être conscients de ses origines binaires et anti-démocratiques.

Mais ne blâmons pas seulement Aristote. Deux autres coquins ont contribué à ces problèmes sociaux et scientifiques : Descartes et Leibniz.

Descartes - philosophe français du XVIIe siècle qui a inventé l'expression "je pense, donc je suis" -, a implanté l'idée qu'un sujet n'a ni matière ni valeur autre que ce que le visiteur attribue et déduit. (S'il avait dit "Nous pensons, donc nous sommes", cela aurait mieux reflété comment nous sommes symbiotiquement informés par les perceptions les uns et des autres.)

En outre, Descartes a proposé une plus grande séparation de l'esprit du corps et des émotions dans son traité de 1641, Méditations sur la Première Philosophie. Il a soutenu que nos esprits sont dans le domaine du spirituel tandis que nos corps et nos émotions sont dans le domaine du physique, et que les deux royaumes ne peuvent pas s'influencer mutuellement. Ce qui a causé des problèmes en IA parce que maintenant nous empilons des unités d'émotions sur des couches de classification binaires d'une manière artificielle et non intégrée. Encore du binaire.

La logique déductive-inductive de Descartes, qu'il explora dans son discours sur la méthode de 1637, fut créée parce qu'il était désabusé par les méthodes non systématiques des scientifiques de son temps. Il fit valoir que les mathématiques ont été construites sur une "base solide", et a donc cherché à établir un nouveau système de vérité fondée sur Aristote 1 = vrai = valide, et 0 = faux = invalide. La différence étant qu'il a mis les lignes de la logique syllogistique d'Aristote au sein d'une structure arborescente. Structures arborescentes qui sont maintenant utilisées dans les réseaux neuronaux récurrents du NLP (Natural Language Processing)

Vint ensuite Leibniz, le philosophe et avocat allemand inventa le calcul indépendamment de son contemporain, Newton. Il créa le système binaire entre 1697 et 1701 afin d'obtenir des verdicts "oui/non" plus rapides et ainsi réduire les grands nombres en unités plus faciles à gérer de 0 et 1.

Contrairement aux autres, Leibniz était sinophile. En 1703, le prêtre jésuite Bouvet lui avait envoyé une copie du Yi King (le Livre des Changements), artefact culturel chinois dont l'origine remonte à 5.000 ans. Il était fasciné par les similitudes apparentes entre les lignes horizontales et les intervalles des hexagrammes du Yi King et les 0 et 1 des lignes verticales de son système binaire. Il interpréta faussement ces intervalles comme étant du vide (donc zéro) croyant (à tort) que les hexagrammes confirmaient que son système binaire était la bonne base pour un système logique universel.

Leibniz fit trois autres erreurs majeures. Tout d'abord, il a fit pivoter les hexagrammes de leurs positions horizontales naturelles vers les positions verticales pour les faire correspondre à ses lignes binaires. Deuxièmement, il les sépara du contexte des symboles chinois et des chiffres correspondants. Troisièmement, puisqu'il n'était pas chinois et qu'il ne comprenait pas l'héritage philosophique ou la langue, il supposa que les hexagrammes représentaient les nombres 0 et 1 lorsqu'ils représentent des énergies négatives et positives, Yin Yang, homme et femme. Erreurs qui signifient que Leibniz perdit beaucoup d'informations et de connaissances venant des codes du Yi King et de la vraie signification de ses hexagrammes.

Au lieu de créer un système universel cohérent, le système binaire de Leibniz renforça les modèles de pensée occidentale de Descartes amplifiant la base biaisée d'Aristote, nous verrouillant davantage, nous et les machines que nous avons créées, vers une logique non naturelle.

Le système binaire dans l'informatique moderne
Les classifications binaires d'Aristote sont donc maintenant évidentes dans tous les systèmes de données d'aujourd'hui, servant, préservant, propageant et amplifiant les biais partout dans les couches d'apprentissage machine.

Exemples de biais binaires dans les front-end utilisateur et le traitement des données :

glissement à droite = 1, glissement à gauche = 0
cliquer sur "like" sur Facebook = 1, pas cliquer sur like = 0
nos émotions complexes étant attribuées grossièrement comme positives = 1, négatives = 0 dans les cadres du NPL
convertir des paires d'objets comparés et leurs caractéristiques en 0 ou 1, par exemple pomme = 1, orange = 0, ou lisse = 1, bosselé = 0
lignes et colonnes pleines de 0 et de 1 dans des graphes géants "big data"
Mais le problème de la logique binaire est qu'elle ne permet pas de comprendre et de modéliser pourquoi et comment les gens ont choisi une option plutôt qu'une autre. Les machines enregistrent simplement que les gens ont fait un choix, et qu'il y a un résultat

Les machines sont donc étalonnées à partir de ces biais binaires, pas à partir des nôtres. Bien sûr, nous sommes remplis de nos propres défauts et faiblesses très humains, mais les cadres conceptuels informatiques existants sont incapables de corriger ces erreurs (et les ingénieurs n'écrivent que du code qui correspond aux limites de l'ancienne logique).

Heureusement, il existe une alternative. Les philosophies occidentales d'Aristote, de Descartes et de Leibniz sont opposées aux philosophies orientales, elles fondées sur l'équilibre naturel, la cohérence et l'intégration. Le concept chinois de Yin Yang, par exemple, met l'accent sur la dynamique égale et symbiotique du masculin et du féminin en nous et dans l'univers. Ces idées décrites dans le Yi King, que Leibniz n'a pas reconnues.

La nature rejette également le binaire. Des milliards d'années avant que le parti pris d'Aristote ne s'imprime dans la logique informatique occidentale, la nature codifiait l'intelligence comme la coexistence entrelacée de la femme X et de l'homme Y dans notre ADN. De plus, la recherche quantique a montré que les particules peuvent avoir des états de superposition enchevêtrés où elles sont à la fois 0 et 1 en même temps, tout comme le Yin Yang. La nature ne fonctionne pas en binaire, pas même avec les pigeons. Alors pourquoi le faisons-nous en informatique ?

Nous ne classons et ne qualifions pas nécessairement le monde qui nous entoure avec les préjugés hiérarchiques binaires d'Aristote. Mais la façon dont les données sont recueillies est noir (0) et blanc (1), avec des nuances de gris fournies par des pourcentages de ces données, alors que la nature et les philosophies orientales montrent que nos perceptions ne sont que vagues de couleurs mélangées ou arc-en-ciel.

Tant que nous n'aurons pas conçu des modes de catégorisation non binaires et plus holistiques en IA, les ordinateurs ne seront pas en mesure de modéliser l'image animée en technicolor de notre intelligence. Ce n'est qu'alors que les machines représenteront nos divers langages, raisonnements, valeurs, cultures, qualités et comportements humains.

Auteur: Twain Liu

Info: https://qz.com/1515889/aristotles-binary-philosophies-created-todays-ai-bias/?utm_source=facebook&utm_medium=partner-share&utm_campaign=partner-bbc

[ rationalisme occidental ] [ logique formelle ] [ intelligence artificielle ] [ Asie ] [ sciences ]

 
Commentaires: 1
Ajouté à la BD par miguel

microbiote

Un chef d'orchestre de la subtile symphonie d'Evolution

Le biologiste Richard Lenski pensait que son expérience à long terme sur l'évolution pourrait durer 2 000 générations. Près de trois décennies et plus de 65 000 générations plus tard, il est toujours étonné par " l’incroyable inventivité " de l’évolution.

Au début de sa carrière, le biologiste décoré Richard Lenski pensait qu'il pourrait être contraint d'évoluer. Après l’annulation de sa subvention de recherche postdoctorale, Lenski a commencé à envisager provisoirement d’autres options. Avec un enfant et un deuxième en route, Lenski a assisté à un séminaire sur l'utilisation de types spécifiques de données dans un contexte actuariel* – le même type de données avec lequel il avait travaillé lorsqu'il était étudiant diplômé. Lenski a récupéré la carte de visite du conférencier, pensant qu'il pourrait peut-être mettre à profit son expérience dans une nouvelle carrière.

"Mais ensuite, comme c'est parfois le cas - et j'ai eu beaucoup de chance - le vent a tourné", a déclaré Lenski à Quanta Magazine dans son bureau de la Michigan State University. " Nous avons obtenu le renouvellement de la subvention et peu de temps après, j'ai commencé à recevoir des offres pour être professeur. 

Lenski, professeur d'écologie microbienne à l'État du Michigan, est surtout connu pour ses travaux sur ce que l'on appelle l' expérience d'évolution à long terme . Le projet, lancé en 1988, examine l'évolution en action. Lui et les membres de son laboratoire ont cultivé 12 populations d' E. coli en continu depuis plus de 65 000 générations, suivant le développement et les mutations des 12 souches distinctes.

Les résultats ont attiré l’attention et les éloges – y compris une bourse " genius " MacArthur, que Lenski a reçue en 1996 – à la fois pour l’énormité de l’entreprise et pour les découvertes intrigantes que l’étude a produites. Plus particulièrement, en 2003, Lenski et ses collaborateurs ont réalisé qu'une souche d' E. coli avait développé la capacité d'utiliser le citrate comme source d'énergie, ce qu'aucune population précédente d' E. coli n'était capable de faire.

Lenski s'intéresse également aux organismes numériques, c'est-à-dire aux programmes informatiques conçus pour imiter le processus d'évolution. Il a joué un rôle déterminant dans l’ouverture du Beacon Center dans l’État du Michigan, qui donne aux informaticiens et aux biologistes évolutionnistes l’opportunité de forger des collaborations uniques.

Quanta Magazine a rencontré Lenski dans son bureau pour parler de ses propres intérêts évolutifs dans le domaine de la biologie évolutive – et du moment où il a presque mis fin à l'expérience à long terme. 

QUANTA MAGAZINE : Quels types de questions ont été les moteurs de votre carrière ?

RICHARD LENSKI : Une question qui m'a toujours intrigué concerne la reproductibilité ou la répétabilité de l'évolution . Stephen Jay Gould, paléontologue et historien des sciences, a posé cette question : si nous pouvions rembobiner la bande de la vie sur Terre, à quel point serait-elle similaire ou différente si nous regardions l'ensemble du processus se reproduire ? L’expérimentation à long terme que nous menons nous a permis de rassembler de nombreuses données sur cette question.

Alors, l’évolution est-elle reproductible ?

Oui et non! Je dis parfois aux gens que c'est une question fascinante et motivante, mais à un certain niveau, c'est une question terrible, et on ne dirait jamais à un étudiant diplômé de s'y poser. C’est parce qu’elle est très ouverte et qu’il n’y a pas de réponse très claire.

Grâce à cette expérience à long terme, nous avons vu de très beaux exemples de choses remarquablement reproductibles, et d'autre part des choses folles où une population s'en va et fait des choses qui sont complètement différentes des 11 autres populations de la planète dans l' expérience.

Comment vous est venue l’idée de cette expérience à long terme ?

Je travaillais déjà depuis plusieurs années sur l'évolution expérimentale des bactéries, ainsi que des virus qui infectent les bactéries. C'était fascinant, mais tout est devenu si compliqué si vite que j'ai dit : " Réduisons l'évolution à sa plus simple expression. " En particulier, j'ai voulu approfondir cette question de reproductibilité ou répétabilité de l'évolution. Et pour pouvoir l'examiner, je voulais un système très simple. Lorsque j'ai commencé l'expérience à long terme, mon objectif initial était de l'appeler expérience à long terme lorsque j'arriverais à 2 000 générations.

Combien de temps cela vous a-t-il pris ?

La durée réelle de l'expérience a duré environ 10 ou 11 mois, mais au moment où nous avons collecté les données, les avons rédigées et publié l'article, il nous a fallu environ deux ans et demi. À ce moment-là, l’expérience avait déjà dépassé 5 000 générations et j’ai réalisé qu'il fallait la poursuivre.

Pensiez-vous que l’expérience se poursuivrait aussi longtemps ?

Non, non... il y a eu une période de cinq ans, peut-être de la fin des années 90 au début des années 2000, pendant laquelle j'ai réfléchi à la possibilité d'arrêter l'expérience. C'était pour plusieurs raisons différentes. La première était que je devenais accro à cette autre façon d’étudier l’évolution, qui impliquait d’observer l’évolution dans des programmes informatiques auto-réplicatifs, ce qui était absolument fascinant. Soudain, j'ai découvert cette manière encore plus brillante d'étudier l'évolution, où elle pouvait s'étendre sur encore plus de générations et faire encore plus d'expériences, apparemment plus soignées.

Comment votre vision de l’étude de l’évolution via ces organismes numériques a-t-elle évolué au fil du temps ?

J’ai eu ce genre d’" amour de chiot " lorsque j’en ai entendu parler pour la première fois. Au début, c'était tellement extraordinairement intéressant et excitant de pouvoir regarder des programmes auto-répliquants, de pouvoir changer leur environnement et d'observer l'évolution se produire.

L’un des aspects les plus passionnants de l’évolution numérique est qu’elle montre que nous considérons l’évolution comme une affaire de sang, d’intestins, d’ADN, d’ARN et de protéines. Mais l’idée d’évolution se résume en réalité à des idées très fondamentales d’hérédité, de réplication et de compétition. Le philosophe des sciences Daniel Dennett a souligné que nous considérons l’évolution comme cette instanciation, cette forme de vie biologique, mais que ses principes sont bien plus généraux que cela.

Je dirais que mes dernières orientations de recherche ont consisté principalement à discuter avec des collègues très intelligents et à siéger à des comités d'étudiants diplômés qui utilisent ces systèmes. Je suis moins impliqué dans la conception d'expériences ou dans la formulation d'hypothèses spécifiques, car ce domaine évolue extrêmement rapidement. Je pense que j'ai eu beaucoup de chance de pouvoir cueillir certains des fruits les plus faciles à trouver, mais maintenant j'ai l'impression d'être là en tant que biologiste, critiquant peut-être des hypothèses, suggérant des contrôles qui pourraient être effectués dans certaines expériences.

Votre intérêt pour les organismes numériques est donc l’une des raisons pour lesquelles vous avez envisagé de mettre fin à l’expérience à long terme. Quel était l'autre ?

À ce stade, l’autre chose qui était un peu frustrante dans les lignes à long terme était que la vitesse à laquelle les bactéries évoluaient ralentissait. À la façon dont j’y pensais, c’était presque comme si l’évolution s’était arrêtée. Je pensais que c'était tout simplement un environnement trop simple et qu'ils n'avaient pas grand-chose à faire de plus.

Donc ces deux choses différentes m’ont fait réfléchir à arrêter l’expérience. Et j'ai parlé à quelques collègues et ils m'ont dit en gros : tu ne devrais pas faire ça. D’ailleurs, j’en ai parlé avec ma femme, Madeleine, lorsque je commençais à m’intéresser beaucoup à ces organismes numériques – nous étions d’ailleurs en congé sabbatique en France à cette époque – et je lui ai dit : " Peut-être que je devrais appeler chez moi et fermer le labo. " Et elle a dit : " Je ne pense pas que tu devrais faire ça. "

Pourquoi votre femme et vos collègues ont-ils eu cette réaction ?

L’expérience s’était déjà avérée très rentable au sens scientifique, fournissant des données très riches sur la dynamique du changement évolutif. C’était plus ou moins unique dans les échelles de temps étudiées. Je pense donc que c’était de très bons conseils qu’ils m’ont donné. Je ne sais pas si j’aurais déjà pu débrancher moi-même. J'étais certainement un peu frustré et j'y pensais – mais de toute façon, les gens ont dit non !

Avez-vous dépassé le palier où vous disiez avoir l’impression que les organismes n’évoluaient pas tellement ?

C’est en fait l’une des découvertes vraiment intéressantes de l’expérience. Lorsque j’ai commencé l’expérience à long terme, je pensais que les bactéries atteindraient rapidement une sorte de limite à leur croissance. Il y a seulement quelques années, nous avons commencé à réaliser que les bactéries seraient toujours capables de dépasser tout ce que nous avions déduit dans le passé quant à leur limite stricte. J’ai réalisé que nous n’y réfléchissions tout simplement pas de la bonne manière. Même dans l’environnement le plus simple, il est toujours possible pour les organismes de réaliser n’importe quelle étape de leur métabolisme, ou n’importe quelle étape de leur biochimie, un peu mieux. Et la sélection naturelle, même si elle ne réussit pas à chaque étape, favorisera toujours, à long terme, ces améliorations subtiles.

Une lignée de bactéries a développé la capacité d’utiliser le citrate comme source de nourriture. Est-ce que cela s'est produit avant ou après que vous envisagiez d'arrêter l'expérience ?

C’est l’une des choses qui m’a fait réaliser que nous n’arrêterions pas l’expérience. En 2003, une lignée a développé la capacité d’utiliser le citrate. Cela a changé la donne : se rendre compte que même dans cet environnement extrêmement simple, les bactéries devaient évoluer et comprendre certaines choses importantes.

J’aime dire que les bactéries dînaient tous les soirs sans se rendre compte qu’il y avait ce bon dessert citronné juste au coin de la rue. Et jusqu’à présent, même après 65 000 générations, seule une population sur 12 a compris comment consommer ce citrate.

Vous avez également mentionné que certaines populations au sein de votre expérience ont développé des mutations à un rythme plus élevé. A quoi cela ressemble-t-il?

Après plus de 60 000 générations, six des 12 populations ont évolué pour devenir hypermutables. Elles ont développé des changements dans la réparation de leur ADN et dans les processus métaboliques de l'ADN, ce qui les amène à avoir de nouvelles mutations quelque part de l'ordre de 100 fois la vitesse à laquelle l'ancêtre [au début de l'expérience] le faisait.

C'est un processus très intéressant, car il est à la fois bon et mauvais du point de vue des bactéries. C'est mauvais car la plupart des mutations sont nocives ou, au mieux, neutres. Seule une rare pépite dans cette mine est une mutation bénéfique. Les bactéries qui ont le taux de mutation le plus élevé sont un peu plus susceptibles de découvrir l’une de ces pépites. Mais d’un autre côté, ils sont également plus susceptibles de produire des enfants et petits-enfants porteurs de mutations délétères.

La lignée capable de consommer du citrate faisait-elle partie du groupe qui avait évolué pour devenir hypermutable ?

C'est une excellente question. La lignée qui a développé la capacité d’utiliser le citrate n’avait pas un taux de mutation élevé. Il est intéressant de noter qu’il est devenu l’un de ceux présentant un taux de mutation plus élevé, mais seulement après avoir développé la capacité d’utiliser le citrate. Cela est cohérent avec l’avantage du taux de mutation plus élevé – la capacité supplémentaire d’exploration. Les bactéries étaient en fait assez mauvaises pour utiliser le citrate au départ, donc il y avait beaucoup d'opportunités après qu'elles aient développé la capacité d'utiliser le citrate pour affiner cette capacité.

Comment l’expérience à long terme vous aide-t-elle à comprendre l’évolution de la vie à plus grande échelle ?

Pour moi, l’une des leçons de cette expérience à long terme a été de constater à quel point la vie peut être riche et intéressante, même dans l’environnement le plus ennuyeux et le plus simple. Le fait que l’évolution puisse générer cette diversité et découvrir des portes légèrement entrouvertes qu’elle peut franchir témoigne de l’incroyable inventivité de l’évolution. Et s’il peut être si inventif et créatif à cette minuscule échelle spatiale et temporelle, et dans un environnement aussi ennuyeux, cela me suscite encore plus de respect, quand je pense à quel point il est remarquable dans la nature.

Qu’est-ce qui vous a le plus surpris dans ce projet ?

Que ça continue après toutes ces années. L’un de mes objectifs dans la vie est de faire en sorte que l’expérience continue. J'aimerais lever une dotation pour poursuivre l'expérience à perpétuité.

Qu’espérez-vous pour l’expérience à long terme dans le futur ?

J’espère que ce projet apportera bien d’autres surprises. Par exemple, deux lignées coexistent depuis 60 000 générations dans l’une des populations, où l’une se nourrit du produit que l’autre génère. Je pense qu'il est fascinant de se demander si, à un moment donné, cela pourrait se transformer en quelque chose qui ressemble davantage à une interaction prédateur-proie. Ce n’est certainement pas hors du domaine des possibles. Si cela arriverait un jour, je ne sais pas.

Cela a également été une immense joie de travailler avec des étudiants, des postdoctorants et des collaborateurs, et de les voir grandir et se développer. C'est vraiment la plus grande joie pour moi d'être un scientifique. J'aime dire aux gens que je suis bigame. J'ai deux familles : ma famille de laboratoire et ma famille biologique, et elles sont toutes les deux incroyablement merveilleuses.

Auteur: Internet

Info: Logan Zillmer pour Quanta Magazine - * Relatif aux méthodes mathématiques des actuaires

[ microbiome ] [ bio-informatique ] [ plasticité ] [ dépassement ] [ tâtonnement ] [ élargissement ] [ gaspillage ] [ adaptation ]

 

Commentaires: 0

Ajouté à la BD par miguel

théorie du tout

Concevoir l’infini, un exemple de l’évolution future du psychisme humain terrestre

I – LES MATHS

Pour introduire le sujet, posons tout d’abord notre regard sur les mathématiques. C’est un paragraphe que vous pouvez survoler voire sauter si vous être allergique à cette science. Mais je vous conseille de lire ce qui suit.

Sur internet on trouve de nombreuses publications sur le sujet des infinis, voici l’une d’entre elles :

La mécanique quantique est assez contre intuitive, Richard Feynman, un physicien du projet Manhattan (premières bombes atomiques américaines) disait : ‘’personne ne comprend vraiment la physique quantique’’.

Il en est de même pour la conception de l’infini, ou plus exactement DES INFINIS.

Officiellement, le premier mathématicien à avoir étudié l’infini est Georg CANTOR, également inventeur de la théorie des ensembles.

Notamment en utilisant un outil mathématique nommé ‘’bijection’’, il démontra que deux ensembles infinis ne sont pas obligatoirement de même taille, l’un peut être plus grand que l’autre.

Et même infiniment plus grand.

On terminera cette courte introduction par le paradoxe suivant, assez contre intuitif aussi :

L’ensemble des ensembles, composé d’une infinité d’ensembles infinis et d’ensembles finis ; n’est PAS UN ENSEMBLE et EN PLUS n’est pas nécessairement de taille infinie, d’une certaine façon on peut considérer qu’il ne comporte qu’un seul objet. C’est une question d’optique, de regard, doit-on le voir sous sa caractéristique fondamentale bien qu’il ne soit pas un ensemble, ou bien l’observer par ses composants ?

Et cela introduit notre sujet principal.

II - SPIRITUALITÉS ET RELIGIONS TERRESTRES ACTUELLES

Cet article avance la thèse que les concepts humains terrestres actuels sont très essentiellement finis, réducteurs, étroits, limités et limitants, ceci dans toutes les directions.

Quelques exemples :

Les religions monothéistes

Elles se livrent régulièrement à des guerres sanglantes toutes plus abominables les unes que les autres, alors qu’elles sont très proches les unes des autres dans leurs concepts fondamentaux. Dans leur pratique, les adhérents à ces croyances ont par exemple la prétention de COMPRENDRE ‘’DIEU’’ et de connaitre le bon comportement à avoir, par exemple massacrer les autres humains s‘ils ne partagent pas la même nuance de croyance, et aliéner la moitié de leur propre assemblée : les femmes. La religion chrétienne est sortie de ce type d’interprétation des textes ‘’sacrés’’ tout à fait récemment et encore très partiellement. Il y a de nombreux courants dans la bulle de réalité chrétienne, et on voit sans peine qu’il y a de l’immondice marécageuse à peu près partout : Vatican, église orthodoxe russe dirigée par un mafieux notoire, etc.

En islam, les textes fondamentaux insistent sur l’HUMILITE : la créature ne peut pas prétendre comprendre le Créateur ni sa Création, EN AUCUNE FAÇON. Cette idée, voire ce DEVOIR est constamment et méthodiquement piétiné par la grande majorité des prélats religieux de ce courant de croyances. Mais il y a des individus éclairés, de ci de là.

Les religions monothéistes disparaitront TOTALEMENT de la terre lorsque la révélation collective et intégrale surviendra sur cette planète. C’est une des raisons pour lesquelles tout ceci prendra des siècles, probablement des millénaires : l’humain terrestre n’est pas apte, dans son stade actuel, à intégrer l’assemblée des civilisations cosmiques avancées.

LES BOUDDHISMES

Formés d’un grand nombre de courants, de pratiques, de rituels et de croyances, structurés par une hiérarchie et des règles coercitives qui n’ont parfois rien à envier dans leur stupidité et leur barbarie aux religions monothéistes, ces bouddhismes sont bel et bien des religions à la mode terrestre.

Le corpus de croyances repose sur une absence de Créateur, une absence d’ego (qu’il faut annihiler, bien qu’il n’existe pas), une pseudo malédiction nommée ‘’incarnation’’ et des objectifs simplistes : la réalisation, les nirvanas, la libération…

Implicitement et pour l’essentiel ces croyances avancent l’idée que les incarnations se passent sur terre, dans la dimension physique, jusqu’à l’atteinte de l’objectif principal.

Les pratiquants de ce courant de croyance, dans leur immense majorité, ne se souviennent aucunement de leurs incarnations antérieures (ou alors de manière très vague qui flirte avec la rêvasserie), n’ont aucune idée des réalités multidimensionnelles et sont incapables de voyager eux-mêmes dans les autres mondes. Ils pratiquent une forme de discipline mentale nommée ‘’méditation’’ et atteignent parfois un état que personnellement j’ai pu expérimenter à l’adolescence, en quelques semaines, sans livre, sans dogme, sans rituel, sans maître. A l’occasion de ces pratiques enfantines, ils tombent parfois dans de minuscules cases nommées ‘’non-dualisme’’, ‘’Nirvana’’, etc, et y stagnent durant des périodes variables.

Je ne fais pas le malin, je suis tombé dans les mêmes trous au cours de vies passées sur cette planète.

A ma connaissance, parmi cet océan de médiocrité collective, il y a et il y a eu quelques individus éclairés, comme Sri Aurobindo et Mira Alfasa, sa compagne.

Je disais récemment à Sraddhalu RANADE que même parmi les followers de Sri Aurobindo, j’observais des croyances insensées, de la bigoterie, des rituels stupides, et que j’estimais que moins de 1% de ses followers comprenaient véritablement au moins une partie des enseignements. Sans trahir le caractère privé de nos conversations, je peux dire que Sraddhalu n’est pas loin de formuler le même constat, de voir les mêmes évidences.

Mais lui le fait avec beaucoup de douceur, de subtilité, de nuance, de tact, de sensibilité et d’intelligence. Vous voyez ce que je veux dire…

III - SPIRITUALITÉ UNIVERSELLE

Au-delà de la minuscule bulle de réalité des humains terrestres, il y a autre chose de beaucoup plus large, beaucoup plus intelligent, beaucoup plus complexe, et beaucoup plus rigoureux aussi.

Ce texte a la prétention d’en résumer les lignes essentielles. Il est issu de la Mémoire d’incarnations passées dans d’autres civilisations cosmiques, de Voyages dans des dimensions physiques et non physiques, et de contacts avec une grande variétés d’êtres non locaux.

POINT 1

La Création est infinie et éternelle. Elle n’a jamais commencé et ne finira jamais. Elle n’a aucune limite dans quelque direction que ce soit. Bien qu’infinie, elle se déploie à l’infini dans toute l’éternité. Elle n’est caractérisée par aucune limite ni frontière.

POINT 2

La nature de la création est pure conscience. Il n’est rien qui ne soit pure conscience, il n’est rien qui soit plus ou moins conscient, il n’y a pas d’endroit sans conscience ou avec moins de conscience.

POINT 3

La Création comporte une infinité d’êtres. Ils existent de toute éternité, bien qu’en nombre infini. Il n’y a pas de ‘’production’’ de nouveaux êtres, des êtres qui n’auraient pas existé ‘’avant’’ un certain moment dans l’éternité.

POINT 4

Ces êtres sont éternels : ils n’ont pas eu de commencement et n’auront pas de fin. Il n’y a pas d’être qui peuvent ‘’disparaitre’’ ou bien être ‘’absorbés-dissous’’ dans le divin ou quelque chose de similaire. Ces concepts sont issus d’un psychisme primitif, profondément ignorant et transitoirement très limité : l’esprit humain terrestre.

POINT 5

La Création et le Créateur sont indistincts et distincts en même temps. D’un de ces points de vue on peut considérer qu’il n’y a qu’un seul être dans la Création.

POINT 6

Les possibilités d’explorer l’éternité sont infinies. L’incarnation est UNE DE CES POSSIBILITÉS, mais il en existe une infinité d’autres. Dans le nombre infini des êtres, on rencontre une infinité de personnes qui ne passeront JAMAIS par l’incarnation et ne le feront JAMAIS. Les croyances humaines terrestres sont limitantes, ignorantes, minuscules.

POINT 7

Il existe une infinité de cosmos, de dimensions. Chaque dimension est un cosmos infini en soi. Notre univers physique n’est ABSOLUMENT PAS ce que notre science locale croit actuellement. Il n’y a pas eu de début et il n’y a pas de frontière, ces concepts sont locaux et temporels.

POINT 8

Bien qu’il existe une infinité d’êtres, une infinité de civilisations, une infinité de structures mentales possibles rien que dans la dimension physique, il existe une spiritualité universelle, des principes éthiques universels partagés par tous les êtres dans toutes les dimensions. Ils se déploient différemment dans leur complexité suivant la ‘’hauteur vibratoire’’ des univers dimensionnels.

POINT 9

Corolaire des points précédents : la planète terre et l’humanité terrestre n’est le centre de rien du tout et n’est aucunement un endroit particulier au sein de la Création (ou alors TOUT dans la Création est un endroit particulier).

Il n’y a AUCUN sous-groupe d’humains qui formerait un ensemble ‘’d’élus’’ au sein de la Création. Ces croyances résultent d’une ignorance et d’une stupidité abyssales très caractéristiques d’une civilisation encore très primitive.

POINT 10 : CONCLUSION

Le choc majeur auquel cette humanité terrestre se prépare, étape par étape, est un choc métaphysique d’une ampleur et d’une portée encore inconcevables par un psychisme humain terrestre. C’est le choc de l’INFINI, le choc avec DES INFINIS.

Concevoir ces infinis devra nécessairement passer par la dissolution intégrale de la quasi-totalité des croyances locales actuelles. Du psychisme humain présent, il ne restera que de faibles traces dans quelques millions d’années.

Si l’humanité terrestre existe encore.

                                               ***

Infinis et bulles de réalités – La suite

EXERCICE PRATIQUE

1°) Le contexte

L’INTENTION est une donnée essentielle de la conscience. Elle donne une direction à chaque instant de l’éternité. Elle est la principale force agissante, voire la seule. Sa puissance ne peut être comparée à rien d’autre.

L’INTENTION est souvent-toujours polymorphique, ceci à l’insu de la conscience ordinaire expérimentée dans un corps humain terrestre. Elle a de multiples facettes, et EN PARTICULIER celles qui confinent la conscience dans la bulle de réalité locale.

Ainsi un humain terrestre pratiquant une forme ou une autre de ‘’méditation’’ issue d’un système de croyances spécifiques, d’un système de rituels, d’un système hiérarchique, d’un système vestimentaire et décoratif comme des colliers, des chapelets, des chapeaux, tout cela confine l’expérimentateur dans la bulle de réalité locale. Ceci quelque soit le corpus de croyances ou de pratiques, quel que soit l’objet affiché de la ‘’méditation’’. Ce seul mot, ‘’méditation’, ce seul concept terrestre n’a aucun caractère universel et colore l’Intention. De manière automatique, le pratiquant est enfermé dans une bulle minuscule, parce qu’il en a eu l’intention.

Exemples : ‘’non-dualité’’, ‘’état de grâce’’, ‘’vide incréé’’, ‘’fusion avec le tout’’, etc.

Les exceptions sont très rares, mais elles existent, car les effets de l’Intention sont impeccables. Si l’intention s’est exonérée de tout concept terrestre, local, la personne sortira nécessairement de la bulle de réalité dans laquelle elle était confinée à son insu.

2°) Méthode

Ne pas qualifier ni nommer le process, ni le comparer à quoi que ce soit.

Placer fermement la conscience à 2 années-lumière de la planète terre, à distance d’observation de la bulle de réalité locale. Observer dans toutes les directions.

Ne pas forcer, ne pas faire d’effort, juste poser l’intention d’être EN DEHORS de la bulle locale. Ne pas supposer, ne pas imaginer, ne pas verbaliser.

Vous n’avez pas besoin de SAVOIR à quoi ressemble le cosmos à la distance de deux années-lumière de la terre. Ne supposez RIEN sur ce qu’il est, sur son aspect, ses caractéristiques. Quoi que vous puissiez concevoir, imaginer, déduire à l’aide de la ‘’logique’’ terrienne, vous avez 100% de chances de vous tromper.

Il y a possiblement une inertie, une rupture progressive de l’attraction gravitationnelle générée par la bulle de réalité locale. S’installer fermement dans l’intention, et laisser le processus suivre les directives de la Conscience.

Détachement de la bulle locale, tout d’abord le ‘’vide’’ environne la personne. Il s’agit d’une zone de transition. La transition, la zone d’interface est un des espaces universels expérimentés par la conscience.

Il y a une inertie, mais elle peut être très brève. Le temps d’un ‘’clic’’, et la personne est en dehors. Cette rapidité, cette facilité vient UNIQUEMENT de la structure intime de l’intention posée. Elle n’est en AUCUN CAS la conséquence d’un quelconque mérite, d’une quelconque position ‘’spirituelle’’ avantageuse de l’expérimentateur. Pas plus que de ses habits, ses colliers, sa chevelure, ou du livre ‘’sacré’’ qui se trouve sur une étagère ici ou là, à proximité de son corps. Tous ces objets, ces concepts, n’ont qu’un seul effet : l’enfermement de la personne dans une réalité, une bulle de réalité minuscule, Y COMPRIS LE PRÉSENT TEXTE.

L’INTENTION JUSTE est la condition nécessaire et suffisante.

……

N’essayez pas cette méthode, mettez-la en pratique. Ne posez pas dans votre intention l’idée d’’’ESSAYER’’ car tout ‘’essai’’ suppose un échec, un tâtonnement.

C’est une excellente préparation au voyage hors du corps, et aussi un excellent moyen de Voyager au-delà des marécages physico-énergétiques une fois que vous êtes sorti du corps biologique.

Quoi que soient les mémoires et les automatismes des structures physico-énergétiques de votre enveloppe biologique, il y aura possiblement une inertie au retour. Vous devrez vous ré-habiller des concepts, des intentions et des idées locales pour interagir à nouveau dans la bulle de réalité d’ici. Il est possible aussi que cela s’opère le temps d’un clic.

A vous de voir

Auteur: Auburn Marc

Info: Sur son fil FB, 11 novembre 2023

[ ésotérisme ] [ voyage astral ]

 

Commentaires: 0

Ajouté à la BD par Le sous-projectionniste

paliers bayésiens

Une nouvelle preuve montre que les graphiques " expandeurs " se synchronisent

La preuve établit de nouvelles conditions qui provoquent une synchronisation synchronisée des oscillateurs connectés.

Il y a six ans, Afonso Bandeira et Shuyang Ling tentaient de trouver une meilleure façon de discerner les clusters dans d'énormes ensembles de données lorsqu'ils sont tombés sur un monde surréaliste. Ling s'est rendu compte que les équations qu'ils avaient proposées correspondaient, de manière inattendue, parfaitement à un modèle mathématique de synchronisation spontanée. La synchronisation spontanée est un phénomène dans lequel des oscillateurs, qui peuvent prendre la forme de pendules, de ressorts, de cellules cardiaques humaines ou de lucioles, finissent par se déplacer de manière synchronisée sans aucun mécanisme de coordination central.

Bandeira, mathématicien à l' École polytechnique fédérale de Zurich , et Ling, data scientist à l'Université de New York , se sont plongés dans la recherche sur la synchronisation, obtenant une série de résultats remarquables sur la force et la structure que doivent avoir les connexions entre oscillateurs pour forcer les oscillateurs. à synchroniser. Ce travail a abouti à un article d'octobre dans lequel Bandeira a prouvé (avec cinq co-auteurs) que la synchronisation est inévitable dans des types spéciaux de réseaux appelés graphes d'expansion, qui sont clairsemés mais également bien connectés.

Les graphiques expanseurs s'avèrent avoir de nombreuses applications non seulement en mathématiques, mais également en informatique et en physique. Ils peuvent être utilisés pour créer des codes correcteurs d’erreurs et pour déterminer quand les simulations basées sur des nombres aléatoires convergent vers la réalité qu’elles tentent de simuler. Les neurones peuvent être modélisés dans un graphique qui, selon certains chercheurs, forme un expanseur, en raison de l'espace limité pour les connexions à l'intérieur du cerveau. Les graphiques sont également utiles aux géomètres qui tentent de comprendre comment parcourir des surfaces compliquées , entre autres problèmes.

Le nouveau résultat " donne vraiment un aperçu considérable des types de structures graphiques qui vont garantir la synchronisation ", a déclaré Lee DeVille , un mathématicien de l'Université de l'Illinois qui n'a pas participé aux travaux. 

Synchronisation douce-amère         

"La synchronisation est vraiment l'un des phénomènes fondamentaux de la nature", a déclaré Victor Souza , un mathématicien de l'Université de Cambridge qui a travaillé avec Bandeira sur l'article. Pensez aux cellules stimulateurs cardiaques de votre cœur, qui synchronisent leurs pulsations via des signaux électriques. Lors d'expériences en laboratoire, "vous pouvez faire vibrer des centaines ou des milliers de cellules embryonnaires de stimulateur cardiaque à l'unisson", a déclaré Steven Strogatz , mathématicien à l'Université Cornell et autre co-auteur. " C'est un peu effrayant parce que ce n'est pas un cœur entier ; c'est juste au niveau des cellules."

En 1975, le physicien japonais Yoshiki Kuramoto a introduit un modèle mathématique décrivant ce type de système. Son modèle fonctionne sur un réseau appelé graphe, où les nœuds sont reliés par des lignes appelées arêtes. Les nœuds sont appelés voisins s’ils sont liés par une arête. Chaque arête peut se voir attribuer un numéro appelé poids qui code la force de la connexion entre les nœuds qu’elle connecte.

Dans le modèle de synchronisation de Kuramoto, chaque nœud contient un oscillateur, représenté par un point tournant autour d'un cercle. Ce point montre, par exemple, où se trouve une cellule cardiaque dans son cycle de pulsation. Chaque oscillateur tourne à sa propre vitesse préférée. Mais les oscillateurs veulent également correspondre à leurs voisins, qui peuvent tourner à une fréquence différente ou à un moment différent de leur cycle. (Le poids du bord reliant deux oscillateurs mesure la force du couplage entre eux.) S'écarter de ces préférences contribue à l'énergie dépensée par un oscillateur. Le système tente d'équilibrer tous les désirs concurrents en minimisant son énergie totale. La contribution de Kuramoto a été de simplifier suffisamment ces contraintes mathématiques pour que les mathématiciens puissent progresser dans l'étude du système. Dans la plupart des cas, de tels systèmes d’équations différentielles couplées sont pratiquement impossibles à résoudre.

Malgré sa simplicité, le modèle Kuramoto s'est révélé utile pour modéliser la synchronisation des réseaux, du cerveau aux réseaux électriques, a déclaré Ginestra Bianconi , mathématicienne appliquée à l'Université Queen Mary de Londres. "Dans le cerveau, ce n'est pas particulièrement précis, mais on sait que c'est très efficace", a-t-elle déclaré.

"Il y a ici une danse très fine entre les mathématiques et la physique, car un modèle qui capture un phénomène mais qui est très difficile à analyser n'est pas très utile", a déclaré Souza.

Dans son article de 1975, Kuramoto supposait que chaque nœud était connecté à tous les autres nœuds dans ce qu'on appelle un graphe complet. À partir de là, il a montré que pour un nombre infini d’oscillateurs, si le couplage entre eux était suffisamment fort, il pouvait comprendre leur comportement à long terme. Faisant l'hypothèse supplémentaire que tous les oscillateurs avaient la même fréquence (ce qui en ferait ce qu'on appelle un modèle homogène), il trouva une solution dans laquelle tous les oscillateurs finiraient par tourner simultanément, chacun arrondissant le même point de son cercle exactement au même endroit. en même temps. Même si la plupart des graphiques du monde réel sont loin d'être complets, le succès de Kuramoto a conduit les mathématiciens à se demander ce qui se passerait s'ils assouplissaient ses exigences.  

Mélodie et silence

Au début des années 1990, avec son élève Shinya Watanabe , Strogatz a montré que la solution de Kuramoto était non seulement possible, mais presque inévitable, même pour un nombre fini d'oscillateurs. En 2011, Richard Taylor , de l'Organisation australienne des sciences et technologies de la défense, a renoncé à l'exigence de Kuramoto selon laquelle le graphique devait être complet. Il a prouvé que les graphes homogènes où chaque nœud est connecté à au moins 94 % des autres sont assurés de se synchroniser globalement. Le résultat de Taylor avait l'avantage de s'appliquer à des graphes avec des structures de connectivité arbitraires, à condition que chaque nœud ait un grand nombre de voisins.

En 2018, Bandeira, Ling et Ruitu Xu , un étudiant diplômé de l'Université de Yale, ont abaissé à 79,3 % l'exigence de Taylor selon laquelle chaque nœud doit être connecté à 94 % des autres. En 2020, un groupe concurrent a atteint 78,89 % ; en 2021, Strogatz, Alex Townsend et Martin Kassabov ont établi le record actuel en démontrant que 75 % suffisaient.

Pendant ce temps, les chercheurs ont également attaqué le problème dans la direction opposée, en essayant de trouver des graphiques hautement connectés mais non synchronisés globalement. Dans une série d'articles de 2006 à 2022 , ils ont découvert graphique après graphique qui pourraient éviter la synchronisation globale, même si chaque nœud était lié à plus de 68 % des autres. Beaucoup de ces graphiques ressemblent à un cercle de personnes se tenant la main, où chaque personne tend la main à 10, voire 100 voisins proches. Ces graphiques, appelés graphiques en anneaux, peuvent s'installer dans un état dans lequel chaque oscillateur est légèrement décalé par rapport au suivant.

De toute évidence, la structure du graphique influence fortement la synchronisation. Ling, Xu et Bandeira sont donc devenus curieux des propriétés de synchronisation des graphiques générés aléatoirement. Pour rendre leur travail précis, ils ont utilisé deux méthodes courantes pour construire un graphique de manière aléatoire.

Le premier porte le nom de Paul Erdős et Alfréd Rényi, deux éminents théoriciens des graphes qui ont réalisé des travaux fondateurs sur le modèle. Pour construire un graphique à l'aide du modèle Erdős-Rényi, vous commencez avec un groupe de nœuds non connectés. Ensuite, pour chaque paire de nœuds, vous les reliez au hasard avec une certaine probabilité p . Si p vaut 1 %, vous liez les bords 1 % du temps ; si c'est 50 %, chaque nœud se connectera en moyenne à la moitié des autres.

Si p est légèrement supérieur à un seuil qui dépend du nombre de nœuds dans le graphique, le graphique formera, avec une très grande probabilité, un réseau interconnecté (au lieu de comprendre des clusters qui ne sont pas reliés). À mesure que la taille du graphique augmente, ce seuil devient minuscule, de sorte que pour des graphiques suffisamment grands, même si p est petit, ce qui rend le nombre total d'arêtes également petit, les graphiques d'Erdős-Rényi seront connectés.

Le deuxième type de graphe qu’ils ont considéré est appelé graphe d -régulier. Dans de tels graphes, chaque nœud a le même nombre d’arêtes, d . (Ainsi, dans un graphe 3-régulier, chaque nœud est connecté à 3 autres nœuds, dans un graphe 7-régulier, chaque nœud est connecté à 7 autres, et ainsi de suite.)

(Photo avec schéma)

Les graphiques bien connectés bien qu’ils soient clairsemés (n’ayant qu’un petit nombre d’arêtes) sont appelés graphiques d’expansion. Celles-ci sont importantes dans de nombreux domaines des mathématiques, de la physique et de l'informatique, mais si vous souhaitez construire un graphe d'expansion avec un ensemble particulier de propriétés, vous constaterez qu'il s'agit d'un " problème étonnamment non trivial ", selon l'éminent mathématicien. Terry Tao. Les graphes d'Erdős-Rényi, bien qu'ils ne soient pas toujours extensibles, partagent bon nombre de leurs caractéristiques importantes. Et il s'avère cependant que si vous construisez un graphe -régulier et connectez les arêtes de manière aléatoire, vous obtiendrez un graphe d'expansion.

Joindre les deux bouts

En 2018, Ling, Xu et Bandeira ont deviné que le seuil de connectivité pourrait également mesurer l'émergence d'une synchronisation globale : si vous générez un graphique d'Erdős-Rényi avec p juste un peu plus grand que le seuil, le graphique devrait se synchroniser globalement. Ils ont fait des progrès partiels sur cette conjecture, et Strogatz, Kassabov et Townsend ont ensuite amélioré leur résultat. Mais il subsiste un écart important entre leur nombre et le seuil de connectivité.

En mars 2022, Townsend a rendu visite à Bandeira à Zurich. Ils ont réalisé qu'ils avaient une chance d'atteindre le seuil de connectivité et ont fait appel à Pedro Abdalla , un étudiant diplômé de Bandeira, qui à son tour a enrôlé son ami Victor Souza. Abdalla et Souza ont commencé à peaufiner les détails, mais ils se sont rapidement heurtés à des obstacles.

Il semblait que le hasard s’accompagnait de problèmes inévitables. À moins que p ne soit significativement plus grand que le seuil de connectivité, il y aurait probablement des fluctuations sauvages dans le nombre d'arêtes de chaque nœud. L'un peut être attaché à 100 arêtes ; un autre pourrait être attaché à aucun. "Comme pour tout bon problème, il riposte", a déclaré Souza. Abdalla et Souza ont réalisé qu'aborder le problème du point de vue des graphiques aléatoires ne fonctionnerait pas. Au lieu de cela, ils utiliseraient le fait que la plupart des graphes d’Erdős-Rényi sont des expanseurs. "Après ce changement apparemment innocent, de nombreuses pièces du puzzle ont commencé à se mettre en place", a déclaré Souza. "En fin de compte, nous obtenons un résultat bien meilleur que ce à quoi nous nous attendions." Les graphiques sont accompagnés d'un nombre appelé expansion qui mesure la difficulté de les couper en deux, normalisé à la taille du graphique. Plus ce nombre est grand, plus il est difficile de le diviser en deux en supprimant des nœuds.

Au cours des mois suivants, l’équipe a complété le reste de l’argumentation en publiant son article en ligne en octobre. Leur preuve montre qu'avec suffisamment de temps, si le graphe a suffisamment d'expansion, le modèle homogène de Kuramoto se synchronisera toujours globalement.

Sur la seule route

L’un des plus grands mystères restants de l’étude mathématique de la synchronisation ne nécessite qu’une petite modification du modèle présenté dans le nouvel article : que se passe-t-il si certaines paires d’oscillateurs se synchronisent, mais que d’autres s’en écartent ? Dans cette situation, " presque tous nos outils disparaissent immédiatement ", a déclaré Souza. Si les chercheurs parviennent à progresser sur cette version du problème, ces techniques aideront probablement Bandeira à résoudre les problèmes de regroupement de données qu’il avait entrepris de résoudre avant de se tourner vers la synchronisation.

Au-delà de cela, il existe des classes de graphiques outre les extensions, des modèles plus complexes que la synchronisation globale et des modèles de synchronisation qui ne supposent pas que chaque nœud et chaque arête sont identiques. En 2018, Saber Jafarpour et Francesco Bullo de l'Université de Californie à Santa Barbara ont proposé un test de synchronisation globale qui fonctionne lorsque les rotateurs n'ont pas de poids ni de fréquences préférées identiques. L'équipe de Bianconi et d'autres ont travaillé avec des réseaux dont les liens impliquent trois, quatre nœuds ou plus, plutôt que de simples paires.

Bandeira et Abdalla tentent déjà d'aller au-delà des modèles Erdős-Rényi et d -regular vers d'autres modèles de graphes aléatoires plus réalistes. En août dernier, ils ont partagé un article , co-écrit avec Clara Invernizzi, sur la synchronisation dans les graphes géométriques aléatoires. Dans les graphes géométriques aléatoires, conçus en 1961, les nœuds sont dispersés de manière aléatoire dans l'espace, peut-être sur une surface comme une sphère ou un plan. Les arêtes sont placées entre des paires de nœuds s'ils se trouvent à une certaine distance les uns des autres. Leur inventeur, Edgar Gilbert, espérait modéliser des réseaux de communication dans lesquels les messages ne peuvent parcourir que de courtes distances, ou la propagation d'agents pathogènes infectieux qui nécessitent un contact étroit pour se transmettre. Des modèles géométriques aléatoires permettraient également de mieux capturer les liens entre les lucioles d'un essaim, qui se synchronisent en observant leurs voisines, a déclaré Bandeira.

Bien entendu, relier les résultats mathématiques au monde réel est un défi. "Je pense qu'il serait un peu mensonger de prétendre que cela est imposé par les applications", a déclaré Strogatz, qui a également noté que le modèle homogène de Kuramoto ne peut jamais capturer la variation inhérente aux systèmes biologiques. Souza a ajouté : " Il y a de nombreuses questions fondamentales que nous ne savons toujours pas comment résoudre. C'est plutôt comme explorer la jungle. " 



 

Auteur: Internet

Info: https://www.quantamagazine.org - Leïla Sloman, 24 juillet 2023

[ évolution ]

 

Commentaires: 0

Ajouté à la BD par miguel

compte-rendu de lecture

Les pépites de Charles S. Peirce

L’œuvre de Peirce est plutôt disparate, souvent dense et incontestablement précieuse. S’y inventent tout à la fois une notion très déterminée de l’épistémologie, une théorie de la vérité ou encore un rapport particulier à la logique. Entre autres.

Charles Sanders Peirce est un auteur que tout philosophe gagnerait à fréquenter, car il y trouverait, pour parler comme Russell, qui n’avait pourtant pas été tendre pour la théorie pragmatiste de la vérité, "des pépites d’or pur". Il est vrai qu’il faut pour cela s’armer de patience, car les obstacles à surmonter sont nombreux. Un peu comme Leibniz, Peirce est un polymathe, qui n’a jamais exercé de fonction universitaire durable et a laissé une œuvre très éclatée, composée d’une foule de petits textes, d’accès souvent difficile, entre lesquels il faut sans cesse naviguer. Il a adopté une morale terminologique propre à dissuader le lecteur le mieux disposé, pour traiter des sujets de surcroît le plus souvent très ardus. Une vue d’ensemble, comme celle offerte dans le présent ouvrage, est donc particulièrement bienvenue, même si elle se heurte à des difficultés dont l’auteur était bien conscient. Vouloir, en quelque trois cents pages, présenter à la fois la diversité des domaines abordés et la richesse des analyses élaborées tenait un peu de la gageure. Pour réussir, J.-M. Chevalier a choisi une écriture très dense et, faute de pouvoir le suivre dans tous les détails de son argumentation, il faut se contenter d’en prendre une vue on ne peut plus schématique.

Une épistémologie à inventer

Peirce est connu pour être le père du pragmatisme, mais l’auteur nous propose de voir aussi en lui l’inventeur de l’épistémologie. Ce faisant, il joue sur l’équivoque d’un mot qui, sous l’influence de l’anglais, ne signifie plus seulement philosophie des sciences, mais plus généralement théorie de la connaissance, le mot gnoséologie n’ayant jamais réussi à entrer dans l’usage. Si, au premier sens, l’affirmation est manifestement fausse, même dans le dernier cas elle ne va pas de soi, la théorie de la connaissance s’étant constituée, dès avant Peirce, en discipline bien établie (p. 10). Toutefois, entre l’Erkenntnistheorie des néo-kantiens et l’actuelle epistemology, il y a bien une rupture dont Peirce est l’un des principaux artisans, de sorte que l’épistémologie dont il sera question était bien alors "une discipline encore à inventer" (p. 9). La référence à Kant n’en est pas moins omniprésente. Comme pour ce dernier, il s’agit de rendre compte des conditions de possibilité de la connaissance, de sorte que la perspective transcendantale est conservée, mais sensiblement infléchie. Le rapport à Kant est en effet doublé d’un autre rapport, d’une tout autre nature, mais non moins important, à Mill. En cent ans, les sciences expérimentales avaient en effet connu un essor prodigieux et, sous l’influence de l’empirisme, on avait eu tendance à attribuer ce succès à l’induction. À la différence de Kant, il convenait donc d’adopter un point de vue historique et d’expliquer aussi le progrès des connaissances ; de même, contre Mill, il était urgent de constituer une nouvelle théorie de l’induction. Aussi l’auteur a choisi de prendre comme fil conducteur l’élaboration de cette pièce maîtresse de la nouvelle épistémologie (p. 6, 108), car, sans s’identifier, les deux tâches sont étroitement liées et mettent en particulier en valeur la place qu’occupe dans ces deux cas la logique.

L’examen de la question suit les quatre grandes périodes qui scandent la vie intellectuelle de Peirce : la recherche d’une méthode (1857-67) ; l’enquête en théorie et en pratique (1868-1884, la grande époque, où Peirce devient Peirce et pose les fondements du pragmatisme) ; lois de la nature et loi de l’esprit (1884-1902, l’audacieuse synthèse d’une métaphysique scientifique) ; pragmatisme et science normative (1902-1914, la remise en chantier du pragmatisme dans un cadre architectonique).

Peirce et la logique

Peirce est entré en philosophie, à l’âge de douze ans, "en tombant dans la marmite logique" (p. 15), et il tiendra pendant plus de quarante ans un logic notebook. Il a d’ailleurs laissé dans ce domaine des contributions de premier plan. Ainsi, il a découvert, indépendamment de Frege, et en même temps que lui, la théorie des quantificateurs ; mais cela n’intéresse que les logiciens et s’inscrit de plus dans une approche algébrique de la logique qui sera écartée au profit du logicisme ou de la théorie de la démonstration.

L’ouvrage insiste bien davantage sur l’élargissement considérable de l’idée de logique, qui aboutit à quelque chose de fort différent de ce qui s’enseigne sous ce nom aujourd’hui et qu’on a proposé d’appeler un socialisme logique (208). La logique est d’abord un art de penser et Peirce posera en "première règle de la logique" la maxime : "pour apprendre il faut désirer apprendre" (p. 210). De même, un lien étroit est établi entre logique et morale : "la pensée logique est la pensée morale" (p. 247) ; "pour être logiques, les hommes ne doivent pas être égoïstes" (p. 116 ; plus généralement, 114-119, 247-252)

Un autre trait caractéristique de Peirce est de maintenir les liens existants depuis Aristote entre logique et métaphysique ; et cela de deux façons. Il y a d’une part la théorie des catégories, présente dès le départ, sous l’influence de Kant. Très vite, elles prennent la forme d’une triade (priméité, secondéité et tiercéité) qui sert de trame à bien des constructions ultérieures. L’auteur montre bien que cette théorie occupe une place assez déconcertante pour que Peirce se soit vu obligé de "se défendre d’une tendance pathologique à la triadomanie" (p. 226). Plus classique, il y a aussi la question du réalisme et des universaux, qui témoigne d’une connaissance de la logique médiévale très rare à l’époque. Peirce abandonnera vite son nominalisme initial pour adhérer à un réalisme hautement revendiqué. Mais ce réalisme n’exclut pas un idéalisme à la Schelling : l’esprit n’est que de la matière assoupie (p. 199). Enfin, on retrouve la dimension morale de la logique, car la querelle des universaux n’est pas seulement spéculative : le nominalisme, qui ne reconnaît que les individus, est lié à l’individualisme, alors que le réalisme, qui reconnaît la réalité des genres, conduit à l’altruisme.

Fonder l’induction

Si les logiciens contemporains ignorent assez largement l’idée de logique inductive pour ne s’intéresser qu’à l’idée de conséquence valide, Aristote mettait pourtant déjà en parallèle induction et déduction. Quant à Peirce, son goût pour les schémas tripartites le conduit à introduire dès le début, à côté de celles-ci, une autre composante. Comme on l’a déjà signalé, Peirce se fait de la logique une idée très large. Pour lui, comme pour Descartes, logique est un peu synonyme de méthode. Elle doit en particulier rendre compte de la démarche des sciences expérimentales. Celles-ci utilisent la déduction (de l’hypothèse à ses conséquences), l’induction (on dit que ce sont des sciences inductives) ; mais cela ne suffit pas et déjà Comte, dans le Cours de philosophie positive, avait souligné l’intervention d’une troisième opération, qu’il appelait hypothèse, comme Peirce au début ; mais celui-ci pour souligner l’appartenance à la logique, parlera par la suite de rétroduction, ou d’abduction.

Pour comprendre la focalisation sur l’induction, il faut revenir au rapport qu’elle entretient avec l’épistémologie encore à inventer. Si l’induction est au cœur de la connaissance expérimentale, qui est à son tour, beaucoup plus que l’a priori, au cœur de la connaissance, alors l’épistémologie aura pour pièce maîtresse une théorie de l’induction. Le problème en effet ne porte pas seulement sur les conditions de possibilité de la connaissance. Il s’agit d’expliquer l’essor prodigieux des sciences expérimentales, l’efficacité de la connaissance. Dans le cadre transcendantal hérité de Kant, l’induction est pratiquement absente. De ce point de vue, la référence à Mill remplit une double fonction. L’auteur du System of Logic vient réveiller Peirce de son sommeil critique et lui rappeler que les sciences expérimentales seraient des sciences inductives. Mais il sert aussi de repoussoir, sa théorie de l’induction, et en particulier le fondement qu’il lui donnait, étant inacceptables. Peirce n’aura de cesse de trouver une solution qui ne fasse appel ni au sujet transcendantal, ni à l’uniformité de la nature et, preuve de l’importance qu’il accordait à la question, il en proposera d’ailleurs plusieurs.

La première, qui coïncide avec la naissance du pragmatisme, comprend deux composantes. De façon très novatrice, elle recourt massivement à la théorie des probabilités et aux statistiques, présentes dès les tout premiers travaux de Peirce, fidèle en cela à Boole, qui associait déjà logique et probabilité. L’approche était incontestablement féconde et Carnap rapprochera à son tour logique inductive et probabilité. Aussi l’auteur accorde une attention toute particulière aux développements extrêmement originaux consacrés à cet aspect. Mais simultanément, à un autre niveau, pour expliquer le succès de la connaissance, il faut mettre en place les concepts fondamentaux du pragmatisme entendu comme théorie de l’enquête et étude des différents moyens de fixer la croyance. L’accord entre ces deux composantes, approche statistique de l’induction et découverte de la vérité, va si peu de soi que Putnam a parlé à ce propos d’énigme de Peirce (p. 115) : pourquoi des fréquences, à long terme, devraient-elles guider des choix à court terme ?

La réponse mène au principe social de la logique, puisqu’elle opère un transfert psychologique de l’individu à la communauté. La conception fréquentiste ne pouvait attribuer de probabilité aux cas uniques. Pour résoudre la difficulté, Peirce propose d’interpréter chaque évènement possible comme le choix d’un membre de la communauté. Puisqu’il y a autant de choix que de membres, et que plusieurs membres peuvent faire le même choix, il devient possible de déterminer des fréquences. Le sujet transcendantal s’efface ainsi et cède la place à la cité savante : si la communauté agit conformément aux probabilités, elle connaîtra plus de succès que d’échec.

Avec le temps, la solution proposée en 1878 dans les Illustrations de la logique de la science s’avérera toutefois insatisfaisante et, après 1904, la reprise de la question obligera à remettre en chantier la théorie du pragmatisme. Tout commence par un mea culpa : "dans presque tout ce que j’ai publié avant le début de ce siècle j’ai plus ou moins mélangé hypothèse et induction" (p. 271). Alors que la première, en partant de l’expérience, contribue à la conclusion finale de l’enquête, l’induction, qui y retourne, ne fait qu’évaluer ce contenu. On remarquera que la place ainsi réservée à l’induction n’est pas du tout celle qu’on lui accorde d’ordinaire et qui veut que l’observation de différents cas isolés nous "soufflerait" la bonne explication. Ici, elle se borne à tester l’hypothèse, pour la valider ou l’invalider. Comme la déduction, elle augmente non pas nos connaissances, mais la confiance qu’on peut leur accorder. Les nouveaux développements sur la vraisemblance des tests empiriques conduisent à réviser toute la conception des probabilités, mais les effets de la confusion initiale s’étendent à la question des fondements. Sans disparaître, le besoin de fonder l’induction passe au second plan.

Pour l’épistémologue qui veut expliquer l’efficacité de la connaissance, l’abduction, c’est-à-dire la découverte de la bonne hypothèse, est une étape décisive et originale (p. 117). Ainsi, la démarche qui a conduit Kepler à rendre compte des mouvements célestes non plus par des cercles, mais par des ellipses ne relève ni de la déduction ni de l’induction. Dans cette dernière période, on assiste donc à une montée en puissance de l’abduction, qui a pour effet de distendre les liens entre logique et épistémologie. L’appartenance de l’abduction à la logique va en effet si peu de soi qu’il n’y a toujours pas de logique abductive. Alors que l’abduction a parfois été appelée inférence à la meilleure explication, il n’est pas sûr que la découverte de la bonne explication soit bien une inférence, au même titre que l’induction ou la déduction et on aurait plutôt tendance à l’attribuer au génie, à ce que les Allemands appellent Einsicht et les Anglais Insight. Peirce ira d’ailleurs dans ce sens quand il estimera que ce qui explique le succès de la connaissance, ce n’est pas tant la raison que l’instinct. L’esprit humain est le produit d’une sélection naturelle, ce qui fait qu’il est comme "accordé à la vérité des choses" (p. 274).

De cette brève présentation, il importe de souligner à quel point elle donne une image appauvrie et déformée de l’ouvrage. À regret, des pans entiers ont dû être passés sous silence. Ainsi, rien n’a été dit du rapport complexe de Peirce à la psychologie. La distinction établie entre le penser (l’acte, fait biologique contingent) et la Pensée (fait réel, objectif, idéal, la proposition des logiciens) lui permet de condamner le psychologisme, qui méconnaît cette distinction, tout en développant une théorie psychologique à laquelle l’auteur consacre de nombreuses pages. Rien n’a été dit non plus de la métaphysique scientifique décrite dans la troisième partie de l’ouvrage. Il en va de même encore de la sémiotique, à laquelle le nom de Peirce reste étroitement attaché, et qui est un peu à l’épistémologie ce que la philosophie du langage est à la philosophie de l’esprit. Un des grands mérites de l’ouvrage tient à la volonté de respecter les grands équilibres, et les tensions, à l’œuvre chez Peirce, et de faire sentir l’imbrication des différents thèmes. Le lecteur peut ainsi mesurer la distance entre ce qu’on retient d’ordinaire de Peirce et ce qu’on trouve dans ses écrits. À cet égard, l’ouvrage s’avère très précieux et même celui qui connaît déjà Peirce y trouvera à apprendre.

Cette qualité a toutefois un coût. La richesse de l’information s’obtient parfois au détriment de l’intelligibilité. À vouloir trop couvrir, il arrive que le fil directeur soit perdu de vue pour des considérations adventices, portant de surcroît sur des sujets souvent ardus, où il est facile de s’égarer. Sur cette épistémologie qui sert de sous-titre à l’ouvrage, le lecteur reste un peu sur sa faim. Au fur et à mesure, les différents matériaux de cette discipline à inventer sont mis en place, mais il aurait aimé les voir rassemblés, de façon à pouvoir se faire une idée de cette discipline en cours de constitution.

Ces quelques réserves ne doivent pas masquer l’intérêt considérable d’un ouvrage qui est le fruit d’une longue fréquentation de l’œuvre de Peirce. Les livres sur cet auteur ne sont pas si nombreux et celui-ci est incontestablement appelé à rendre de nombreux services. S’il n’est pas destiné à ceux qui ignoreraient tout du pragmatisme, il n’en constitue pas moins une introduction à une œuvre qu’on gagne à fréquenter. Pour quiconque veut travailler Peirce, c’est une véritable mine, à condition bien sûr de se donner la peine de chercher ces pépites dont parlait Russell.

Auteur: Bourdeau Michel

Info: A propos de : Jean-Marie Chevalier, "Peirce ou l’invention de l’épistémologie", Paris, Vrin, 2022, 313 p., 29 €. 20 octobre 2022

[ transdisciplinarité ] [ orthogonalité subjectif-objectif ] [ rationalismes instanciés ] [ abstractions ] [ vie des idées ] [ sociologie politique ]

 

Commentaires: 0

Ajouté à la BD par miguel

homme-machine

Comment l'IA comprend des trucs que personne ne lui lui a appris

Les chercheurs peinent à comprendre comment les modèles d'Intelligence artificielle, formés pour perroquetter les textes sur Internet, peuvent effectuer des tâches avancées comme coder, jouer à des jeux ou essayer de rompre un mariage.

Personne ne sait encore comment ChatGPT et ses cousins ​​de l'intelligence artificielle vont transformer le monde, en partie parce que personne ne sait vraiment ce qui se passe à l'intérieur. Certaines des capacités de ces systèmes vont bien au-delà de ce pour quoi ils ont été formés, et même leurs inventeurs ne savent pas pourquoi. Un nombre croissant de tests suggèrent que ces systèmes d'IA développent des modèles internes du monde réel, tout comme notre propre cerveau le fait, bien que la technique des machines soit différente.

"Tout ce que nous voulons faire avec ces systèmes pour les rendre meilleurs ou plus sûrs ou quelque chose comme ça me semble une chose ridicule à demander  si nous ne comprenons pas comment ils fonctionnent", déclare Ellie Pavlick de l'Université Brown,  un des chercheurs travaillant à combler ce vide explicatif.

À un certain niveau, elle et ses collègues comprennent parfaitement le GPT (abréviation de generative pretrained transformer) et d'autres grands modèles de langage, ou LLM. Des modèles qui reposent sur un système d'apprentissage automatique appelé réseau de neurones. De tels réseaux ont une structure vaguement calquée sur les neurones connectés du cerveau humain. Le code de ces programmes est relativement simple et ne remplit que quelques pages. Il met en place un algorithme d'autocorrection, qui choisit le mot le plus susceptible de compléter un passage sur la base d'une analyse statistique laborieuse de centaines de gigaoctets de texte Internet. D'autres algorithmes auto-apprenants supplémentaire garantissant que le système présente ses résultats sous forme de dialogue. En ce sens, il ne fait que régurgiter ce qu'il a appris, c'est un "perroquet stochastique", selon les mots d'Emily Bender, linguiste à l'Université de Washington. Mais les LLM ont également réussi à réussir l'examen pour devenir avocat, à expliquer le boson de Higgs en pentamètre iambique (forme de poésie contrainte) ou à tenter de rompre le mariage d'un utilisateurs. Peu de gens s'attendaient à ce qu'un algorithme d'autocorrection assez simple acquière des capacités aussi larges.

Le fait que GPT et d'autres systèmes d'IA effectuent des tâches pour lesquelles ils n'ont pas été formés, leur donnant des "capacités émergentes", a surpris même les chercheurs qui étaient généralement sceptiques quant au battage médiatique sur les LLM. "Je ne sais pas comment ils le font ou s'ils pourraient le faire plus généralement comme le font les humains, mais tout ça mes au défi mes pensées sur le sujet", déclare Melanie Mitchell, chercheuse en IA à l'Institut Santa Fe.

"C'est certainement bien plus qu'un perroquet stochastique, qui auto-construit sans aucun doute une certaine représentation du monde, bien que je ne pense pas que ce soit  vraiment de la façon dont les humains construisent un modèle de monde interne", déclare Yoshua Bengio, chercheur en intelligence artificielle à l'université de Montréal.

Lors d'une conférence à l'Université de New York en mars, le philosophe Raphaël Millière de l'Université de Columbia a offert un autre exemple à couper le souffle de ce que les LLM peuvent faire. Les modèles avaient déjà démontré leur capacité à écrire du code informatique, ce qui est impressionnant mais pas trop surprenant car il y a tellement de code à imiter sur Internet. Millière est allé plus loin en montrant que le GPT peut aussi réaliser du code. Le philosophe a tapé un programme pour calculer le 83e nombre de la suite de Fibonacci. "Il s'agit d'un raisonnement en plusieurs étapes d'un très haut niveau", explique-t-il. Et le robot a réussi. Cependant, lorsque Millière a demandé directement le 83e nombre de Fibonacci, GPT s'est trompé, ce qui suggère que le système ne se contentait pas de répéter ce qui se disait sur l'internet. Ce qui suggère que le système ne se contente pas de répéter ce qui se dit sur Internet, mais qu'il effectue ses propres calculs pour parvenir à la bonne réponse.

Bien qu'un LLM tourne sur un ordinateur, il n'en n'est pas un lui-même. Il lui manque des éléments de calcul essentiels, comme sa propre mémoire vive. Reconnaissant tacitement que GPT seul ne devrait pas être capable d'exécuter du code, son inventeur, la société technologique OpenAI, a depuis introduit un plug-in spécialisé -  outil que ChatGPT peut utiliser pour répondre à une requête - qui remédie à cela. Mais ce plug-in n'a pas été utilisé dans la démonstration de Millière. Au lieu de cela, ce dernier suppose plutôt que la machine a improvisé une mémoire en exploitant ses mécanismes d'interprétation des mots en fonction de leur contexte -  situation similaire à la façon dont la nature réaffecte des capacités existantes à de nouvelles fonctions.

Cette capacité impromptue démontre que les LLM développent une complexité interne qui va bien au-delà d'une analyse statistique superficielle. Les chercheurs constatent que ces systèmes semblent parvenir à une véritable compréhension de ce qu'ils ont appris. Dans une étude présentée la semaine dernière à la Conférence internationale sur les représentations de l'apprentissage (ICLR), le doctorant Kenneth Li de l'Université de Harvard et ses collègues chercheurs en intelligence artificielle, Aspen K. Hopkins du Massachusetts Institute of Technology, David Bau de la Northeastern University et Fernanda Viégas , Hanspeter Pfister et Martin Wattenberg, tous à Harvard, ont créé leur propre copie plus petite du réseau neuronal GPT afin de pouvoir étudier son fonctionnement interne. Ils l'ont entraîné sur des millions de matchs du jeu de société Othello en alimentant de longues séquences de mouvements sous forme de texte. Leur modèle est devenu un joueur presque parfait.

Pour étudier comment le réseau de neurones encodait les informations, ils ont adopté une technique que Bengio et Guillaume Alain, également de l'Université de Montréal, ont imaginée en 2016. Ils ont créé un réseau de "sondes" miniatures pour analyser le réseau principal couche par couche. Li compare cette approche aux méthodes des neurosciences. "C'est comme lorsque nous plaçons une sonde électrique dans le cerveau humain", dit-il. Dans le cas de l'IA, la sonde a montré que son "activité neuronale" correspondait à la représentation d'un plateau de jeu d'Othello, bien que sous une forme alambiquée. Pour confirmer ce résultat, les chercheurs ont inversé la sonde afin d'implanter des informations dans le réseau, par exemple en remplaçant l'un des marqueurs noirs du jeu par un marqueur blanc. "En fait, nous piratons le cerveau de ces modèles de langage", explique Li. Le réseau a ajusté ses mouvements en conséquence. Les chercheurs ont conclu qu'il jouait à Othello à peu près comme un humain : en gardant un plateau de jeu dans son "esprit" et en utilisant ce modèle pour évaluer les mouvements. Li pense que le système apprend cette compétence parce qu'il s'agit de la description la plus simple et efficace de ses données pour l'apprentissage. "Si l'on vous donne un grand nombre de scripts de jeu, essayer de comprendre la règle qui les sous-tend est le meilleur moyen de les comprimer", ajoute-t-il.

Cette capacité à déduire la structure du monde extérieur ne se limite pas à de simples mouvements de jeu ; il apparaît également dans le dialogue. Belinda Li (aucun lien avec Kenneth Li), Maxwell Nye et Jacob Andreas, tous au MIT, ont étudié des réseaux qui jouaient à un jeu d'aventure textuel. Ils ont introduit des phrases telles que "La clé est dans le coeur du trésor", suivies de "Tu prends la clé". À l'aide d'une sonde, ils ont constaté que les réseaux encodaient en eux-mêmes des variables correspondant à "coeur" et "Tu", chacune avec la propriété de posséder ou non une clé, et mettaient à jour ces variables phrase par phrase. Le système n'a aucun moyen indépendant de savoir ce qu'est une boîte ou une clé, mais il a acquis les concepts dont il avait besoin pour cette tâche."

"Une représentation de cette situation est donc enfouie dans le modèle", explique Belinda Li.

Les chercheurs s'émerveillent de voir à quel point les LLM sont capables d'apprendre du texte. Par exemple, Pavlick et sa doctorante d'alors, l'étudiante Roma Patel, ont découvert que ces réseaux absorbent les descriptions de couleur du texte Internet et construisent des représentations internes de la couleur. Lorsqu'ils voient le mot "rouge", ils le traitent non seulement comme un symbole abstrait, mais comme un concept qui a une certaine relation avec le marron, le cramoisi, le fuchsia, la rouille, etc. Démontrer cela fut quelque peu délicat. Au lieu d'insérer une sonde dans un réseau, les chercheurs ont étudié sa réponse à une série d'invites textuelles. Pour vérifier si le systhème ne faisait pas simplement écho à des relations de couleur tirées de références en ligne, ils ont essayé de le désorienter en lui disant que le rouge est en fait du vert - comme dans la vieille expérience de pensée philosophique où le rouge d'une personne correspond au vert d'une autre. Plutôt que répéter une réponse incorrecte, les évaluations de couleur du système ont évolué de manière appropriée afin de maintenir les relations correctes.

Reprenant l'idée que pour remplir sa fonction d'autocorrection, le système recherche la logique sous-jacente de ses données d'apprentissage, le chercheur en apprentissage automatique Sébastien Bubeck de Microsoft Research suggère que plus la gamme de données est large, plus les règles du système faire émerger sont générales. "Peut-être que nous nous constatons un tel bond en avant parce que nous avons atteint une diversité de données suffisamment importante pour que le seul principe sous-jacent à toutes ces données qui demeure est que des êtres intelligents les ont produites... Ainsi la seule façon pour le modèle d'expliquer toutes ces données est de devenir intelligent lui-même".

En plus d'extraire le sens sous-jacent du langage, les LLM sont capables d'apprendre en temps réel. Dans le domaine de l'IA, le terme "apprentissage" est généralement réservé au processus informatique intensif dans lequel les développeurs exposent le réseau neuronal à des gigaoctets de données et ajustent petit à petit ses connexions internes. Lorsque vous tapez une requête dans ChatGPT, le réseau devrait être en quelque sorte figé et, contrairement à l'homme, ne devrait pas continuer à apprendre. Il fut donc surprenant de constater que les LLM apprennent effectivement à partir des invites de leurs utilisateurs, une capacité connue sous le nom d'"apprentissage en contexte". "Il s'agit d'un type d'apprentissage différent dont on ne soupçonnait pas l'existence auparavant", explique Ben Goertzel, fondateur de la société d'IA SingularityNET.

Un exemple de la façon dont un LLM apprend vient de la façon dont les humains interagissent avec les chatbots tels que ChatGPT. Vous pouvez donner au système des exemples de la façon dont vous voulez qu'il réponde, et il obéira. Ses sorties sont déterminées par les derniers milliers de mots qu'il a vus. Ce qu'il fait, étant donné ces mots, est prescrit par ses connexions internes fixes - mais la séquence de mots offre néanmoins une certaine adaptabilité. Certaines personnes utilisent le jailbreak à des fins sommaires, mais d'autres l'utilisent pour obtenir des réponses plus créatives. "Il répondra mieux aux questions scientifiques, je dirais, si vous posez directement la question, sans invite spéciale de jailbreak, explique William Hahn, codirecteur du laboratoire de perception de la machine et de robotique cognitive à la Florida Atlantic University. "Sans il sera un meilleur universitaire." (Comme son nom l'indique une invite jailbreak -prison cassée-, invite à  moins délimiter-verrouiller les fonctions de recherche et donc à les ouvrir, avec les risques que ça implique) .

Un autre type d'apprentissage en contexte se produit via l'incitation à la "chaîne de pensée", ce qui signifie qu'on demande au réseau d'épeler chaque étape de son raisonnement - manière de faire qui permet de mieux résoudre les problèmes de logique ou d'arithmétique en passant par plusieurs étapes. (Ce qui rend l'exemple de Millière si surprenant  puisque le réseau a trouvé le nombre de Fibonacci sans un tel encadrement.)

En 2022, une équipe de Google Research et de l'École polytechnique fédérale de Zurich - Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov et Max Vladymyrov - a montré que l'apprentissage en contexte suit la même procédure de calcul de base que l'apprentissage standard, connue sous le nom de descente de gradient". 

Cette procédure n'était pas programmée ; le système l'a découvert sans aide. "C'est probablement une compétence acquise", déclare Blaise Agüera y Arcas, vice-président de Google Research. De fait il pense que les LLM peuvent avoir d'autres capacités latentes que personne n'a encore découvertes. "Chaque fois que nous testons une nouvelle capacité que nous pouvons quantifier, nous la trouvons", dit-il.

Bien que les LLM aient suffisamment d'angles morts et autres défauts pour ne pas être qualifiés d'intelligence générale artificielle, ou AGI - terme désignant une machine qui atteint l'ingéniosité du cerveau animal - ces capacités émergentes suggèrent à certains chercheurs que les entreprises technologiques sont plus proches de l'AGI que même les optimistes ne l'avaient deviné. "Ce sont des preuves indirectes que nous en sommes probablement pas si loin", a déclaré Goertzel en mars lors d'une conférence sur le deep learning à la Florida Atlantic University. Les plug-ins d'OpenAI ont donné à ChatGPT une architecture modulaire un peu comme celle du cerveau humain. "La combinaison de GPT-4 [la dernière version du LLM qui alimente ChatGPT] avec divers plug-ins pourrait être une voie vers une spécialisation des fonctions semblable à celle de l'homme", déclare Anna Ivanova, chercheuse au M.I.T.

Dans le même temps, les chercheurs s'inquiètent de voir leur capacité à étudier ces systèmes s'amenuiser. OpenAI n'a pas divulgué les détails de la conception et de l'entraînement de GPT-4, en partie du à la concurrence avec Google et d'autres entreprises, sans parler des autres pays. "Il y aura probablement moins de recherche ouverte de la part de l'industrie, et les choses seront plus cloisonnées et organisées autour de la construction de produits", déclare Dan Roberts, physicien théoricien au M.I.T., qui applique les techniques de sa profession à la compréhension de l'IA.

Ce manque de transparence ne nuit pas seulement aux chercheurs, il entrave également les efforts qui visent à comprendre les répercussions sociales de l'adoption précipitée de la technologie de l'IA. "La transparence de ces modèles est la chose la plus importante pour garantir la sécurité", affirme M. Mitchell.

Auteur: Musser Georges

Info: https://www.scientificamerican.com,  11 mai 2023. *algorithme d'optimisation utilisé dans l'apprentissage automatique et les problèmes d'optimisation. Il vise à minimiser ou à maximiser une fonction en ajustant ses paramètres de manière itérative. L'algorithme part des valeurs initiales des paramètres et calcule le gradient de la fonction au point actuel. Les paramètres sont ensuite mis à jour dans la direction du gradient négatif (pour la minimisation) ou positif (pour la maximisation), multiplié par un taux d'apprentissage. Ce processus est répété jusqu'à ce qu'un critère d'arrêt soit rempli. La descente de gradient est largement utilisée dans la formation des modèles d'apprentissage automatique pour trouver les valeurs optimales des paramètres qui minimisent la différence entre les résultats prédits et les résultats réels. Trad et adaptation Mg

[ singularité technologique ] [ versatilité sémantique ]

 

Commentaires: 0

Ajouté à la BD par miguel

homme-machine

Une nouvelle approche du calcul réinvente l'intelligence artificielle

Par l'imprégnation d'énormes vecteurs de sens sémantique, nous pouvons amener les machines à raisonner de manière plus abstraite et plus efficace qu'auparavant.

M
algré le succès retentissant de ChatGPT et d'autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.

D'une part, les ANN sont "super gourmands en énergie", a déclaré Cornelia Fermüller , informaticienne à l'Université du Maryland. "Et l'autre problème est [leur] manque de transparence." De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu'ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que font les humains - en utilisant des symboles pour les objets, les idées et les relations entre eux.

Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.

Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d'avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également la couleur de la forme - bleu ou rouge - vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.

Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. "Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons", a déclaré Bruno Olshausen , neuroscientifique à l'Université de Californie à Berkeley. "Donc, vous auriez dans votre cerveau, [disons,] un détecteur Volkswagen violet."

Au lieu de cela, Olshausen et d'autres soutiennent que l'information dans le cerveau est représentée par l'activité de nombreux neurones. Ainsi, la perception d'une Volkswagen violette n'est pas codée comme les actions d'un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).

C'est le point de départ d'une approche radicalement différente de l'informatique connue sous le nom d'informatique hyperdimensionnelle. La clé est que chaque élément d'information, comme la notion d'une voiture, ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.

Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : les coordonnées x , y et z d'un point dans l'espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l'algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l'informatique moderne au-delà de certaines de ses limites actuelles et favoriser une nouvelle approche de l'intelligence artificielle.

"C'est ce qui m'a le plus enthousiasmé, pratiquement de toute ma carrière", a déclaré Olshausen. Pour lui et pour beaucoup d'autres, l'informatique hyperdimensionnelle promet un nouveau monde dans lequel l'informatique est efficace et robuste, et les décisions prises par les machines sont entièrement transparentes.

Entrez dans les espaces de grande dimension

Pour comprendre comment les hypervecteurs rendent le calcul possible, revenons aux images avec des cercles rouges et des carrés bleus. Nous avons d'abord besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs pouvant être affectées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.

Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l'espace 3D, il existe trois vecteurs orthogonaux entre eux : un dans la direction x , un autre dans la direction y et un troisième dans la direction z . Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.

Mais si nous permettons aux vecteurs d'être presque orthogonaux, le nombre de ces vecteurs distincts dans un espace de grande dimension explose. Dans un espace à 10 000 dimensions, il existe des millions de vecteurs presque orthogonaux.

Créons maintenant des vecteurs distincts pour représenter FORME, COULEUR, CERCLE, CARRÉ, BLEU et ROUGE. Parce qu'il y a tellement de vecteurs presque orthogonaux possibles dans un espace de grande dimension, vous pouvez simplement assigner six vecteurs aléatoires pour représenter les six éléments ; ils sont presque garantis d'être presque orthogonaux. "La facilité de créer des vecteurs presque orthogonaux est une raison majeure d'utiliser la représentation hyperdimensionnelle", a écrit Pentti Kanerva , chercheur au Redwood Center for Theoretical Neuroscience de l'Université de Californie à Berkeley, dans un article influent de 2009.

L'article s'appuyait sur des travaux effectués au milieu des années 1990 par Kanerva et Tony Plate, alors étudiant au doctorat avec Geoff Hinton à l'Université de Toronto. Les deux ont développé indépendamment l'algèbre pour manipuler les hypervecteurs et ont fait allusion à son utilité pour le calcul en haute dimension.

Étant donné nos hypervecteurs pour les formes et les couleurs, le système développé par Kanerva et Plate nous montre comment les manipuler à l'aide de certaines opérations mathématiques. Ces actions correspondent à des manières de manipuler symboliquement des concepts.

La première opération est la multiplication. C'est une façon de combiner les idées. Par exemple, multiplier le vecteur FORME par le vecteur CERCLE lie les deux en une représentation de l'idée "LA FORME est CERCLE". Ce nouveau vecteur "lié" est presque orthogonal à la fois à SHAPE et à CIRCLE. Et les composants individuels sont récupérables - une caractéristique importante si vous souhaitez extraire des informations à partir de vecteurs liés. Étant donné un vecteur lié qui représente votre Volkswagen, vous pouvez dissocier et récupérer le vecteur pour sa couleur : VIOLET.

La deuxième opération, l'addition, crée un nouveau vecteur qui représente ce qu'on appelle une superposition de concepts. Par exemple, vous pouvez prendre deux vecteurs liés, "SHAPE is CIRCLE" et "COLOR is RED", et les additionner pour créer un vecteur qui représente une forme circulaire de couleur rouge. Là encore, le vecteur superposé peut être décomposé en ses constituants.

La troisième opération est la permutation ; cela implique de réorganiser les éléments individuels des vecteurs. Par exemple, si vous avez un vecteur tridimensionnel avec des valeurs étiquetées x , y et z , la permutation peut déplacer la valeur de x vers y , y vers z et z vers x. "La permutation vous permet de construire une structure", a déclaré Kanerva. "Ça permet de gérer des séquences, des choses qui se succèdent." Considérons deux événements, représentés par les hypervecteurs A et B. Nous pouvons les superposer en un seul vecteur, mais cela détruirait les informations sur l'ordre des événements. La combinaison de l'addition et de la permutation préserve l'ordre ; les événements peuvent être récupérés dans l'ordre en inversant les opérations.

Ensemble, ces trois opérations se sont avérées suffisantes pour créer une algèbre formelle d'hypervecteurs permettant un raisonnement symbolique. Mais de nombreux chercheurs ont été lents à saisir le potentiel de l'informatique hyperdimensionnelle, y compris Olshausen. "Cela n'a tout simplement pas été pris en compte", a-t-il déclaré.

Exploiter le pouvoir

En 2015, un étudiant d'Olshausen nommé Eric Weiss a démontré un aspect des capacités uniques de l'informatique hyperdimensionnelle. Weiss a compris comment représenter une image complexe comme un seul vecteur hyperdimensionnel contenant des informations sur tous les objets de l'image, y compris leurs propriétés, telles que les couleurs, les positions et les tailles.

"Je suis pratiquement tombé de ma chaise", a déclaré Olshausen. "Tout d'un coup, l'ampoule s'est allumée."

Bientôt, d'autres équipes ont commencé à développer des algorithmes hyperdimensionnels pour reproduire des tâches simples que les réseaux de neurones profonds avaient commencé à effectuer environ deux décennies auparavant, comme la classification d'images.

Considérons un ensemble de données annotées composé d'images de chiffres manuscrits. Un algorithme analyse les caractéristiques de chaque image en utilisant un schéma prédéterminé. Il crée ensuite un hypervecteur pour chaque image. Ensuite, l'algorithme ajoute les hypervecteurs pour toutes les images de zéro pour créer un hypervecteur pour l'idée de zéro. Il fait ensuite la même chose pour tous les chiffres, créant 10 hypervecteurs "de classe", un pour chaque chiffre.

Maintenant, l'algorithme reçoit une image non étiquetée. Il crée un hypervecteur pour cette nouvelle image, puis compare l'hypervecteur aux hypervecteurs de classe stockés. Cette comparaison détermine le chiffre auquel la nouvelle image ressemble le plus.

Pourtant, ce n'est que le début. Les points forts de l'informatique hyperdimensionnelle résident dans la capacité de composer et de décomposer des hypervecteurs pour le raisonnement. La dernière démonstration en date a eu lieu en mars, lorsqu'Abbas Rahimi et ses collègues d'IBM Research à Zurich ont utilisé l'informatique hyperdimensionnelle avec des réseaux de neurones pour résoudre un problème classique de raisonnement visuel abstrait - un défi important pour les RNA typiques, et même certains humains. Connu sous le nom de matrices progressives de Raven, le problème présente des images d'objets géométriques dans, disons, une grille 3 par 3. Une position dans la grille est vide. Le sujet doit choisir, parmi un ensemble d'images candidates, l'image qui correspond le mieux au blanc.

"Nous avons dit:" C'est vraiment ... l'exemple qui tue pour le raisonnement abstrait visuel, allons-y "", a déclaré Rahimi.

Pour résoudre le problème à l'aide de l'informatique hyperdimensionnelle, l'équipe a d'abord créé un dictionnaire d'hypervecteurs pour représenter les objets dans chaque image ; chaque hypervecteur du dictionnaire représente un objet et une combinaison de ses attributs. L'équipe a ensuite formé un réseau de neurones pour examiner une image et générer un hypervecteur bipolaire - un élément peut être +1 ou -1 - aussi proche que possible d'une superposition d'hypervecteurs dans le dictionnaire ; l'hypervecteur généré contient donc des informations sur tous les objets et leurs attributs dans l'image. "Vous guidez le réseau de neurones vers un espace conceptuel significatif", a déclaré Rahimi.

Une fois que le réseau a généré des hypervecteurs pour chacune des images de contexte et pour chaque candidat pour l'emplacement vide, un autre algorithme analyse les hypervecteurs pour créer des distributions de probabilité pour le nombre d'objets dans chaque image, leur taille et d'autres caractéristiques. Ces distributions de probabilité, qui parlent des caractéristiques probables à la fois du contexte et des images candidates, peuvent être transformées en hypervecteurs, permettant l'utilisation de l'algèbre pour prédire l'image candidate la plus susceptible de remplir l'emplacement vacant.

Leur approche était précise à près de 88 % sur un ensemble de problèmes, tandis que les solutions de réseau neuronal uniquement étaient précises à moins de 61 %. L'équipe a également montré que, pour les grilles 3 par 3, leur système était presque 250 fois plus rapide qu'une méthode traditionnelle qui utilise des règles de logique symbolique pour raisonner, car cette méthode doit parcourir un énorme livre de règles pour déterminer la bonne prochaine étape.

Un début prometteur

Non seulement l'informatique hyperdimensionnelle nous donne le pouvoir de résoudre symboliquement des problèmes, mais elle résout également certains problèmes épineux de l'informatique traditionnelle. Les performances des ordinateurs d'aujourd'hui se dégradent rapidement si les erreurs causées, par exemple, par un retournement de bit aléatoire (un 0 devient 1 ou vice versa) ne peuvent pas être corrigées par des mécanismes de correction d'erreurs intégrés. De plus, ces mécanismes de correction d'erreurs peuvent imposer une pénalité sur les performances allant jusqu'à 25 %, a déclaré Xun Jiao , informaticien à l'Université de Villanova.

Le calcul hyperdimensionnel tolère mieux les erreurs, car même si un hypervecteur subit un nombre important de retournements de bits aléatoires, il reste proche du vecteur d'origine. Cela implique que tout raisonnement utilisant ces vecteurs n'est pas significativement impacté face aux erreurs. L'équipe de Jiao a montré que ces systèmes sont au moins 10 fois plus tolérants aux pannes matérielles que les ANN traditionnels, qui sont eux-mêmes des ordres de grandeur plus résistants que les architectures informatiques traditionnelles. "Nous pouvons tirer parti de toute [cette] résilience pour concevoir du matériel efficace", a déclaré Jiao.

Un autre avantage de l'informatique hyperdimensionnelle est la transparence : l'algèbre vous indique clairement pourquoi le système a choisi la réponse qu'il a choisie. Il n'en va pas de même pour les réseaux de neurones traditionnels. Olshausen, Rahimi et d'autres développent des systèmes hybrides dans lesquels les réseaux de neurones cartographient les éléments du monde physique en hypervecteurs, puis l'algèbre hyperdimensionnelle prend le relais. "Des choses comme le raisonnement analogique vous tombent dessus", a déclaré Olshausen. "C'est ce que nous devrions attendre de tout système d'IA. Nous devrions pouvoir le comprendre comme nous comprenons un avion ou un téléviseur.

Tous ces avantages par rapport à l'informatique traditionnelle suggèrent que l'informatique hyperdimensionnelle est bien adaptée à une nouvelle génération de matériel extrêmement robuste et à faible consommation d'énergie. Il est également compatible avec les "systèmes informatiques en mémoire", qui effectuent le calcul sur le même matériel qui stocke les données (contrairement aux ordinateurs von Neumann existants qui transfèrent inefficacement les données entre la mémoire et l'unité centrale de traitement). Certains de ces nouveaux appareils peuvent être analogiques, fonctionnant à très basse tension, ce qui les rend économes en énergie mais également sujets aux bruits aléatoires. Pour l'informatique de von Neumann, ce caractère aléatoire est "le mur que vous ne pouvez pas franchir", a déclaré Olshausen. Mais avec l'informatique hyperdimensionnelle, "vous pouvez simplement percer".

Malgré ces avantages, l'informatique hyperdimensionnelle en est encore à ses balbutiements. "Il y a un vrai potentiel ici", a déclaré Fermüller. Mais elle souligne qu'il doit encore être testé contre des problèmes du monde réel et à des échelles plus grandes, plus proches de la taille des réseaux de neurones modernes.

"Pour les problèmes à grande échelle, cela nécessite un matériel très efficace", a déclaré Rahimi. "Par exemple, comment [faites-vous] une recherche efficace sur plus d'un milliard d'articles ?"

Tout cela devrait venir avec le temps, a déclaré Kanerva. "Il y a d'autres secrets [que] les espaces de grande dimension détiennent", a-t-il déclaré. "Je vois cela comme le tout début du temps pour le calcul avec des vecteurs."

Auteur: Ananthaswamy Anil

Info: https://www.quantamagazine.org/ Mais 2023

[ machine learning ]

 

Commentaires: 0

Ajouté à la BD par miguel

consumérisme

La pornographie c’est ce à quoi ressemble la fin du monde
"Cinquante nuances de Grey", le livre comme le film, est une glorification du sadisme qui domine quasiment tous les aspects de la culture américaine et qui repose au coeur de la pornographie et du capitalisme mondial. Il célèbre la déshumanisation des femmes. Il se fait le champion d’un monde dépourvu de compassion, d’empathie et d’amour. Il érotise le pouvoir hypermasculin à l’origine de l’abus, de la dégradation, de l’humiliation et de la torture des femmes dont les personnalités ont été supprimées, dont le seul désir est de s’avilir au service de la luxure mâle. Le film, tout comme "American Sniper", accepte inconditionnellement un monde prédateur où le faible et le vulnérable sont les objets de l’exploitation tandis que les puissants sont des demi-dieu violents et narcissiques. Il bénit l’enfer capitaliste comme naturel et bon.

"La pornographie", écrit Robert Jensen, "c’est ce à quoi ressemble la fin du monde."

Nous sommes aveuglés par un fantasme auto-destructeur. Un éventail de divertissements et de spectacles, avec les émissions de télé "réalité", les grands évènements sportifs, les médias sociaux, le porno (qui engrange au moins le double de ce que génèrent les films hollywoodiens), les produits de luxe attirants, les drogues, l’alcool et ce Jésus magique, nous offre des issues de secours — échappatoires à la réalité — séduisantes. Nous rêvons d’être riches, puissants et célèbres. Et ceux que l’on doit écraser afin de construire nos pathétiques petits empires sont considérés comme méritants leurs sorts. Que la quasi-totalité d’entre nous n’atteindra jamais ces ambitions est emblématique de notre auto-illusionnement collectif et de l’efficacité de cette culture submergée par manipulations et mensonges.

Le porno cherche à érotiser le sadisme. Dans le porno les femmes sont payées pour répéter les mantras "Je suis une chatte. Je suis une salope. Je suis une pute. Je suis une putain. Baise moi violemment avec ta grosse bite." Elles demandent à être physiquement abusées. Le porno répond au besoin de stéréotypes racistes dégradants. Les hommes noirs sont des bêtes sexuelles puissantes harcelant les femmes blanches. Les femmes noires ont une soif de luxure brute, primitive. Les femmes latinos sont sensuelles et ont le sang chaud. Les femmes asiatiques sont des geishas dociles, sexuellement soumises. Dans le porno, les imperfections humaines n’existent pas. Les poitrines siliconées démesurées, les lèvres pulpeuses gonflées de gel, les corps sculptés par des chirurgiens plastiques, les érections médicalement assistées qui ne cessent jamais et les régions pubiennes rasées — qui correspondent à la pédophilie du porno — transforment les exécutants en morceaux de plastique. L’odeur, la transpiration, l’haleine, les battements du cœur et le toucher sont effacés tout comme la tendresse. Les femmes dans le porno sont des marchandises conditionnées. Elles sont des poupées de plaisir et des marionnettes sexuelles. Elles sont dénuées de leurs véritables émotions. Le porno n’a rien à voir avec le sexe, si on définit le sexe comme un acte mutuel entre deux partenaires, mais relève de la masturbation, une auto-excitation solitaire et privée d’intimité et d’amour. Le culte du moi — qui est l’essence du porno — est au cœur de la culture corporatiste. Le porno, comme le capitalisme mondial, c’est là où les êtres humains sont envoyés pour mourir.

Il y a quelques personnes à gauche qui saisissent l’immense danger de permettre à la pornographie de remplacer l’intimité, le sexe et l’amour. La majorité de la gauche pense que la pornographie relève de la liberté d’expression, comme s’il était inacceptable d’exploiter financièrement et d’abuser physiquement une femme dans une usine en Chine mais que le faire sur un lieu de tournage d’un film porno était acceptable, comme si la torture à Abu Ghraib — où des prisonniers furent humiliés sexuellement et abusés comme s’ils étaient dans un tournage porno — était intolérable, mais tolérable sur des sites de pornographies commerciaux.

Une nouvelle vague de féministes, qui ont trahi l’ouvrage emblématique de radicales comme Andrea Dworkin, soutiennent que le porno est une forme de libération sexuelle et d’autonomisation. Ces "féministes", qui se basent sur Michel Foucault et Judith Butler, sont les produits attardés du néolibéralisme et du postmodernisme. Le féminisme, pour eux, ne relève plus de la libération de la femme opprimée; il se définit par une poignée de femmes qui ont du succès, sont riches et puissantes — où, comme c’est le cas dans "cinquante nuances de grey", capables d’accrocher un homme puissant et riche. C’est une femme qui a écrit le livre "Cinquante nuances", ainsi que le scénario du film. Une femme a réalisé le film. Une femme dirigeante d’un studio a acheté le film. Cette collusion des femmes fait partie de l’internalisation de l’oppression et de la violence sexuelle, qui s’ancre dans le porno. Dworkin l’avait compris. Elle avait écrit que "la nouvelle pornographie est un vaste cimetière où la Gauche est allée mourir. La Gauche ne peut avoir ses prostituées et leurs politiques."

J’ai rencontré Gail Dines, l’une des radicales les plus prééminentes du pays, dans un petit café à Boston mardi. Elle est l’auteur de "Pornland: Comment le porno a détourné notre sexualité" (“Pornland: How Porn Has Hijacked Our Sexuality”) et est professeure de sociologie et d’études féminines à l’université de Wheelock. Dines, ainsi qu’une poignée d’autres, dont Jensen, dénoncent courageusement une culture aussi dépravée que la Rome de Caligula.

"L’industrie du porno a détourné la sexualité d’une culture toute entière, et dévaste toute une génération de garçons", nous avertit elle. "Et quand vous ravagez une génération de garçons, vous ravagez une génération de filles."

"Quand vous combattez le porno vous combattez le capitalisme mondial", dit-elle. "Les capitaux-risqueurs, les banques, les compagnies de carte de crédit sont tous partie intégrante de cette chaine alimentaire. C’est pourquoi vous ne voyez jamais d’histoires anti-porno. Les médias sont impliqués. Ils sont financièrement mêlés à ces compagnies. Le porno fait partie de tout ceci. Le porno nous dit que nous n’avons plus rien d’humains — limite, intégrité, désir, créativité et authenticité. Les femmes sont réduites à trois orifices et deux mains. Le porno est niché dans la destruction corporatiste de l’intimité et de l’interdépendance, et cela inclut la dépendance à la Terre. Si nous étions une société d’être humains entiers et connectés en véritables communautés, nous ne supporterions pas de regarder du porno. Nous ne supporterions pas de regarder un autre être humain se faire torturer."

"Si vous comptez accumuler la vaste majorité des biens dans une petite poignée de mains, vous devez être sûr d’avoir un bon système idéologique en place qui légitimise la souffrance économique des autres", dit elle. "Et c’est ce que fait le porno. Le porno vous dit que l’inégalité matérielle entre femmes et hommes n’est pas le résultat d’un système économique. Que cela relève de la biologie. Et les femmes, n’étant que des putes et des salopes bonnes au sexe, ne méritent pas l’égalité complète. Le porno c’est le porte-voix idéologique qui légitimise notre système matériel d’inégalités. Le porno est au patriarcat ce que les médias sont au capitalisme."

Pour garder excités les légions de mâles facilement ennuyés, les réalisateurs de porno produisent des vidéos qui sont de plus en plus violentes et avilissantes. "Extreme Associates", qui se spécialise dans les scènes réalistes de viols, ainsi que JM Productions, mettent en avant les souffrances bien réelles endurées par les femmes sur leurs plateaux. JM Productions est un pionnier des vidéos de "baise orale agressive" ou de "baise faciale" comme les séries "étouffements en série", dans lesquelles les femmes s’étouffent et vomissent souvent. Cela s’accompagne de "tournoiements", dans lesquels le mâle enfonce la tête de la femme dans les toilettes puis tire la chasse, après le sexe. La compagnie promet, "toutes les putes subissent le traitement tournoyant. Baise la, puis tire la chasse". Des pénétrations anales répétées et violentes entrainent des prolapsus anaux, une pathologie qui fait s’effondrer les parois internes du rectum de la femme et dépassent de son anus. Cela s’appelle le "rosebudding". Certaines femmes, pénétrées à de multiples reprises par nombre d’hommes lors de tournages pornos, bien souvent après avoir avalé des poignées d’analgésiques, ont besoin de chirurgie reconstructrices anales et vaginales. Les femmes peuvent être affectées par des maladies sexuellement transmissibles et des troubles de stress post-traumatique (TSPT). Et avec la démocratisation du porno — certains participants à des vidéos pornographiques sont traités comme des célébrités dans des émissions comme celles d’Oprah et d’Howard Stern — le comportement promu par le porno, dont le strip-tease, la promiscuité, le sadomasochisme et l’exhibition, deviennent chic. Le porno définit aussi les standards de beauté et de comportements de la femme. Et cela a des conséquences terribles pour les filles.

"On dit aux femmes qu’elles ont deux choix dans notre société", me dit Gail Dines. "Elles sont soit baisables soit invisibles. Être baisable signifie se conformer à la culture du porno, avoir l’air sexy, être soumise et faire ce que veut l’homme. C’est la seule façon d’être visible. Vous ne pouvez pas demander aux filles adolescentes, qui aspirent plus que tout à se faire remarquer, de choisir l’invisibilité."

Rien de tout ça, souligne Dines, n’est un accident. Le porno a émergé de la culture de la marchandise, du besoin de vendre des produits qu’ont les capitalistes corporatistes.

"Dans l’Amérique d’après la seconde guerre mondiale, vous avez l’émergence d’une classe moyenne avec un revenu disponible", explique-t-elle. "Le seul problème c’est que ce groupe est né de parents qui ont connu la dépression et la guerre. Ils ne savaient pas comment dépenser. Ils ne savaient qu’économiser. Ce dont [les capitalistes] avaient besoin pour faire démarrer l’économie c’était de gens prêts à dépenser leur argent pour des choses dont ils n’avaient pas besoin. Pour les femmes ils ont créé les séries télévisées. Une des raisons pour lesquelles les maisons style-ranch furent développées, c’était parce que [les familles] n’avaient qu’une seule télévision. La télévision était dans le salon et les femmes passaient beaucoup de temps dans la cuisine. Il fallait donc diviser la maison de façon à ce qu’elles puissent regarder la télévision depuis la cuisine. Afin qu’elle puisse être éduquée". [Via la télévision]

"Mais qui apprenait aux hommes à dépenser leur argent?" continue-t-elle. "Ce fut Playboy [Magazine]. Ce fut le génie de Hugh Hefner. Il comprit qu’il ne suffisait pas de marchandiser la sexualité, mais qu’il fallait sexualiser les marchandises. Les promesses de Playboy n’étaient pas les filles où les femmes, c’était que si vous achetez autant, si vous consommez au niveau promu par Playboy, alors vous obtenez la récompense, qui sont les femmes. L’étape cruciale à l’obtention de la récompense était la consommation de marchandises. Il a incorporé le porno, qui sexualisait et marchandisait le corps des femmes, dans le manteau de la classe moyenne. Il lui a donné un vernis de respectabilité."

Le VCR, le DVD, et plus tard, Internet ont permis au porno de s’immiscer au sein des foyers. Les images satinées de Playboy, Penthouse et Hustler devinrent fades, voire pittoresques. L’Amérique, et la majeure partie du reste du monde, se pornifia. Les revenus de l’industrie du mondiale du porno sont estimés à 96 milliards de $, le marché des USA comptant pour environ 13 milliards. Il y a, écrit Dines, "420 millions de pages porno sur internet, 4.2 millions de sites Web porno, et 68 millions de requêtes porno dans les moteurs de recherches chaque jour."

Parallèlement à la croissance de la pornographie, il y a eu explosion des violences liées au sexe, y compris des abus domestiques, des viols et des viols en réunion. Un viol est signalé toutes les 6.2 minutes aux USA, mais le total estimé, qui prend en compte les assauts non-rapportés, est peut-être 5 fois plus élevé, comme le souligne Rebecca Solnit dans son livre "Les hommes m’expliquent des choses".

"Il y a tellement d’hommes qui assassinent leurs partenaires et anciennes partenaires, nous avons bien plus de 1000 homicides de ce type chaque année — ce qui signifie que tous les trois ans le nombre total de morts est la première cause d’homicides relevés par la police, bien que personne ne déclare la guerre contre cette forme particulière de terreur", écrit Solnit.

Pendant ce temps-là, le porno est de plus en plus accessible.

"Avec un téléphone mobile vous pouvez fournir du porno aux hommes qui vivent dans les zones densément peuplées du Brésil et de l’Inde", explique Dines. "Si vous avez un seul ordinateur portable dans la famille, l’homme ne peut pas s’assoir au milieu du salon et se masturber. Avec un téléphone, le porno devient portable. L’enfant moyen regarde son porno sur son téléphone mobile".

L’ancienne industrie du porno, qui engrangeait de l’argent grâce aux films, est morte. Les éléments de la production ne génèrent plus de profits. Les distributeurs de porno engrangent la monnaie. Et un distributeur, MindGeek, une compagnie mondiale d’informatique, domine la distribution du porno. Le porno gratuit est utilisé sur internet comme appât par MindGeek pour attirer les spectateurs vers des sites de pay-per-view (paye pour voir). La plupart des utilisateurs de ces sites sont des adolescents. C’est comme, explique Dines, "distribuer des cigarettes à la sortie du collège. Vous les rendez accrocs."

"Autour des âges de 12 à 15 ans vous développez vos modèles sexuels", explique-t-elle. "Vous attrapez [les garçons] quand ils construisent leurs identités sexuelles. Vous les marquez à vie. Si vous commencez par vous masturber devant du porno cruel et violent, alors vous n’allez pas rechercher intimité et connectivité. Les études montrent que les garçons perdent de l’intérêt pour le sexe avec de véritables femmes. Ils ne peuvent maintenir des érections avec des vraies femmes. Dans le porno il n’y a pas de "faire l’amour". Il s’agit de "faire la haine". Il la méprise. Elle le dégoute et le révolte. Si vous amputez l’amour vous devez utiliser quelque chose pour remplir le trou afin de garder le tout intéressant. Ils remplissent ça par la violence, la dégradation, la cruauté et la haine. Et ça aussi ça finit par être ennuyeux. Il faut sans cesse surenchérir. Les hommes jouissent du porno lorsque les femmes sont soumises. Qui est plus soumis que les enfants? La voie du porno mène inévitablement au porno infantile. Et c’est pourquoi des organisations qui combattent le porno infantile sans combattre le porno adulte font une grave erreur."

L’abus inhérent à la pornographie n’est pas remis en question par la majorité des hommes et des femmes. Regardez les entrées du film "cinquante nuances de grey", qui est sorti la veille de la saint valentin et qui prévoit d’engranger plus de 90 millions de $ sur ce week-end de quatre jours (avec la journée du président de ce lundi).

"La pornographie a socialisé une génération d’hommes au visionnage de tortures sexuelles’, explique Dines. Vous n’êtes pas né avec cette capacité. Vous devez être conditionné pour cela. Tout comme vous conditionnez des soldats afin qu’ils tuent. Si vous voulez être violent envers un groupe, vous devez d’abord le déshumaniser. C’est une vieille méthode. Les juifs deviennent des youpins. Les noirs des nègres. Les femmes des salopes. Et personne ne change les femmes en salope mieux que le porno."

Auteur: Hedges Christopher Lynn

Info: truthdig.com, 15 février 2015

[ vingt-et-unième siècle ]

 

Commentaires: 0

bio-évolution

La "tectonique" des chromosomes révèle les secrets de l'évolution des premiers animaux

De grands blocs de gènes conservés au cours de centaines de millions d'années d'évolution permettent de comprendre comment les premiers chromosomes animaux sont apparus.

De nouvelles recherches ont montré que des blocs de gènes liés peuvent conserver leur intégrité et être suivis au cours de l'évolution. Cette découverte est à la base de ce que l'on appelle la tectonique des génomes (photo).

Les chromosomes, ces faisceaux d'ADN qui se mettent en scène dans le ballet mitotique de la division cellulaire, jouent un rôle de premier plan dans la vie complexe. Mais la question de savoir comment les chromosomes sont apparus et ont évolué a longtemps été d'une difficulté décourageante. C'est dû en partie au manque d'informations génomiques au niveau des chromosomes et en partie au fait que l'on soupçonne que des siècles de changements évolutifs ont fait disparaître tout indice sur cette histoire ancienne.

Dans un article paru dans Science Advances, une équipe internationale de chercheurs dirigée par Daniel Rokhsar, professeur de sciences biologiques à l'université de Californie à Berkeley, a suivi les changements survenus dans les chromosomes il y a 800 millions d'années.  Ils ont identifié 29 grands blocs de gènes qui sont restés identifiables lors de leur passage dans trois des plus anciennes subdivisions de la vie animale multicellulaire. En utilisant ces blocs comme marqueurs, les scientifiques ont pu déterminer comment les chromosomes se sont fusionnés et recombinés au fur et à mesure que ces premiers groupes d'animaux devenaient distincts.

Les chercheurs appellent cette approche "tectonique du génome". De la même manière que les géologues utilisent leur compréhension de la tectonique des plaques pour comprendre l'apparition et le mouvement des continents, ces biologistes reconstituent comment diverses duplications, fusions et translocations génomiques ont créé les chromosomes que nous voyons aujourd'hui.

Ces travaux annoncent une nouvelle ère de la génomique comparative : Auparavant, les chercheurs étudiaient des collections de gènes de différentes lignées et décrivaient les changements une paire de bases à la fois. Aujourd'hui, grâce à la multiplication des assemblages de chromosomes, les chercheurs peuvent retracer l'évolution de chromosomes entiers jusqu'à leur origine. Ils peuvent ensuite utiliser ces informations pour faire des prédictions statistiques et tester rigoureusement des hypothèses sur la façon dont les groupes d'organismes sont liés.

Il y a deux ans, à l'aide de méthodes novatrices similaires, M. Rokhsar et ses collègues ont résolu un mystère de longue date concernant la chronologie des duplications du génome qui ont accompagné l'apparition des vertébrés à mâchoires. Mais l'importance de cette approche n'est pas purement rétrospective. En faisant ces découvertes, les chercheurs apprennent les règles algébriques simples qui régissent ce qui se passe lorsque les chromosomes échangent des parties d'eux-mêmes. Ces informations peuvent orienter les futures études génomiques et aider les biologistes à prédire ce qu'ils trouveront dans les génomes des espèces qui n'ont pas encore été séquencées.

"Nous commençons à avoir une vision plus large de l'évolution des chromosomes dans l'arbre de la vie", a déclaré Paulyn Cartwright, professeur d'écologie et de biologie évolutive à l'université du Kansas. Selon elle, les scientifiques peuvent désormais tirer des conclusions sur le contenu des chromosomes des tout premiers animaux. Ils peuvent également examiner comment les différents contenus des chromosomes ont changé ou sont restés les mêmes - et pourquoi - à mesure que les animaux se sont diversifiés. "Nous ne pouvions vraiment pas faire cela avant de disposer de ces génomes de haute qualité". 

Ce que partagent les anciens génomes

Dans l'étude publiée aujourd'hui, Rokhsar et une grande équipe internationale de collaborateurs ont produit le premier assemblage de haute qualité, au niveau des chromosomes, du génome de l'hydre, qu'ils décrivent comme un modèle de "vénérable cnidaire". En le comparant à d'autres génomes animaux disponibles, ils ont découvert des groupes de gènes liés hautement conservés. Bien que l'ordre des gènes au sein d'un bloc soit souvent modifié, les blocs eux-mêmes sont restés stables sur de longues périodes d'évolution.

Lorsque les scientifiques ont commencé à séquencer les génomes animaux il y a une vingtaine d'années, beaucoup d'entre eux n'étaient pas convaincus que des groupes de gènes liés entre eux sur les chromosomes pouvaient rester stables et reconnaissables au cours des éons, et encore moins qu'il serait possible de suivre le passage de ces blocs de gènes à travers pratiquement toutes les lignées animales.

Les animaux ont divergé de leurs parents unicellulaires il y a 600 ou 700 millions d'années, et "être capable de reconnaître les morceaux de chromosomes qui sont encore conservés après cette période de temps est étonnant", a déclaré Jordi Paps, un biologiste de l'évolution à l'Université de Bristol au Royaume-Uni.

"Avant de disposer de ces données sur les chromosomes entiers, nous examinions de petits fragments de chromosomes et nous observions de nombreux réarrangements", a déclaré M. Cartwright. "Nous supposions donc qu'il n'y avait pas de conservation, car les gènes eux-mêmes dans une région du chromosome changent de position assez fréquemment."

Pourtant, bien que l'ordre des gènes soit fréquemment remanié le long des chromosomes, Rokhsar a eu l'intuition, grâce à ses études antérieures sur les génomes animaux, qu'il y avait une relative stabilité dans les gènes apparaissant ensemble. "Si vous comparez une anémone de mer ou une éponge à un être humain, le fait que les gènes se trouvent sur le même morceau d'ADN semble être conservé", explique Rokhsar. "Et le modèle suggérait que des chromosomes entiers étaient également conservés". Mais cette notion n'a pu être testée que récemment, lorsque suffisamment d'informations génomiques à l'échelle du chromosome sur divers groupes d'animaux sont devenues disponibles.

Inertie génomique

Mais pourquoi des blocs de gènes restent-ils liés entre eux ? Selon Harris Lewin, professeur d'évolution et d'écologie à l'université de Californie à Davis, qui étudie l'évolution des génomes de mammifères, une des explications de ce phénomène, appelé synténie, est liée à la fonction des gènes. Il peut être plus efficace pour les gènes qui fonctionnent ensemble d'être physiquement situés ensemble ; ainsi, lorsqu'une cellule a besoin de transcrire des gènes, elle n'a pas à coordonner la transcription à partir de plusieurs endroits sur différents chromosomes. 

Ceci explique probablement la conservation de certains ensembles de gènes dont l'agencement est crucial : les gènes Hox qui établissent les plans corporels des animaux, par exemple, doivent être placés dans un ordre spécifique pour établir correctement le schéma corporel. Mais ces gènes étroitement liés se trouvent dans un morceau d'ADN relativement court. M. Rokhsar dit qu'il ne connaît aucune corrélation fonctionnelle s'étendant sur un chromosome entier qui pourrait expliquer leurs résultats.

(Ici une image décrit les différents types de fusion de chromosomes et l'effet de chacun sur l'ordre des gènes qu'ils contiennent.)

C'est pourquoi Rokhsar est sceptique quant à une explication fonctionnelle. Elle est séduisante ("Ce serait le résultat le plus cool, d'une certaine manière", dit-il) mais peut-être aussi inutile car, à moins qu'un réarrangement chromosomique ne présente un avantage fonctionnel important, il est intrinsèquement difficile pour ce réarrangement de se propager. Et les réarrangements ne sont généralement pas avantageux : Au cours de la méiose et de la formation des gamètes, tous les chromosomes doivent s'apparier avec un partenaire correspondant. Sans partenaire, un chromosome de taille inhabituelle ne pourra pas faire partie d'un gamète viable, et il a donc peu de chances de se retrouver dans la génération suivante. De petites mutations qui remanient l'ordre des gènes à l'intérieur des chromosomes peuvent encore se produire ("Il y a probablement une petite marge d'erreur en termes de réarrangements mineurs, de sorte qu'ils peuvent encore se reconnaître", a déclaré Cartwright). Mais les chromosomes brisés ou fusionnés ont tendance à être des impasses.

Peut-être que dans des groupes comme les mammifères, qui ont des populations de petite taille, un réarrangement pourrait se propager de façon aléatoire par ce qu'on appelle la dérive génétique, suggère Rokhsar. Mais dans les grandes populations qui se mélangent librement, comme celles des invertébrés marins qui pondent des centaines ou des milliers d'œufs, "il est vraiment difficile pour l'un des nouveaux réarrangements de s'imposer", a-t-il déclaré. "Ce n'est pas qu'ils ne sont pas tentés. C'est juste qu'ils ne parviennent jamais à s'imposer dans l'évolution."

Par conséquent, les gènes ont tendance à rester bloqués sur un seul chromosome. "Les processus par lesquels ils se déplacent sont tout simplement lents, sur une échelle de 500 millions d'années", déclare Rokhsar. "Même s'il s'est écoulé énormément de temps, ce n'est toujours pas assez long pour qu'ils puissent se développer".

( une image avec affichage de données montre comment des blocs de gènes ont eu tendance à rester ensemble même lorsqu'ils se déplaçaient vers différents chromosomes dans l'évolution de cinq premières espèces animales.)

L'équipe de Rokhsar a toutefois constaté que lorsque ces rares fusions de chromosomes se produisaient, elles laissaient une signature claire : Après une fusion, les gènes des deux blocs s'entremêlent et sont réorganisés car des "mutations d'inversion" s'y sont accumulées au fil du temps. En conséquence, les gènes des deux blocs se sont mélangés comme du lait versé dans une tasse de thé, pour ne plus jamais être séparés. "Il y a un mouvement entropique vers le mélange qui ne peut être annulé", affirme Rokhsar.

Et parce que les processus de fusion, de mélange et de duplication de blocs génétiques sont si rares, irréversibles et spécifiques, ils sont traçables : Il est très improbable qu'un chromosome se fracture deux fois au même endroit, puis fusionne et se mélange avec un autre bloc génétique de la même manière.

Les signatures de ces événements dans les chromosomes représentent donc un nouvel ensemble de caractéristiques dérivées que les biologistes peuvent utiliser pour tester des hypothèses sur la façon dont les espèces sont liées. Si deux lignées partagent un mélange de deux blocs de gènes, le mélange s'est très probablement produit chez leur ancêtre commun. Si des lignées ont deux ensembles de mêmes blocs de gènes, une duplication du génome a probablement eu lieu chez leur ancêtre commun. Cela fait des syntéries un "outil très, très puissant", a déclaré Oleg Simakov, génomiste à l'université de Vienne et premier auteur des articles. 

Empreintes digitales d'événements évolutifs

"L'un des aspects que je préfère dans notre étude est que nous faisons des prédictions sur ce à quoi il faut s'attendre au sein des génomes qui n'ont pas encore été séquencés", a écrit Rokhsar dans un courriel adressé à Quanta. Par exemple, son équipe a découvert que divers invertébrés classés comme spiraliens partagent tous quatre schémas spécifiques de fusion avec mélange, ce qui implique que les événements de fusion se sont produits chez leur ancêtre commun. "Il s'ensuit que tous les spiraliens devraient présenter ces schémas de fusion avec mélange de modèles", écrit Rokhsar. "Si l'on trouve ne serait-ce qu'un seul spiralien dépourvu de ces motifs, alors l'hypothèse peut être rejetée !".

Et d'ajouter : "On n'a pas souvent l'occasion de faire ce genre de grandes déclarations sur l'histoire de l'évolution."

Dans leur nouvel article Science Advances, Simakov, Rokhsar et leurs collègues ont utilisé l'approche tectonique pour en savoir plus sur l'émergence de certains des premiers groupes d'animaux il y a environ 800 millions d'années. En examinant le large éventail de vie animale représenté par les éponges, les cnidaires (tels que les hydres, les méduses et les coraux) et les bilatériens (animaux à symétrie bilatérale), les chercheurs ont trouvé 27 blocs de gènes hautement conservés parmi leurs chromosomes.

Ensuite, en utilisant les règles de fusion chromosomique et génétique qu'ils avaient identifiées, les chercheurs ont reconstitué les événements de mélange au niveau des chromosomes qui ont accompagné l'évolution de ces trois lignées à partir d'un ancêtre commun. Ils ont montré que les chromosomes des éponges, des cnidaires et des bilatériens représentent tous des manières distinctes de combiner des éléments du génome ancestral.

(Pour expliquer les 2 paragraphes précédents une image avec 3 schémas montre la fusion des chromosomes au début de l'évolution pou arriver au 27 blocs de gènes)

Une découverte stimulante qui a été faite est que certains des blocs de gènes liés semblent également présents dans les génomes de certaines créatures unicellulaires comme les choanoflagellés, les plus proches parents des animaux multicellulaires. Chez les animaux multicellulaires, l'un de ces blocs contient un ensemble diversifié de gènes homéobox qui guident le développement de la structure générale de leur corps. Cela suggère que l'un des tout premiers événements de l'émergence des animaux multicellulaires a été l'expansion et la diversification de ces gènes importants. "Ces anciennes unités de liaison fournissent un cadre pour comprendre l'évolution des gènes et des génomes chez les animaux", notent les scientifiques dans leur article.

Leur approche permet de distinguer de subtiles et importantes différences au niveau des événements chromosomiques. Par exemple, dans leur article de 2020, les chercheurs ont déduit que le génome des vertébrés avait subi une duplication au cours de la période cambrienne, avant que l'évolution ne sépare les poissons sans mâchoire des poissons avec mâchoire. Ils ont ensuite trouvé des preuves que deux poissons à mâchoires se sont hybridés plus tard et ont subi une deuxième duplication de leur génome ; cet hybride est devenu l'ancêtre de tous les poissons osseux.

John Postlethwait, génomicien à l'université de l'Oregon, souligne l'importance de la méthode d'analyse de l'équipe. "Ils ont adopté une approche statistique, et ne se sont pas contentés de dire : "Eh bien, il me semble que telle et telle chose s'est produite", a-t-il déclaré. "C'est une partie vraiment importante de leur méthodologie, non seulement parce qu'ils avaient accès à des génomes de meilleure qualité, mais aussi parce qu'ils ont adopté cette approche quantitative et qu'ils ont réellement testé ces hypothèses."

Ces études ne marquent que le début de ce que la tectonique des génomes et  ce que les syntagmes génétiques peuvent nous apprendre. Dans des prépublications récentes partagées sur biorxiv.org, l'équipe de Rokhsar a reconstitué l'évolution des chromosomes de grenouilles, et une équipe européenne s'est penchée sur l'évolution des chromosomes des poissons téléostéens. Une étude parue dans Current Biology a révélé une "inversion massive du génome" à l'origine de la coexistence de formes divergentes chez la caille commune, ce qui laisse entrevoir certaines des conséquences fonctionnelles du réarrangement des chromosomes.

L'hypothèse selon laquelle le mélange de ces groupes de liaisons génétiques pourrait être lié à la diversification des lignées et à l'innovation évolutive au cours des 500 derniers millions d'années est alléchante. Les réarrangements chromosomiques peuvent conduire à des incompatibilités d'accouplement qui pourraient provoquer la scission en deux d'une lignée. Il est également possible qu'un gène atterrissant dans un nouveau voisinage ait conduit à des innovations dans la régulation des gènes. "Peut-être que ce fut l'une des forces motrices de la diversification des animaux", a déclaré Simakov.

"C'est la grande question", a déclaré Lewin. "Il s'agit de véritables bouleversements tectoniques dans le génome, et il est peu probable qu'ils soient sans conséquence".

Auteur: Internet

Info: https://www.quantamagazine.org/secrets-of-early-animal-evolution-revealed-by-chromosome-tectonics-20220202.Viviane Callier 2 février 2022

[ méta-moteurs ] [ néo-phylogénie ]

 

Commentaires: 0

Ajouté à la BD par miguel

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]

 

Commentaires: 0

Ajouté à la BD par miguel