règles du jeu

De là, on peut déduire que toutes les fautes imaginables que l'on puisse commettre dans une langue

jréfléchi

sont le résultat

ékoi ? jréfléchi !

soit des contradictions internes de cette langue

alo ? tutrévèy ?

soit des contradictions entre cette langue et une autre

manfin, jéldroi deréfléchir !

Nous ne pouvons réaliser que des phénomènes linguistiques réalisables.

tapamidroiôchien ?

Ce qui n'est pas réalisable dans une langue n'est pas réalisé dans cette langue.

ilfôldir ! situami unroi ôchien.

D'où l'importance des grammairiens, correcteurs, vérificateurs et puristes.

ébin, janéPAmi.

Auteur: Molnár Katalin

Info: "Dlalang", in "Revue de littérature générale", éd. P.O.L.

[ tarot ] [ écriture phonétique ] [ discours parallèles ] [ erreurs ] [ chevauchements idiomatiques ]

préjugés

Les magistrats chargés de veiller sur l'ordre public tels que le lieutenant criminel, le lieutenant civil, le lieutenant de police, et tant d'autres, finissent presque toujours par avoir une opinion horrible de la société. Ils croient connaître les hommes et n'en connaissent que le rebut. On ne juge pas d'une ville par ses égouts et d'une maison par ses latrines. La plupart de ces magistrats me rappellent toujours le collège où les correcteurs ont une cabane auprès des commodités, et n'en sortent que pour donner le fouet.

Auteur: Chamfort Nicolas de

Info: Maximes et Pensées, Caractères et Anecdotes, Garnier-Flammarion 1968 245 p.102

[ . ]

verres correcteurs

(parlant de son étude des lentilles optiques) Cette portion de Perspectiva, lorsqu'elle est bien comprise, nous montre comment nous pouvons faire paraître les choses à très grande distance comme si elles étaient placées très près, et les choses plus grandes à proximité comme si elles étaient très petites, et comment nous pouvons faire paraître les petites choses placées à distance comme si elles étaient de toutes tailles, afin qu'il nous soit possible de lire les plus petites lettres à de grandes distances, ou compter le sable, les grains, les semences ou toute sorte de petits objets, etc.

Auteur: Grossetête Robert Grosseteste

Info: In A.C. Crombie Science, Optics, and Music in Medieval and Early Modern Thought Chapter 9, Section II (p. 198) The Hambledon Press. London, England. 1990

[ historique ]

mémoire

Mettez vos données sur disque dur et elles seront peut être sûres pendant une décennie si rien ne casse. Mais que faire pour garder l'info des millions d'années ?
La puissance de l'ADN comme dispositif de stockage a été identifiée la première fois seulement six ans après la découverte de la molécule. Dans une conférence de 1959 au California Institute of Technology, Richard Feynman, un des physiciens les plus admiré du 20 ème siècle, prévoyait que la miniaturisation de la technologie changerait probablement le monde - essentiellement en prévoyant la révolution numérique. Il précisa alors que la nature avait déjà fait un chip bien meilleur sous forme d'acide désoxyribonucléique.
Dans un petit paquet d'atomes au centre de chaque cellule, Feynman remarqua que toute l'information requise pour créer un humain, une amibe ou une tomate y sont codés. En beaucoup de domaines Feynman était en avance sur son temps. Les scientifiques ont calculé que l'ADN pourrait être le support de stockage idéal. Une seule livre d'ADN pouvant contenir toutes les données de tous les ordinateur.
Mais gérer cette puissance informatique s'est avérée difficile. Le premier ordinateur fonctionnant entièrement comme l'ADN fut créé en 1994 par Leonard Adleman, informaticien à l'université de Californie. Dans une cuillère à café d'eau, il utilisa une série de réactions biochimiques pour résoudre le problème célèbre "du représentant de commerce" (en bref de combien de manières peut-on aller de New York à Cleveland en s'arrêtant dans 7 autres villes dans l'intervalle ?). La promesse de l'approche était due au fait que chaque morceau d'ADN peut fonctionner essentiellement comme ordinateur indépendant, il devrait lui être possible de faire près d'un quadrillion de calculs immédiatement. Plus facile à dire qu'a faire !. Et si Adleman est lui-même est parvenu à résoudre un problème à 20 variables avec son ordinateur ADN beaucoup de chercheurs depuis, dans ce champ de l'ADN, travaillant après ce papier initial d'Adleman, se sont maintenant déplacés vers la confection de machines minuscules au lieu d'utiliser des molécules d'ADN. Le problème : Accéder à toute l'information d’une molécule de l'ADN.
"Ma propre conclusion est que le paradigme du calcul de l'ADN ne fournira pas une plate-forme de calcul puissante pour résoudre des problèmes" dit Lloyd Smith, scientifique à l'université de Wisconsin-Madison qui a effectué ce travail de calcul ADN, mais il ne prévoit pas de remplacer ses applications liées à la matière. "c'est mignon, mais je ne sais pas si c'est un concept si important." Quelques chercheurs qui sont resté avec cette idée de stocker l'information par ADN s'éloignent actuellement de l'idée que la molécule puisse sauvegarder des quantités d'information massives. Au lieu de cela, ils se concentrent sur de plus petits messages correcteurs pendant de très longues périodes - peut-être destinés à survivre à tous les livres et disques durs que la civilisation a produits.
L'ADN des organismes évolue constamment, mais les messages correcteurs d'erreurs destinés à protéger les organismes - restent très longtemps. Pak Chung Wong, chercheur aux Pacific National Laboratories, précise que quelques unes de ces contraintes de bactéries ont maintenu leur ADN quasi intact pendant des millions d'années. Lui et ses collègues ont développé une technique pour implanter au moins 100 mots dans le génome d'un organisme de sorte que le message soit protégé contre des erreurs. Wong et ses collègues ont prouvé qu'ils pourraient implanter un message (ils ont employé "c'est un petit monde après tout") dans le génome de bactérie. Une famille entière de bactéries avec le message put être créée, et même après des centaines de générations, le message était encore intact. Wong note qu'il devrait être possible d'envoyer un message au futur dans un organisme particulièrement robuste - tel que les bactéries ou autres cancrelats, qui survivraient à une guerre nucléaire. Plus pratiquement, les compagnies qui créent des organismes génétiquement modifiés pourraient employer cette technologie pour créer un genre de filigrane ADN pour protéger leur propriété intellectuelle. Au delà de fournir de la manière pour Genentech ou Monsanto afin d’empêcher d'autres compagnies de voler leurs organismes génétiquement modifiés, une telle technologie pourrait être la meilleure manière que nous ayons d'envoyer un message au futur éloigné. Oublions les gravures sur le satellites Voyager. Ce message pourrait durer aussi longtemps que n'importe quelle vie sur terre. La seule question : qu’y mettrons nous ?

Auteur: Internet

Info: Fortean Times, Message dans une bouteille d'ADN, 10.24.05

[ conservation ]

furtifs méta-moteurs

Découvrez les formes modulaires, la " cinquième opération fondamentale " des mathématiques

Les formes modulaires sont l’un des objets les plus beaux et les plus mystérieux des mathématiques. Quels sont-ils ?

" Il existe cinq opérations fondamentales en mathématiques ", aurait déclaré le mathématicien allemand Martin Eichler. " Addition, soustraction, multiplication, division et formes modulaires. "

Une partie du gag bien sûr, c’est que l’un d’entre eux n’est pas comme les autres. Les formes modulaires sont des fonctions beaucoup plus compliquées et énigmatiques, et les étudiants ne les rencontrent généralement pas avant leurs études supérieures. Mais " il y a probablement moins de domaines mathématiques où ils n'ont pas d'applications que là où ils en ont ", a déclaré Don Zagier , mathématicien à l'Institut de mathématiques Max Planck de Bonn, en Allemagne. Chaque semaine, de nouveaux articles étendent leur portée à la théorie des nombres, à la géométrie, à la combinatoire, à la topologie, à la cryptographie et même à la théorie des cordes.

Elles sont souvent décrites comme des fonctions qui satisfont des symétries si frappantes et si élaborées qu’elles ne devraient pas être possibles. Les propriétés associées à ces symétries rendent les formes modulaires extrêmement puissantes. C’est ce qui a fait d’elles des acteurs clés dans la preuve historique du dernier théorème de Fermat en 1994. C'est ce qui les a placés au cœur des travaux plus récents sur l'emballage des sphères . Et c'est ce qui les rend désormais cruciales pour le développement continu d'une " théorie mathématique du tout " Nommée programme de Langlands .

Mais que sont-elles ?

Symétries infinies

Pour comprendre une forme modulaire, il est utile de réfléchir d’abord à des symétries plus familières.

(...)

"Les formes modulaires ressemblent aux fonctions trigonométriques, mais sous stéroïdes", a-t-il ajouté. Ils satisfont une infinité de symétries " cachées ".

L'univers complexe

Les fonctions ne peuvent pas faire grand-chose lorsqu'elles sont définies en termes de nombres réels, c'est-à-dire des valeurs qui peuvent être exprimées sous forme décimale conventionnelle. En conséquence, les mathématiciens se tournent souvent vers les nombres complexes, qui peuvent être considérés comme des paires de nombres réels. Tout nombre complexe est décrit en termes de deux valeurs : une composante " réelle " et une composante " imaginaire ", qui est un nombre réel multiplié par la racine carrée de −1 (que les mathématiciens écrivent comme je).

Tout nombre complexe peut donc être représenté comme un point dans un plan à deux dimensions.

Il est difficile de visualiser les fonctions des nombres complexes, c’est pourquoi les mathématiciens se tournent souvent vers la couleur. Par exemple, vous pouvez colorer le plan complexe pour qu'il ressemble à une roue arc-en-ciel. La couleur de chaque point correspond à son angle en coordonnées polaires. Directement à droite du centre, là où les points ont un angle de 0 degré, vous obtenez du rouge. À 90 degrés, ou vers le haut, les points sont de couleur vert vif. Et ainsi de suite. Enfin, les courbes de niveau marquent les changements de taille ou d'ampleur, comme sur une carte topographique.

(...) (partie supprimée, voir pour plus sur le lien qui précède)

Le domaine fondamental

Pour ce faire, il est utile d’essayer de simplifier la façon dont nous envisageons ces fonctions complexes.

En raison des symétries de la forme modulaire, vous pouvez calculer la fonction entière sur la base d'un seul petit groupe d'entrées, situé dans une région du plan appelée domaine fondamental. Cette région ressemble à une bande montant à partir de l’axe horizontal avec un trou semi-circulaire découpé dans son fond.

Si vous savez comment la fonction se comporte là-bas, vous saurez ce qu'elle fait partout ailleurs. Voici comment:

Des transformations spéciales copient un fragment du plan complexe, appelé domaine fondamental, dans une infinité d’autres régions. Puisqu’une forme modulaire est définie en termes de ces transformations, si vous savez comment elle se comporte dans le domaine fondamental, vous pouvez facilement comprendre comment elle se comporte

(...) (partie supprimée, voir liens précédents pour plus). 

Espaces contrôlés

Dans les années 1920 et 1930, le mathématicien allemand Erich Hecke a développé une théorie plus approfondie autour des formes modulaires. Surtout, il s’est rendu compte qu’elles existaient dans certains espaces – des espaces avec des dimensions spécifiques et d’autres propriétés. Il a compris comment décrire concrètement ces espaces et les utiliser pour relier différentes formes modulaires entre elles.

Cette prise de conscience a inspiré de nombreuses mathématiques des XXe et XXIe siècles.

Pour comprendre comment, considérons d’abord une vieille question : de combien de façons peut-on écrire un entier donné comme la somme de quatre carrés ? Il n’y a qu’une seule façon d’écrire zéro, par exemple, alors qu’il existe huit façons d’exprimer 1, 24 façons d’exprimer 2 et 32 ​​façons d’exprimer 3. Pour étudier cette séquence — 1, 8, 24, 32 et ainsi de suite — les mathématiciens l'ont codé dans une somme infinie appelée fonction génératrice :

1+8q+24q2+32q3+24q4+48q5+…

Il n'existait pas nécessairement de moyen de connaître le coefficient de, disons, q174 devrait être – c’était précisément la question à laquelle ils essayaient de répondre. Mais en convertissant la séquence en fonction génératrice, les mathématiciens pourraient appliquer des outils issus du calcul et d’autres domaines pour en déduire des informations. Ils pourraient, par exemple, trouver un moyen d’approcher la valeur de n’importe quel coefficient.

Mais il s’avère que si la fonction génératrice est une forme modulaire, vous pouvez faire bien mieux : vous pouvez mettre la main sur une formule exacte pour chaque coefficient.

"Si vous savez qu'il s'agit d'une forme modulaire, alors vous savez tout", a déclaré Jan Bruinier de l'Université technique de Darmstadt en Allemagne.

En effet, les symétries infinies de la forme modulaire ne sont pas seulement belles à regarder : " elles sont si contraignantes ", a déclaré Larry Rolen de l'Université Vanderbilt, qu'elles peuvent être transformées en " un outil pour prouver automatiquement les congruences et les identités entre des choses. "

Les mathématiciens et les physiciens codent souvent des questions intéressantes en générant des fonctions. Ils voudront peut-être compter le nombre de points sur des courbes spéciales ou le nombre d’états dans certains systèmes physiques. "Si nous avons de la chance, alors ce sera une forme modulaire", a déclaré Claudia Alfes-Neumann , mathématicienne à l'université de Bielefeld en Allemagne. Cela peut être très difficile à prouver, mais si vous le pouvez, alors " la théorie des formes modulaires est si riche qu’elle vous offre des tonnes de possibilités pour étudier ces coefficients [de séries] ".

Blocs de construction

Toute forme modulaire va paraître très compliquée. Certaines des plus simples – qui sont utilisées comme éléments de base pour d’autres formes modulaires – sont appelées séries Eisenstein.

Vous pouvez considérer une série d’Eisenstein comme une somme infinie de fonctions. Pour déterminer chacune de ces fonctions, utilisez les points sur une grille 2D infinie :

(...) (partie images et schémas supprimée, voir liens pour plus. )

Le jeu continue

L'étude des formes modulaires a conduit à un flot de triomphes mathématiques. Par exemple, des travaux récents sur l'empilement de sphères, pour lesquels la mathématicienne ukrainienne Maryna Viazovska a remporté la médaille Fields l'année dernière , ont utilisé des formes modulaires. " Quand j'ai vu ça, j'ai été assez surprise ", a déclaré Bruinier. " Mais d'une manière ou d'une autre, ça marche. "

Les formes modulaires se sont révélées liées à un objet algébrique important appelé groupe de monstres. Elles ont été utilisées pour construire des types spéciaux de réseaux appelés graphes d'expansion, qui apparaissent en informatique, en théorie des communications et dans d'autres applications. Ils ont permis d'étudier des modèles potentiels d'interactions de particules en théorie des cordes et en physique quantique.

Le plus célèbre peut-être est que la preuve du dernier théorème de Fermat de 1994 reposait sur des formes modulaires. Le théorème, largement considéré comme l'un des problèmes les plus importants de la théorie des nombres, stipule qu'il n'existe pas trois entiers non nuls a , b et c qui satisfont à l'équation an+bn=cn si n est un nombre entier supérieur à 2. Le mathématicien Andrew Wiles l'a prouvé en supposant le contraire – qu'une solution à l'équation existe – puis en utilisant des formes modulaires pour montrer qu'une telle hypothèse doit conduire à une contradiction.

Il a d’abord utilisé sa solution supposée pour construire un objet mathématique appelé courbe elliptique. Il a ensuite montré qu'on peut toujours associer une forme modulaire unique à une telle courbe. Cependant, la théorie des formes modulaires dictait que dans ce cas, cette forme modulaire ne pouvait pas exister. "C'est trop beau pour être vrai", a déclaré Voight. Ce qui signifiait, à son tour, que la solution supposée ne pouvait pas exister – confirmant ainsi le dernier théorème de Fermat.

Non seulement cela a résolu un problème vieux de plusieurs siècles ; cela a également permis de mieux comprendre les courbes elliptiques, qui peuvent être difficiles à étudier directement (et qui jouent un rôle important dans la cryptographie et les codes correcteurs d'erreurs).

Cette démonstration a également mis en lumière un pont entre la géométrie et la théorie des nombres. Ce pont a depuis été élargi dans le programme Langlands,  un plus grand ensemble de connexions entre les deux domaines – et sujet d'un des efforts de recherche centraux des mathématiques contemporaines. Les formes modulaires ont également été généralisées dans d'autres domaines, où leurs applications potentielles commencent tout juste à être reconnues.

Elles continuent d’apparaître partout en mathématiques et en physique, parfois de manière assez mystérieuse. "Je regarde dans un article sur les trous noirs", a déclaré Steve Kudla de l'Université de Toronto, "et j'y trouve des formes modulaires qui sont mes amies. Mais je ne sais pas pourquoi elles  sont là.

"D'une manière ou d'une autre", a-t-il ajouté, "les formes modulaires capturent certaines des symétries les plus fondamentales du monde".



 

Auteur: Internet

Info: https://www.quantamagazine.org, Jordana Cepelewicz, 21 septembre 2023

[ ultracomplexité ]

paliers bayésiens

Une nouvelle preuve montre que les graphiques " expandeurs " se synchronisent

La preuve établit de nouvelles conditions qui provoquent une synchronisation synchronisée des oscillateurs connectés.

Il y a six ans, Afonso Bandeira et Shuyang Ling tentaient de trouver une meilleure façon de discerner les clusters dans d'énormes ensembles de données lorsqu'ils sont tombés sur un monde surréaliste. Ling s'est rendu compte que les équations qu'ils avaient proposées correspondaient, de manière inattendue, parfaitement à un modèle mathématique de synchronisation spontanée. La synchronisation spontanée est un phénomène dans lequel des oscillateurs, qui peuvent prendre la forme de pendules, de ressorts, de cellules cardiaques humaines ou de lucioles, finissent par se déplacer de manière synchronisée sans aucun mécanisme de coordination central.

Bandeira, mathématicien à l' École polytechnique fédérale de Zurich , et Ling, data scientist à l'Université de New York , se sont plongés dans la recherche sur la synchronisation, obtenant une série de résultats remarquables sur la force et la structure que doivent avoir les connexions entre oscillateurs pour forcer les oscillateurs. à synchroniser. Ce travail a abouti à un article d'octobre dans lequel Bandeira a prouvé (avec cinq co-auteurs) que la synchronisation est inévitable dans des types spéciaux de réseaux appelés graphes d'expansion, qui sont clairsemés mais également bien connectés.

Les graphiques expanseurs s'avèrent avoir de nombreuses applications non seulement en mathématiques, mais également en informatique et en physique. Ils peuvent être utilisés pour créer des codes correcteurs d’erreurs et pour déterminer quand les simulations basées sur des nombres aléatoires convergent vers la réalité qu’elles tentent de simuler. Les neurones peuvent être modélisés dans un graphique qui, selon certains chercheurs, forme un expanseur, en raison de l'espace limité pour les connexions à l'intérieur du cerveau. Les graphiques sont également utiles aux géomètres qui tentent de comprendre comment parcourir des surfaces compliquées , entre autres problèmes.

Le nouveau résultat " donne vraiment un aperçu considérable des types de structures graphiques qui vont garantir la synchronisation ", a déclaré Lee DeVille , un mathématicien de l'Université de l'Illinois qui n'a pas participé aux travaux. 

Synchronisation douce-amère         

"La synchronisation est vraiment l'un des phénomènes fondamentaux de la nature", a déclaré Victor Souza , un mathématicien de l'Université de Cambridge qui a travaillé avec Bandeira sur l'article. Pensez aux cellules stimulateurs cardiaques de votre cœur, qui synchronisent leurs pulsations via des signaux électriques. Lors d'expériences en laboratoire, "vous pouvez faire vibrer des centaines ou des milliers de cellules embryonnaires de stimulateur cardiaque à l'unisson", a déclaré Steven Strogatz , mathématicien à l'Université Cornell et autre co-auteur. " C'est un peu effrayant parce que ce n'est pas un cœur entier ; c'est juste au niveau des cellules."

En 1975, le physicien japonais Yoshiki Kuramoto a introduit un modèle mathématique décrivant ce type de système. Son modèle fonctionne sur un réseau appelé graphe, où les nœuds sont reliés par des lignes appelées arêtes. Les nœuds sont appelés voisins s’ils sont liés par une arête. Chaque arête peut se voir attribuer un numéro appelé poids qui code la force de la connexion entre les nœuds qu’elle connecte.

Dans le modèle de synchronisation de Kuramoto, chaque nœud contient un oscillateur, représenté par un point tournant autour d'un cercle. Ce point montre, par exemple, où se trouve une cellule cardiaque dans son cycle de pulsation. Chaque oscillateur tourne à sa propre vitesse préférée. Mais les oscillateurs veulent également correspondre à leurs voisins, qui peuvent tourner à une fréquence différente ou à un moment différent de leur cycle. (Le poids du bord reliant deux oscillateurs mesure la force du couplage entre eux.) S'écarter de ces préférences contribue à l'énergie dépensée par un oscillateur. Le système tente d'équilibrer tous les désirs concurrents en minimisant son énergie totale. La contribution de Kuramoto a été de simplifier suffisamment ces contraintes mathématiques pour que les mathématiciens puissent progresser dans l'étude du système. Dans la plupart des cas, de tels systèmes d’équations différentielles couplées sont pratiquement impossibles à résoudre.

Malgré sa simplicité, le modèle Kuramoto s'est révélé utile pour modéliser la synchronisation des réseaux, du cerveau aux réseaux électriques, a déclaré Ginestra Bianconi , mathématicienne appliquée à l'Université Queen Mary de Londres. "Dans le cerveau, ce n'est pas particulièrement précis, mais on sait que c'est très efficace", a-t-elle déclaré.

"Il y a ici une danse très fine entre les mathématiques et la physique, car un modèle qui capture un phénomène mais qui est très difficile à analyser n'est pas très utile", a déclaré Souza.

Dans son article de 1975, Kuramoto supposait que chaque nœud était connecté à tous les autres nœuds dans ce qu'on appelle un graphe complet. À partir de là, il a montré que pour un nombre infini d’oscillateurs, si le couplage entre eux était suffisamment fort, il pouvait comprendre leur comportement à long terme. Faisant l'hypothèse supplémentaire que tous les oscillateurs avaient la même fréquence (ce qui en ferait ce qu'on appelle un modèle homogène), il trouva une solution dans laquelle tous les oscillateurs finiraient par tourner simultanément, chacun arrondissant le même point de son cercle exactement au même endroit. en même temps. Même si la plupart des graphiques du monde réel sont loin d'être complets, le succès de Kuramoto a conduit les mathématiciens à se demander ce qui se passerait s'ils assouplissaient ses exigences.  

Mélodie et silence

Au début des années 1990, avec son élève Shinya Watanabe , Strogatz a montré que la solution de Kuramoto était non seulement possible, mais presque inévitable, même pour un nombre fini d'oscillateurs. En 2011, Richard Taylor , de l'Organisation australienne des sciences et technologies de la défense, a renoncé à l'exigence de Kuramoto selon laquelle le graphique devait être complet. Il a prouvé que les graphes homogènes où chaque nœud est connecté à au moins 94 % des autres sont assurés de se synchroniser globalement. Le résultat de Taylor avait l'avantage de s'appliquer à des graphes avec des structures de connectivité arbitraires, à condition que chaque nœud ait un grand nombre de voisins.

En 2018, Bandeira, Ling et Ruitu Xu , un étudiant diplômé de l'Université de Yale, ont abaissé à 79,3 % l'exigence de Taylor selon laquelle chaque nœud doit être connecté à 94 % des autres. En 2020, un groupe concurrent a atteint 78,89 % ; en 2021, Strogatz, Alex Townsend et Martin Kassabov ont établi le record actuel en démontrant que 75 % suffisaient.

Pendant ce temps, les chercheurs ont également attaqué le problème dans la direction opposée, en essayant de trouver des graphiques hautement connectés mais non synchronisés globalement. Dans une série d'articles de 2006 à 2022 , ils ont découvert graphique après graphique qui pourraient éviter la synchronisation globale, même si chaque nœud était lié à plus de 68 % des autres. Beaucoup de ces graphiques ressemblent à un cercle de personnes se tenant la main, où chaque personne tend la main à 10, voire 100 voisins proches. Ces graphiques, appelés graphiques en anneaux, peuvent s'installer dans un état dans lequel chaque oscillateur est légèrement décalé par rapport au suivant.

De toute évidence, la structure du graphique influence fortement la synchronisation. Ling, Xu et Bandeira sont donc devenus curieux des propriétés de synchronisation des graphiques générés aléatoirement. Pour rendre leur travail précis, ils ont utilisé deux méthodes courantes pour construire un graphique de manière aléatoire.

Le premier porte le nom de Paul Erdős et Alfréd Rényi, deux éminents théoriciens des graphes qui ont réalisé des travaux fondateurs sur le modèle. Pour construire un graphique à l'aide du modèle Erdős-Rényi, vous commencez avec un groupe de nœuds non connectés. Ensuite, pour chaque paire de nœuds, vous les reliez au hasard avec une certaine probabilité p . Si p vaut 1 %, vous liez les bords 1 % du temps ; si c'est 50 %, chaque nœud se connectera en moyenne à la moitié des autres.

Si p est légèrement supérieur à un seuil qui dépend du nombre de nœuds dans le graphique, le graphique formera, avec une très grande probabilité, un réseau interconnecté (au lieu de comprendre des clusters qui ne sont pas reliés). À mesure que la taille du graphique augmente, ce seuil devient minuscule, de sorte que pour des graphiques suffisamment grands, même si p est petit, ce qui rend le nombre total d'arêtes également petit, les graphiques d'Erdős-Rényi seront connectés.

Le deuxième type de graphe qu’ils ont considéré est appelé graphe d -régulier. Dans de tels graphes, chaque nœud a le même nombre d’arêtes, d . (Ainsi, dans un graphe 3-régulier, chaque nœud est connecté à 3 autres nœuds, dans un graphe 7-régulier, chaque nœud est connecté à 7 autres, et ainsi de suite.)

(Photo avec schéma)

Les graphiques bien connectés bien qu’ils soient clairsemés (n’ayant qu’un petit nombre d’arêtes) sont appelés graphiques d’expansion. Celles-ci sont importantes dans de nombreux domaines des mathématiques, de la physique et de l'informatique, mais si vous souhaitez construire un graphe d'expansion avec un ensemble particulier de propriétés, vous constaterez qu'il s'agit d'un " problème étonnamment non trivial ", selon l'éminent mathématicien. Terry Tao. Les graphes d'Erdős-Rényi, bien qu'ils ne soient pas toujours extensibles, partagent bon nombre de leurs caractéristiques importantes. Et il s'avère cependant que si vous construisez un graphe d -régulier et connectez les arêtes de manière aléatoire, vous obtiendrez un graphe d'expansion.

Joindre les deux bouts

En 2018, Ling, Xu et Bandeira ont deviné que le seuil de connectivité pourrait également mesurer l'émergence d'une synchronisation globale : si vous générez un graphique d'Erdős-Rényi avec p juste un peu plus grand que le seuil, le graphique devrait se synchroniser globalement. Ils ont fait des progrès partiels sur cette conjecture, et Strogatz, Kassabov et Townsend ont ensuite amélioré leur résultat. Mais il subsiste un écart important entre leur nombre et le seuil de connectivité.

En mars 2022, Townsend a rendu visite à Bandeira à Zurich. Ils ont réalisé qu'ils avaient une chance d'atteindre le seuil de connectivité et ont fait appel à Pedro Abdalla , un étudiant diplômé de Bandeira, qui à son tour a enrôlé son ami Victor Souza. Abdalla et Souza ont commencé à peaufiner les détails, mais ils se sont rapidement heurtés à des obstacles.

Il semblait que le hasard s’accompagnait de problèmes inévitables. À moins que p ne soit significativement plus grand que le seuil de connectivité, il y aurait probablement des fluctuations sauvages dans le nombre d'arêtes de chaque nœud. L'un peut être attaché à 100 arêtes ; un autre pourrait être attaché à aucun. "Comme pour tout bon problème, il riposte", a déclaré Souza. Abdalla et Souza ont réalisé qu'aborder le problème du point de vue des graphiques aléatoires ne fonctionnerait pas. Au lieu de cela, ils utiliseraient le fait que la plupart des graphes d’Erdős-Rényi sont des expanseurs. "Après ce changement apparemment innocent, de nombreuses pièces du puzzle ont commencé à se mettre en place", a déclaré Souza. "En fin de compte, nous obtenons un résultat bien meilleur que ce à quoi nous nous attendions." Les graphiques sont accompagnés d'un nombre appelé expansion qui mesure la difficulté de les couper en deux, normalisé à la taille du graphique. Plus ce nombre est grand, plus il est difficile de le diviser en deux en supprimant des nœuds.

Au cours des mois suivants, l’équipe a complété le reste de l’argumentation en publiant son article en ligne en octobre. Leur preuve montre qu'avec suffisamment de temps, si le graphe a suffisamment d'expansion, le modèle homogène de Kuramoto se synchronisera toujours globalement.

Sur la seule route

L’un des plus grands mystères restants de l’étude mathématique de la synchronisation ne nécessite qu’une petite modification du modèle présenté dans le nouvel article : que se passe-t-il si certaines paires d’oscillateurs se synchronisent, mais que d’autres s’en écartent ? Dans cette situation, " presque tous nos outils disparaissent immédiatement ", a déclaré Souza. Si les chercheurs parviennent à progresser sur cette version du problème, ces techniques aideront probablement Bandeira à résoudre les problèmes de regroupement de données qu’il avait entrepris de résoudre avant de se tourner vers la synchronisation.

Au-delà de cela, il existe des classes de graphiques outre les extensions, des modèles plus complexes que la synchronisation globale et des modèles de synchronisation qui ne supposent pas que chaque nœud et chaque arête sont identiques. En 2018, Saber Jafarpour et Francesco Bullo de l'Université de Californie à Santa Barbara ont proposé un test de synchronisation globale qui fonctionne lorsque les rotateurs n'ont pas de poids ni de fréquences préférées identiques. L'équipe de Bianconi et d'autres ont travaillé avec des réseaux dont les liens impliquent trois, quatre nœuds ou plus, plutôt que de simples paires.

Bandeira et Abdalla tentent déjà d'aller au-delà des modèles Erdős-Rényi et d -regular vers d'autres modèles de graphes aléatoires plus réalistes. En août dernier, ils ont partagé un article , co-écrit avec Clara Invernizzi, sur la synchronisation dans les graphes géométriques aléatoires. Dans les graphes géométriques aléatoires, conçus en 1961, les nœuds sont dispersés de manière aléatoire dans l'espace, peut-être sur une surface comme une sphère ou un plan. Les arêtes sont placées entre des paires de nœuds s'ils se trouvent à une certaine distance les uns des autres. Leur inventeur, Edgar Gilbert, espérait modéliser des réseaux de communication dans lesquels les messages ne peuvent parcourir que de courtes distances, ou la propagation d'agents pathogènes infectieux qui nécessitent un contact étroit pour se transmettre. Des modèles géométriques aléatoires permettraient également de mieux capturer les liens entre les lucioles d'un essaim, qui se synchronisent en observant leurs voisines, a déclaré Bandeira.

Bien entendu, relier les résultats mathématiques au monde réel est un défi. "Je pense qu'il serait un peu mensonger de prétendre que cela est imposé par les applications", a déclaré Strogatz, qui a également noté que le modèle homogène de Kuramoto ne peut jamais capturer la variation inhérente aux systèmes biologiques. Souza a ajouté : " Il y a de nombreuses questions fondamentales que nous ne savons toujours pas comment résoudre. C'est plutôt comme explorer la jungle. " 



 

Auteur: Internet

Info: https://www.quantamagazine.org - Leïla Sloman, 24 juillet 2023

[ évolution ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]