éloge de l'indiscipline

La question de la désobéissance est au cœur de l’attentat contre le Bataclan. La tuerie a été stoppée par un commissaire de la brigade anticriminalité (BAC) qui a enfreint les consignes. À l’inverse, huit soldats de la force Sentinelle y assistaient les bras ballants, comme on le leur avait ordonné. Ces sujets très sensibles sont abordés dans le documentaire Les Ombres du Bataclan, de Francis Gillery (en ligne sur arte.tv), et dans le livre Le Procès, de Georges Fenech (Éditions du Rocher), d’après les rapports de la commission d’enquête parlementaire.

Quatre-vingt-dix morts, c’est déjà suffisamment monstrueux. Mais le bilan aurait été bien plus lourd sans l’action d’un homme qui a enfreint le protocole. Cet homme, appelons-le commis­saire X, vu qu’il a toujours tenu à garder l’anonymat. En novembre 2015, il fait partie de la brigade anticriminalité (BAC), et patrouille dans le 17e arrondissement de Paris lorsqu’il apprend, par sa radio de bord, l’attentat au Stade de France. Ni une ni deux, il décide de s’y rendre. Il est alors 21 h 25. Quelques minutes plus tard, ce sont les tirs sur les terrasses dans le 11e. Aussitôt, changement de direction. Puis c’est le Bataclan : le commissaire X y parvient à 21 h 54. Devant l’établissement, il trouve des militaires de la force Sentinelle, qui étaient là par hasard. À l’intérieur, ça tire. Il demande aux soldats d’intervenir : leur hiérarchie refuse. Il leur demande alors de lui filer leurs armes : ils leur répondent qu’ils n’ont pas le droit de s’en séparer.

Le protocole aurait exigé que le commissaire X attende sagement l’arrivée des forces d’élite. Mais ce n’est pas son choix. Il appelle sa femme pour lui dire adieu, persuadé qu’il n’en sortira pas vivant, et décide, sans demander l’autorisation de sa hiérarchie, d’entrer avec son équipier dans la salle de concert. Il abat un terroriste, ce qui contraint les deux autres à se replier à l’étage. Dès lors, il n’y aura plus aucun tir sur les spectateurs. On peut affirmer que le commissaire X a mis fin au massacre. Il faudra attendre plus de vingt minutes – durant lesquelles les terroristes n’auraient pas cessé de tirer – pour que la brigade de recherche et d’intervention (BRI) arrive au Bataclan, à 22 h 20 précisément.

Aujourd’hui, le commissaire X est célébré, à juste titre, comme un héros. Mais, selon la rigide logique hiérarchique, il pourrait être sanctionné, puisqu’il a délibérément contrevenu aux consignes. Le livre de Georges Fenech rapporte son témoignage devant la commission d’enquête parlementaire sur les attentats : "Humainement, compte tenu de ce qui se passait, on sentait bien qu’ils étaient en train d’achever les otages, on ne pouvait pas rester à l’extérieur. Un des fonctionnaires a proposé d’attendre la BRI. J’ai répondu non."

L’attitude du commissaire X est à opposer à celle des soldats de la force Sentinelle. Car il y avait non pas un ou deux, mais huit – oui, huit ! – militaires équipés de fusils d’assaut devant le Bataclan. Quand les policiers demandent à la préfecture l’autorisation de les faire intervenir, on leur répond : "Négatif, vous n’engagez pas les militaires, on n’est pas en zone de guerre." Alors, à quoi servent ces guignols en treillis ? S’ils voient une femme en train d’être violée, ils restent les bras ballants tant qu’ils ne reçoivent pas l’ordre d’intervenir ?

On a également dit qu’ils n’étaient pas formés pour ce genre d’intervention. Sans doute. Mais avec un tel raisonnement, le commissaire X ne serait jamais entré dans le Bataclan. La commis­sion d’enquête parlementaire a auditionné le général Bruno Le Ray, alors gouverneur militaire de ­Paris. Sa justification de la passivité des soldats est telle­ment hallucinante que ça vaut le coup d’en citer de larges extraits : "On n’entre pas dans une bouteille d’encre, c’est-à-dire sans savoir où l’on va, ce que l’on va faire et contre qui […] en mon âme et conscience, je n’aurais donc pas donné l’ordre à mes soldats de pénétrer dans le bâtiment sans un plan d’action prédéfini […] il est impensable de mettre des soldats en danger dans l’espoir hypothétique de sauver d’autres hommes […] ils n’ont pas vocation à se jeter dans la gueule du loup s’ils ne sont pas assurés de disposer de chances raisonnables d’accomplir leur mission."

Je pensais naïvement que les militaires étaient entraînés pour faire face à n’importe quelle situation d’urgence. Je ­découvre que non, bien au contraire. Qu’ils ne donnent ­l’assaut qu’après mûre et patiente analyse de la situation, et qu’à la condition d’être certains de ne prendre aucun risque et de réussir, cela quand bien même des gens se font canarder à quelques mètres d’eux ! Georges Fenech, lui non plus, n’en ­revient toujours pas, et n’hésite pas à écrire que "cette passivité confine à de la non-assistance à personne en danger".

Justement, c’est le coeur du sujet. Quand vous êtes huit militaires lourdement armés et que des gens se font tuer à deux pas, n’est-ce pas de la non-assistance à personne en danger que de rester passif (de surcroît en laissant de simples policiers munis de leur flingue de service aller au feu) ? Il y a les ordres, certes. Mais, dans certains cas, on a non seulement le droit, mais le devoir d’y désobéir. L’article D. ­4122–3 du Code de la défense stipule que le militaire "ne doit pas exécuter un ordre prescrivant d’accomplir un acte manifestement illégal". Ce texte a été rédigé pour éviter (ou du moins limiter) la torture ou les massacres de civils. Mais si l’ordre contrevient à l’obligation de porter secours, est-il lui aussi "manifestement illégal" ? En droit pénal, cette obligation de désobéissance porte un nom : la "théorie de la baïonnette intelligente". Un concept qui semble totalement échapper au général Bruno Le Ray.

"Ils étaient en train d’achever les otages, on ne pouvait pas rester à l’extérieur."

Il y en a d’autres qui n’ont pas attendu les ordres. Ce sont les hommes du Raid. Cette unité était alors dirigée par Jean-Michel Fauvergue : "J’étais en train de dîner avec mes hommes quand j’ai appris l’attentat. J’ai alors décidé de me rendre aussitôt, de ma propre initiative, au Bataclan. Mais je n’ai jamais été appelé officiellement." Jean-Michel Fauvergue aurait eu le temps d’avaler dessert et digestif s’il avait attendu l’ordre de sa hiérarchie. Pourquoi le Raid – unité a priori la plus compé­tente dans ce genre de situation – n’a-t-il pas été mobilisé ? Cela reste, encore aujourd’hui, un mystère. Bizarrement, le préfet de police, Michel Cadot, a décidé de confier les rênes de l’opération à la BRI, dont Georges Fenech dit qu’elle est "habituellement compétente pour neutraliser des forcenés ou des preneurs d’otages classiques". Le Raid aurait-il été plus rapide que la BRI s’il avait dirigé les opérations – sachant que plus de deux heures se sont écoulées entre l’arrivée de cette dernière et l’assaut final ? Impossible de répondre, mais, pour Jean-Michel Fauvergue, il est indéniable que "quelque chose ne va pas lorsqu’un groupe spécialisé de compétence nationale se met à la disposition d’un groupe non spécialisé de compétence locale". En tout cas, ce 13 novembre, il assume totalement de ne pas avoir attendu la bénédiction de sa hiérarchie pour intervenir : "Dans ma carrière, il m’est arrivé plein de fois de prendre des initiatives sans attendre les ordres."

Autre problème, encore lié à cette histoire d’obéissance. Dans le documentaire de Francis Gillery, on apprend l’existence d’une brigade d’intervention (BI), à ne pas confondre avec la BRI. La BI était une brigade peu médiatisée, mais d’élite, elle aussi (elle a notamment participé à l’assaut contre l’Hyper Cacher), aujourd’hui intégrée à la BRI. Le 13 novembre, six de ses membres reviennent d’un entraînement à la tour Eiffel, lorsqu’ils ont connaissance de l’attentat au Stade de France. Ils filent illico à leur QG, s’équipent et attendent les ordres, prêts à foncer. Il est environ 21 h 30. Mais c’est la consternation : la hiérarchie leur dit non, vous n’y allez pas. Alors qu’ils sont à cinq minutes des terrasses du 11e arrondissement, on leur ordonne de se rendre au 36, quai des Orfèvres, d’attendre que la BRI s’équipe, puis de s’intégrer à celle-ci. Ce qui les fait arriver au Bataclan vers 22 h 40. Alors qu’ils auraient pu y être au moins quarante-cinq minutes plus tôt, et peut-être même avant le commissaire X ! Un retard incompréhensible, quand chaque minute représente des dizaines de victimes supplémentaires. Dans Les Ombres du Bataclan, un ancien membre de la BI exprime ses regrets d’avoir obéi : "Le commandant qui a appelé pour demander l’autorisation de se rendre sur place, je pense qu’il regrette, non pas d’avoir appelé, mais d’avoir demandé l’autorisation, il aurait dû appeler pour dire on y va. Point."

Depuis, les règles ont changé : dans le même genre de situation, les soldats de la force Sentinelle pourraient intervenir, et l’unité d’élite la plus proche des lieux serait autorisée à conduire les opérations. On peut aussi tirer de cette tragédie une leçon de philosophie : ceux qui font évoluer les règles ne sont pas tant ceux qui les respectent que ceux qui les transgressent, comme l’héroïque commissaire X.

Auteur: Fischetti Antonio

Info: Charlie Hebdo, sept 2021

[ absurde administration ]

intelligence artificielle

Apprendre l'anglais n'est pas une tâche facile, comme le savent d'innombrables étudiants. Mais lorsque l'étudiant est un ordinateur, une approche fonctionne étonnamment bien : Il suffit d'alimenter un modèle mathématique géant, appelé réseau neuronal, avec des montagnes de textes provenant d'Internet. C'est le principe de fonctionnement des modèles linguistiques génératifs tels que ChatGPT d'OpenAI, dont la capacité à tenir une conversation cohérente (à défaut d'être toujours sincère) sur un large éventail de sujets a surpris les chercheurs et le public au cours de l'année écoulée.

Mais cette approche présente des inconvénients. D'une part, la procédure de "formation" nécessaire pour transformer de vastes archives textuelles en modèles linguistiques de pointe est coûteuse et prend beaucoup de temps. D'autre part, même les personnes qui forment les grands modèles linguistiques ont du mal à comprendre leur fonctionnement interne, ce qui, à son tour, rend difficile la prévision des nombreuses façons dont ils peuvent échouer.

Face à ces difficultés, certains chercheurs ont choisi d'entraîner des modèles plus petits sur des ensembles de données plus restreints, puis d'étudier leur comportement. "C'est comme le séquençage du génome de la drosophile par rapport au séquençage du génome humain", explique Ellie Pavlick, chercheuse sur les modèles de langage à l'université de Brown.

Dans un article récemment publié sur le serveur scientifique arxiv.org, deux chercheurs de Microsoft ont présenté une nouvelle méthode pour former de minuscules modèles de langage : Les élever avec un régime strict d'histoires pour enfants.

RÉSEAUX NEURONAUX

Des chercheurs acquièrent une nouvelle compréhension à partir d'une simple IA  

Les chercheurs en apprentissage automatique ont compris cette leçon. GPT-3.5, le grand modèle linguistique qui alimente l'interface ChatGPT, compte près de 200 milliards de paramètres et a été entraîné sur un ensemble de données comprenant des centaines de milliards de mots (OpenAI n'a pas publié les chiffres correspondants pour son successeur, GPT-4).  L'entraînement de modèles aussi vastes nécessite généralement au moins 1 000 processeurs spécialisés, appelés GPU, fonctionnant en parallèle pendant des semaines. Seules quelques entreprises peuvent réunir les ressources nécessaires, sans parler de l'entraînement et de la comparaison de différents modèles.

Les deux chercheurs ont montré que des modèles linguistiques des milliers de fois plus petits que les systèmes de pointe actuels apprenaient rapidement à raconter des histoires cohérentes et grammaticalement justes lorsqu'ils étaient formés de cette manière. Leurs résultats indiquent de nouvelles pistes de recherche qui pourraient être utiles pour former des modèles plus importants et comprendre leur comportement.

"J'ai trouvé tout  ça très instructif", a déclaré Chandra Bhagavatula, chercheur sur les modèles de langage à l'Allen Institute for Artificial Intelligence de Seattle. "Le concept lui-même est très intéressant.

Il était une fois

Les réseaux neuronaux au cœur des modèles de langage sont des structures mathématiques vaguement inspirées du cerveau humain. Chacun d'entre eux contient de nombreux neurones artificiels disposés en couches, avec des connexions entre les neurones des couches adjacentes. Le comportement du réseau neuronal est régi par la force de ces connexions, appelées paramètres. Dans un modèle linguistique, les paramètres contrôlent les mots que le modèle peut produire ensuite, compte tenu d'une invite initiale et des mots qu'il a déjà générés.

Un modèle ne prend véritablement vie qu'au cours de la formation, lorsqu'il compare de manière répétée ses propres résultats au texte de son ensemble de données de formation et qu'il ajuste ses paramètres afin d'accroître la ressemblance. Un réseau non entraîné avec des paramètres aléatoires est trivialement facile à assembler à partir de quelques lignes de code, mais il ne produira que du charabia. Après l'entraînement, il peut souvent poursuivre de manière plausible un texte peu familier. Les modèles de plus grande taille sont souvent soumis à des réglages plus fins qui leur apprennent à répondre à des questions et à suivre des instructions, mais l'essentiel de la formation consiste à maîtriser la prédiction des mots.

Pour réussir à prédire des mots, un modèle linguistique doit maîtriser de nombreuses compétences différentes. Par exemple, les règles de la grammaire anglaise suggèrent que le mot suivant le mot "going" sera probablement "to", quel que soit le sujet du texte. En outre, un système a besoin de connaissances factuelles pour compléter "la capitale de la France est", et compléter un passage contenant le mot "not" nécessite une connaissance rudimentaire de la logique.

"Le langage brut est très compliqué", explique Timothy Nguyen, chercheur en apprentissage automatique chez DeepMind. "Pour que des capacités linguistiques intéressantes apparaissent, les gens ont eu recours à l'idée que plus il y a de données, mieux c'est".

(photo) Ronen Eldan s'est rendu compte qu'il pouvait utiliser les histoires d'enfants générées par de grands modèles linguistiques pour en entraîner rapidement de plus petits.

Introduction

Ronen Eldan, mathématicien qui a rejoint Microsoft Research en 2022 pour étudier les modèles de langage génératifs, souhaitait développer un moyen moins coûteux et plus rapide d'explorer leurs capacités. Le moyen naturel d'y parvenir était d'utiliser un petit ensemble de données, ce qui signifiait qu'il devait entraîner les modèles à se spécialiser dans une tâche spécifique, afin qu'ils ne s'éparpillent pas. Au départ, il voulait entraîner les modèles à résoudre une certaine catégorie de problèmes mathématiques, mais un après-midi, après avoir passé du temps avec sa fille de 5 ans, il s'est rendu compte que les histoires pour enfants convenaient parfaitement. "L'idée m'est venue littéralement après lui avoir lu une histoire", a-t-il déclaré.

Pour générer des histoires cohérentes pour les enfants, un modèle de langage devrait apprendre des faits sur le monde, suivre les personnages et les événements, et observer les règles de grammaire - des versions plus simples des défis auxquels sont confrontés les grands modèles. Mais les grands modèles formés sur des ensembles de données massives apprennent d'innombrables détails non pertinents en même temps que les règles qui comptent vraiment. Eldan espérait que la brièveté et le vocabulaire limité des histoires pour enfants rendraient l'apprentissage plus gérable pour les petits modèles, ce qui les rendrait à la fois plus faciles à former et plus faciles à comprendre.

Dans le monde des modèles de langage, cependant, le terme "petit" est relatif : Un ensemble de données mille fois plus petit que celui utilisé pour former GPT-3.5 devrait encore contenir des millions d'histoires. "Je ne sais pas combien d'argent vous voulez dépenser, mais je suppose que vous n'allez pas engager des professionnels pour écrire quelques millions de nouvelles", a déclaré M. Nguyen.

Il faudrait un auteur extraordinairement prolifique pour satisfaire des lecteurs aussi voraces, mais Eldan avait quelques candidats en tête. Qui peut mieux écrire pour un public de petits modèles linguistiques que pour de grands modèles ?

Toys stories

Eldan a immédiatement entrepris de créer une bibliothèque d'histoires synthétiques pour enfants générées par de grands modèles linguistiques. Mais il a rapidement découvert que même les modèles de pointe ne sont pas naturellement très créatifs. Si l'on demande à GPT-4 d'écrire des histoires adaptées à des enfants de 4 ans, explique Eldan, "environ un cinquième des histoires concernera des enfants qui vont au parc et qui ont peur des toboggans". C'est apparemment la quintessence des histoires pour enfants d'âge préscolaire, selon l'Internet.

La solution a consisté à ajouter un peu d'aléatoire dans le message. Tout d'abord, Eldan a utilisé le GPT-4 pour générer une liste de 1 500 noms, verbes et adjectifs qu'un enfant de 4 ans pourrait connaître - suffisamment courte pour qu'il puisse facilement la vérifier lui-même. Il a ensuite écrit un programme informatique simple qui demanderait à plusieurs reprises à GPT-3.5 ou à GPT-4 de générer une histoire adaptée à l'âge de l'enfant, comprenant trois mots aléatoires de la liste, ainsi qu'un détail supplémentaire choisi au hasard, comme une fin heureuse ou un rebondissement de l'intrigue. Les histoires obtenues, heureusement, étaient moins axées sur des diapositives effrayantes.

Eldan disposait désormais d'une procédure pour produire des données de formation à la demande, mais il n'avait aucune idée du nombre d'histoires dont il aurait besoin pour former un modèle fonctionnel, ni de la taille de ce modèle. C'est alors qu'il s'est associé à Yuanzhi Li, chercheur en apprentissage automatique chez Microsoft et à l'université Carnegie Mellon, pour essayer différentes possibilités, en tirant parti du fait que les petits modèles peuvent être formés très rapidement. La première étape consistait à décider comment évaluer leurs modèles.

Introduction

Dans la recherche sur les modèles de langage - comme dans toute salle de classe - la notation est un sujet délicat. Il n'existe pas de rubrique parfaite qui englobe tout ce que les chercheurs veulent savoir, et les modèles qui excellent dans certaines tâches échouent souvent de manière spectaculaire dans d'autres. Au fil du temps, les chercheurs ont mis au point divers critères de référence standard basés sur des questions dont les réponses ne sont pas ambiguës, ce qui est une bonne approche si vous essayez d'évaluer des compétences spécifiques. Mais Eldan et Li se sont intéressés à quelque chose de plus nébuleux : quelle doit être la taille réelle des modèles linguistiques si l'on simplifie le langage autant que possible ?

"Pour vérifier directement si le modèle parle anglais, je pense que la seule chose à faire est de laisser le modèle générer de l'anglais de manière ouverte", a déclaré M. Eldan.

Il n'y a que deux façons de mesurer les performances d'un modèle sur des questions aussi qualitatives : S'appuyer sur des évaluateurs humains ou se tourner à nouveau vers le GPT-4. Les deux chercheurs ont opté pour cette dernière solution, laissant les grands modèles à la fois rédiger les manuels et noter les dissertations.

Bhagavatula a déclaré qu'il aurait aimé voir comment les évaluations de GPT-4 se comparaient à celles des correcteurs humains - GPT-4 peut être biaisé en faveur des modèles qu'il a aidé à former, et l'opacité des modèles de langage rend difficile la quantification de tels biais. Mais il ne pense pas que de telles subtilités affecteraient les comparaisons entre différents modèles formés sur des ensembles similaires d'histoires synthétiques - l'objectif principal du travail d'Eldan et Li.

Eldan et Li ont utilisé une procédure en deux étapes pour évaluer chacun de leurs petits modèles après la formation. Tout d'abord, ils ont présenté au petit modèle la première moitié d'une histoire distincte de celles de l'ensemble des données d'apprentissage, de manière à ce qu'il génère une nouvelle fin, en répétant ce processus avec 50 histoires de test différentes. Ensuite, ils ont demandé à GPT-4 d'évaluer chacune des fins du petit modèle en fonction de trois catégories : créativité, grammaire et cohérence avec le début de l'histoire. Ils ont ensuite fait la moyenne des notes obtenues dans chaque catégorie, obtenant ainsi trois notes finales par modèle.

Avec cette procédure en main, Eldan et Li étaient enfin prêts à comparer les différents modèles et à découvrir quels étaient les étudiants les plus brillants.

Résultats des tests

Après quelques explorations préliminaires, les deux chercheurs ont opté pour un ensemble de données de formation contenant environ 2 millions d'histoires. Ils ont ensuite utilisé cet ensemble de données, baptisé TinyStories, pour entraîner des modèles dont la taille varie de 1 million à 30 millions de paramètres, avec un nombre variable de couches. Le travail a été rapide : En utilisant seulement quatre GPU, l'entraînement du plus grand de ces modèles n'a pas pris plus d'une journée.

Les plus petits modèles ont eu du mal. Par exemple, l'une des histoires testées commence par un homme à l'air méchant qui dit à une fille qu'il va lui prendre son chat. Un modèle à un million de paramètres s'est retrouvé bloqué dans une boucle où la fille répète sans cesse à l'homme qu'elle veut être son amie. Mais les modèles plus grands, qui sont encore des milliers de fois plus petits que GPT-3.5, ont obtenu des résultats surprenants. La version à 28 millions de paramètres racontait une histoire cohérente, même si la fin était sinistre : "Katie s'est mise à pleurer, mais l'homme s'en fichait. Il a emporté le chat et Katie n'a plus jamais revu son chat. Fin de l'histoire".

En plus de tester leurs propres modèles, Eldan et Li ont soumis le même défi au GPT-2 d'OpenAI, un modèle de 1,5 milliard de paramètres publié en 2019. Le résultat a été bien pire - avant la fin abrupte de l'histoire, l'homme menace d'emmener la jeune fille au tribunal, en prison, à l'hôpital, à la morgue et enfin au crématorium.

Introduction

Selon M. Nguyen, il est passionnant que des modèles aussi petits soient aussi fluides, mais il n'est peut-être pas surprenant que GPT-2 ait eu du mal à accomplir la tâche : il s'agit d'un modèle plus grand, mais loin de l'état de l'art, et il a été formé sur un ensemble de données très différent. "Un enfant en bas âge qui ne s'entraînerait qu'à des tâches d'enfant en bas âge, comme jouer avec des jouets, obtiendrait de meilleurs résultats que vous ou moi", a-t-il fait remarquer. "Nous ne nous sommes pas spécialisés dans cette chose simple.

Les comparaisons entre les différents modèles de TinyStories ne souffrent pas des mêmes facteurs de confusion. Eldan et Li ont observé que les réseaux comportant moins de couches mais plus de neurones par couche étaient plus performants pour répondre aux questions nécessitant des connaissances factuelles ; inversement, les réseaux comportant plus de couches et moins de neurones par couche étaient plus performants pour garder en mémoire les personnages et les points de l'intrigue situés plus tôt dans l'histoire. Bhagavatula a trouvé ce résultat particulièrement intriguant. S'il peut être reproduit dans des modèles plus vastes, "ce serait un résultat vraiment intéressant qui pourrait découler de ce travail", a-t-il déclaré.

Eldan et Li ont également étudié comment les capacités de leurs petits modèles dépendaient de la durée de la période de formation. Dans tous les cas, les modèles maîtrisaient d'abord la grammaire, puis la cohérence. Pour Eldan, ce schéma illustre comment les différences dans les structures de récompense entraînent des différences dans les schémas d'acquisition du langage entre les réseaux neuronaux et les enfants. Pour les modèles de langage, qui apprennent en prédisant des mots, "l'incitation pour les mots "je veux avoir" est aussi importante que pour les mots "crème glacée"", a-t-il déclaré. Les enfants, en revanche, "ne se soucient pas de savoir s'ils disent 'j'aimerais avoir de la glace' ou simplement 'glace, glace, glace'".

Qualité contre quantité

Eldan et Li espèrent que cette étude incitera d'autres chercheurs à entraîner différents modèles sur l'ensemble des données de TinyStories et à comparer leurs capacités. Mais il est souvent difficile de prédire quelles caractéristiques des petits modèles apparaîtront également dans les plus grands.

"Peut-être que les modèles de vision chez la souris sont de très bons substituts de la vision humaine, mais les modèles de dépression chez la souris sont-ils de bons modèles de la dépression chez l'homme ? a déclaré M. Pavlick. "Pour chaque cas, c'est un peu différent.

Le succès des modèles TinyStories suggère également une leçon plus large. L'approche standard pour compiler des ensembles de données de formation consiste à aspirer des textes sur l'internet, puis à filtrer les déchets. Le texte synthétique généré par des modèles de grande taille pourrait constituer une autre façon d'assembler des ensembles de données de haute qualité qui n'auraient pas besoin d'être aussi volumineux.

"Nous avons de plus en plus de preuves que cette méthode est très efficace, non seulement pour les modèles de la taille de TinyStories, mais aussi pour les modèles plus importants", a déclaré M. Eldan. Ces preuves proviennent d'une paire d'articles de suivi sur les modèles à un milliard de paramètres, rédigés par Eldan, Li et d'autres chercheurs de Microsoft. Dans le premier article, ils ont entraîné un modèle à apprendre le langage de programmation Python en utilisant des extraits de code générés par GPT-3.5 ainsi que du code soigneusement sélectionné sur l'internet. Dans le second, ils ont complété l'ensemble de données d'entraînement par des "manuels" synthétiques couvrant un large éventail de sujets, afin d'entraîner un modèle linguistique à usage général. Lors de leurs tests, les deux modèles ont été comparés favorablement à des modèles plus importants formés sur des ensembles de données plus vastes. Mais l'évaluation des modèles linguistiques est toujours délicate, et l'approche des données d'entraînement synthétiques n'en est qu'à ses balbutiements - d'autres tests indépendants sont nécessaires.

Alors que les modèles linguistiques de pointe deviennent de plus en plus volumineux, les résultats surprenants de leurs petits cousins nous rappellent qu'il y a encore beaucoup de choses que nous ne comprenons pas, même pour les modèles les plus simples. M. Nguyen s'attend à ce que de nombreux autres articles explorent l'approche inaugurée par TinyStories.

"La question est de savoir où et pourquoi la taille a de l'importance", a-t-il déclaré. "Il devrait y avoir une science à ce sujet, et cet article est, je l'espère, le début d'une riche histoire.



 



 

Auteur: Internet

Info: https://www.quantamagazine.org/ Ben Brubaker, 5 octobre 2023

[ synthèse ]

big brother consumériste

Nulle part où se cacher : Les collecteurs de données sont venus pour capter votre vie privée - et ils l'ont trouvée

La manière dont vos données sont stockées et partagées évolue et votre activité en ligne peut être utilisée pour vous catégoriser d'une manière qui modifie radicalement votre vie. Il existe des moyens de reprendre le contrôle.

Un vendredi de 2021, je suis entré dans un hôtel d'Exeter, au Royaume-Uni, à 17:57:35. Le lendemain matin, j'ai fait 9 minutes de route pour me rendre à l'hôpital le plus proche. J'y suis resté trois jours. Le trajet de retour, qui dure normalement 1 heure 15 minutes, a duré 1 heure 40 minutes. La raison de cette lenteur : mon tout nouveau bébé dormait à l'arrière.

Ce ne sont pas les détails d'un journal. Il s'agit plutôt de ce que Google sait de la naissance de ma fille, sur la base de mon seul historique de localisation.

Un aperçu des données de ce week-end révèle que ce n'est pas tout ce que les entreprises savent de moi. Netflix se souvient que j'ai regardé toute une série d'émissions de bien-être, dont Gilmore Girls et How to Lose a Guy in 10 Days (Comment perdre un homme en 10 jours). Instagram a enregistré que j'ai "aimé" un post sur l'induction du travail, puis que je ne me suis pas reconnectée pendant une semaine.

Et alors ? Nous savons tous maintenant que nous sommes suivis en ligne et que les données collectées sur nous sont à la fois granulaires et constantes. Peut-être aimez-vous que Netflix et Instagram connaissent si bien vos goûts en matière de cinéma et de mode.

Mais un nombre croissant d'enquêtes et de poursuites judiciaires révèlent un nouveau paysage du suivi en ligne dans lequel la portée des entreprises qui collectent des données est plus insidieuse que beaucoup d'entre nous ne le pensent. En y regardant de plus près, j'ai découvert que mes données personnelles pouvaient avoir une incidence sur tout, depuis mes perspectives d'emploi et mes demandes de prêt jusqu'à mon accès aux soins de santé. En d'autres termes, elles peuvent façonner ma vie quotidienne d'une manière dont je n'avais pas conscience. "Le problème est énorme et il y a toujours de nouvelles horreurs", déclare Reuben Binns, de l'université d'Oxford.

On pourrait vous pardonner de penser qu'avec l'introduction d'une législation comme le règlement général sur la protection des données (RGPD) - des règles de l'Union européenne mises en œuvre en 2018 qui donnent aux gens un meilleur accès aux données que les entreprises détiennent sur eux et limitent ce que les entreprises peuvent en faire - la confidentialité des données n'est plus un vrai problème. Vous pouvez toujours refuser les cookies si vous ne voulez pas être suivi, n'est-ce pas ? Mais lorsque je dis cela à Pam Dixon, du groupe de recherche à but non lucratif World Privacy Forum, elle se met à rire d'incrédulité. "Tu y crois vraiment ?" me dit-elle.

Les gratteurs de données

Des centaines d'amendes ont été infligées pour violation du GDPR, notamment à Google, British Airways et Amazon. Mais les experts en données affirment qu'il ne s'agit là que de la partie émergée de l'iceberg. Une étude réalisée l'année dernière par David Basin de l'ETH Zurich, en Suisse, a révélé que 95 % des sites web pourraient enfreindre les règles du GDPR. Même l'objectif de la législation visant à faciliter la compréhension des données que nous acceptons de fournir n'a pas été atteint. Depuis l'entrée en vigueur de la législation, les recherches montrent que les accords de confidentialité sont devenus plus compliqués, rein de moins. Et si vous pensiez que les bloqueurs de publicité et les réseaux privés virtuels (VPN) - qui masquent l'adresse IP de votre ordinateur - vous protégeaient, détrompez-vous. Bon nombre de ces services vendent également vos données.

Nous commençons à peine à saisir l'ampleur et la complexité du paysage de la traque en ligne. Quelques grands noms - Google, Meta, Amazon et Microsoft - détiennent l'essentiel du pouvoir, explique Isabel Wagner, professeur associé de cybersécurité à l'université de Bâle, en Suisse. Mais derrière ces grands acteurs, un écosystème diversifié de milliers, voire de millions, d'acheteurs, de vendeurs, de serveurs, de traqueurs et d'analyseurs partagent nos données personnelles.

Qu'est-ce que tout cela signifie pour l'utilisateur lambda que je suis ? Pour le savoir, je me suis rendu chez HestiaLabs à Lausanne, en Suisse, une start-up fondée par Paul-Olivier Dehaye, mathématicien et lanceur d'alerte clé dans le scandale de l'utilisation des données de Facebook par la société de conseil politique Cambridge Analytica. Cette société a utilisé des données personnelles pour influencer l'élection de Donald Trump à la présidence des États-Unis en 2016. L'enquête de Dehaye sur Cambridge Analytica a montré de manière frappante à quel point l'influence des entreprises qui achètent et vendent des données est profonde. Il a créé HestiaLabs pour changer cette situation.

(Photo : Votre téléphone suit votre position même si les données mobiles sont désactivées)

Avant d'arriver, j'ai demandé mes données personnelles à diverses entreprises, un processus plus compliqué qu'il ne devrait l'être à l'ère du RGPD. Je rencontre Charles Foucault-Dumas, le chef de projet de HestiaLabs, au siège de l'entreprise - un modeste espace de co-working situé en face de la gare de Lausanne. Nous nous asseyons et téléchargeons mes fichiers dans son portail sur mesure.

Mes données s'étalent devant moi, visualisées sous la forme d'une carte de tous les endroits où je suis allé, de tous les posts que j'ai aimés et de toutes les applications qui ont contacté un annonceur. Dans les lieux que je fréquente régulièrement, comme la crèche de ma fille, des centaines de points de données se transforment en taches semblables à de la peinture. À l'adresse de mon domicile, il y a une énorme cible impossible à manquer. C'est fascinant. Et un peu terrifiant.

L'une des plus grandes surprises est de savoir quelles applications de mon téléphone contactent des entreprises tierces en mon nom. Au cours de la semaine écoulée, c'est un navigateur web que j'utilise parce qu'il se décrit comme "le respect de la vie privée avant tout" qui a été le plus grand contrevenant, en contactant 29 entreprises. Mais pratiquement toutes les applications de mon téléphone, du service d'épicerie au bloc-notes virtuel, étaient occupées à contacter d'autres entreprises pendant que je vaquais à mes occupations.

En règle générale, une entreprise qui souhaite vendre un produit ou un service s'adresse à une agence de publicité, qui se met en relation avec des plates-formes chargées de la diffusion des publicités, qui utilisent des échanges publicitaires, lesquels sont reliés à des plates-formes d'approvisionnement, qui placent les publicités sur les sites web des éditeurs. Chaque fois que vous ouvrez un site web ou que vous survolez momentanément un message sur un média social, cette machine - dont la valeur est estimée à 150 milliards de livres sterling par an - se met en marche.

Que partageaient exactement ces entreprises à mon sujet ? Pour le savoir, il faudrait que je fasse des demandes auprès de chacune d'entre elles. Et même avec celles que j'ai contactées avec l'aide de HestiaLabs, ce n'est pas toujours clair.

Prenons l'exemple d'Instagram. Il m'a fourni des données montrant qu'il a enregistré 333 "intérêts" en mon nom. Certains d'entre eux sont très éloignés de la réalité : le rugby, le festival Burning Man, la promotion immobilière, et même "femme à chats". Lecteur, je n'ai jamais eu de chat. Mais d'autres sont plus précis, et un certain nombre d'entre eux, sans surprise, sont liés au fait que je suis devenue parent, qu'il s'agisse de marques telles que Huggies et Peppa Pig ou de sujets tels que les berceaux et le sevrage pour bébés.

Je me demande comment ces données ont pu affecter non seulement mes achats, mais aussi la vie de ma fille. Son amour pour le cochon rose de dessin animé est-il vraiment organique, ou ces vidéos nous ont-elles été "servies" en raison des informations qu'Instagram a transmises à mon sujet ? Est-ce que les posts sur le sevrage dirigé par les bébés se sont retrouvés partout dans mon fil d'actualité - et ont donc influencé la façon dont ma fille a été initiée à la nourriture - par hasard, ou parce que j'avais été ciblée ? Je n'ai pas accès à cette chaîne de causes et d'effets, et je ne sais pas non plus comment ces divers "intérêts" ont pu me catégoriser pour d'éventuels spécialistes du marketing.

Il est pratiquement impossible de démêler l'écheveau complexe des transactions de données dans l'ombre. Les données personnelles sont souvent reproduites, divisées, puis introduites dans des algorithmes et des systèmes d'apprentissage automatique. En conséquence, explique M. Dixon, même avec une législation comme le GDPR, nous n'avons pas accès à toutes nos données personnelles. "Nous avons affaire à deux strates de données. Il y a celles qui peuvent être trouvées", dit-elle. "Mais il y a une autre strate que vous ne pouvez pas voir, que vous n'avez pas le droit légal de voir - aucun d'entre nous ne l'a."

Profilage personnel

Des rapports récents donnent un aperçu de la situation. En juin, une enquête de The Markup a révélé que ce type de données cachées est utilisé par les publicitaires pour nous classer en fonction de nos convictions politiques, de notre état de santé et de notre profil psychologique. Pourrais-je être considérée comme une "mère accro au portable", une "indulgente", une "facilement dégonflée" ou une "éveillée" ? Je n'en ai aucune idée, mais je sais qu'il s'agit là de catégories utilisées par les plateformes publicitaires en ligne.

Il est troublant de penser que je suis stéréotypée d'une manière inconnue. Une autre partie de moi se demande si cela a vraiment de l'importance. Je comprends l'intérêt d'une publicité qui tient compte de mes préférences, ou de l'ouverture de mon application de cartographie qui met en évidence des restaurants et des musées qui pourraient m'intéresser ou que j'ai déjà visités. Mais croyez-moi, il y a peu de façons de faire grimacer un expert en données plus rapidement qu'avec la désinvolture de ce compromis.

D'une part, l'utilisation de ces données va bien au-delà de la vente de publicité, explique M. Dixon. Quelque chose d'apparemment anodin comme le fait de faire des achats dans des magasins discount (signe d'un revenu inférieur) ou d'acheter des articles de sport (signe que vous faites de l'exercice) peut avoir une incidence sur tout, de l'attrait de votre candidature à l'université au montant de votre assurance maladie. "Il ne s'agit pas d'une simple publicité", précise M. Dixon. "Il s'agit de la vie réelle.

Une législation récente aux États-Unis a contraint certaines de ces entreprises à entrer dans la lumière. Le Vermont's 2018 Data Broker Act, par exemple, a révélé que les courtiers en données enregistrés dans l'État - mais qui sont également actifs ailleurs - vendent des informations personnelles à des propriétaires et des employeurs potentiels, souvent par l'intermédiaire de tierces parties. En juillet, le Bureau américain de protection financière des consommateurs a appris que cette deuxième strate cachée de données comprenait également des informations utilisées pour établir un "score de consommation", employé de la même manière qu'un score de crédit. "Les choses que vous avez faites, les sites web que vous avez visités, les applications que vous utilisez, tout cela peut alimenter des services qui vérifient si vous êtes un locataire convenable ou décident des conditions à vous offrir pour un prêt ou une hypothèque", explique M. Binns.

À HestiaLabs, je me rends compte que j'ai moi aussi été concrètement affectée, non seulement par les publicités que je vois, mais aussi par la façon dont les algorithmes ont digéré mes données. Dans les "inférences" de LinkedIn, je suis identifiée à la fois comme "n'étant pas un leader humain" et "n'étant pas un leader senior". Et ce, bien que j'aie dirigé une équipe de 20 personnes à la BBC et que j'aie été rédacteur en chef de plusieurs sites de la BBC auparavant - des informations que j'ai moi-même introduites dans LinkedIn. Comment cela peut-il affecter mes opportunités de carrière ? Lorsque j'ai posé la question à LinkedIn, un porte-parole m'a répondu que ces déductions n'étaient pas utilisées "de quelque manière que ce soit pour informer les suggestions de recherche d'emploi".

Malgré cela, nous savons, grâce à des poursuites judiciaires, que des données ont été utilisées pour exclure les femmes des annonces d'emploi dans le secteur de la technologie sur Facebook. En conséquence, le propriétaire de la plateforme, Meta, a cessé d'offrir cette option aux annonceurs en 2019. Mais les experts en données affirment qu'il existe de nombreuses solutions de contournement, comme le fait de ne cibler que les personnes ayant des intérêts stéréotypés masculins. "Ces préjudices ne sont pas visibles pour les utilisateurs individuels à ce moment-là. Ils sont souvent très abstraits et peuvent se produire longtemps après", explique M. Wagner.

À mesure que les données collectées sur notre vie quotidienne prolifèrent, la liste des préjudices signalés par les journaux ne cesse de s'allonger. Des applications de suivi de l'ovulation - ainsi que des messages textuels, des courriels et des recherches sur le web - ont été utilisés pour poursuivre des femmes ayant avorté aux États-Unis depuis que l'arrêt Roe v Wade a été annulé l'année dernière. Des prêtres ont été démasqués pour avoir utilisé l'application de rencontres gay Grindr. Un officier militaire russe a même été traqué et tué lors de sa course matinale, prétendument grâce à des données accessibles au public provenant de l'application de fitness Strava. La protection des données est censée prévenir bon nombre de ces préjudices. "Mais il y a manifestement une énorme lacune dans l'application de la loi", déclare M. Binns.

Le problème réside en partie d'un manque de transparence. De nombreuses entreprises s'orientent vers des modèles "préservant la vie privée", qui divisent les points de données d'un utilisateur individuel et les dispersent sur de nombreux serveurs informatiques, ou les cryptent localement. Paradoxalement, il est alors plus difficile d'accéder à ses propres données et d'essayer de comprendre comment elles ont été utilisées.

Pour sa part, M. Dehaye, de HestiaLabs, est convaincu que ces entreprises peuvent et doivent nous rendre le contrôle. "Si vous allez consulter un site web en ce moment même, en quelques centaines de millisecondes, de nombreux acteurs sauront qui vous êtes et sur quel site vous avez mis des chaussures dans un panier d'achat il y a deux semaines. Lorsque l'objectif est de vous montrer une publicité pourrie, ils sont en mesure de résoudre tous ces problèmes", explique-t-il. Mais lorsque vous faites une demande de protection de la vie privée, ils se disent : "Oh, merde, comment on fait ça ?".

Il ajoute : "Mais il y a un moyen d'utiliser cette force du capitalisme qui a résolu un problème dans une industrie de plusieurs milliards de dollars pour vous - pas pour eux".

J'espère qu'il a raison. En marchant dans Lausanne après avoir quitté HestiaLabs, je vois un homme qui s'attarde devant un magasin de couteaux, son téléphone rangé dans sa poche. Une femme élégante porte un sac Zara dans une main, son téléphone dans l'autre. Un homme devant le poste de police parle avec enthousiasme dans son appareil.

Pour moi, et probablement pour eux, ce sont des moments brefs et oubliables. Mais pour les entreprises qui récoltent les données, ce sont des opportunités. Ce sont des signes de dollars. Et ce sont des points de données qui ne disparaîtront peut-être jamais.

Reprendre le contrôle

Grâce aux conseils de M. Dehaye et des autres experts que j'ai interrogés, lorsque je rentre chez moi, je vérifie mes applications et je supprime celles que je n'utilise pas. Je supprime également certaines de celles que j'utilise mais qui sont particulièrement désireuses de contacter des entreprises, en prévoyant de ne les utiliser que sur mon ordinateur portable. (J'ai utilisé une plateforme appelée TC Slim pour me dire quelles entreprises mes applications contactent). J'installe également un nouveau navigateur qui (semble-t-il) accorde la priorité à la protection de la vie privée. Selon M. Wagner, les applications et les navigateurs open source et à but non lucratif peuvent constituer des choix plus sûrs, car ils ne sont guère incités à collecter vos données.

Je commence également à éteindre mon téléphone plus souvent lorsque je ne l'utilise pas. En effet, votre téléphone suit généralement votre position même lorsque les données mobiles et le Wi-Fi sont désactivés ou que le mode avion est activé. De plus, en me connectant à mes préférences Google, je refuse d'enregistrer l'historique de mes positions, même si la nostalgie - pour l'instant - m'empêche de demander que toutes mes données antérieures soient supprimées.

Nous pouvons également réinitialiser notre relation avec le suivi en ligne en changeant notre façon de payer, explique Mme Dixon. Elle suggère d'utiliser plusieurs cartes de crédit et d'être "très prudent" quant au portefeuille numérique que nous utilisons. Pour les achats susceptibles de créer un signal "négatif", comme ceux effectués dans un magasin discount, il est préférable d'utiliser de l'argent liquide, si possible. M. Dixon conseille également de ne pas utiliser d'applications ou de sites web liés à la santé, si possible. "Ce n'est tout simplement pas un espace clair et sûr", dit-elle.

En réalité, quelles que soient les mesures que vous prenez, les entreprises trouveront toujours de nouveaux moyens de contourner le problème. "C'est un jeu où l'on ne peut que perdre", affirme M. Dehaye. C'est pourquoi la solution ne dépend pas des individus. "Il s'agit d'un véritable changement de société.

En réunissant suffisamment de voix individuelles, M. Dehaye pense que nous pouvons changer le système - et que tout commence par le fait que vous demandiez vos données. Dites aux entreprises : "Si vous vous dérobez, notre confiance est perdue"", déclare-t-il. "Et dans ce monde de données, si les gens ne font pas confiance à votre entreprise, vous êtes mort.

Auteur: Ruggeri Amanda

Info: https://blog.shiningscience.com/2023/08/nowhere-to-hide-data-harvesters-came.html, 26 août 2023

[ idiosyncrasie numérique ] [ capitalisme de surveillance ] [ internet marchand ]