Intelligence artificielle

OpenAI présente Super Alignment : Ouvrir la voie à une IA sûre et alignée

La présentation par OpenAI de son développement du super alignement est extrêmement prometteuse pour l'humanité. Grâce à ses capacités étendues, il est en mesure de répondre à certains des problèmes les plus urgents auxquels notre planète est confrontée. Le risque de déresponsabilisation, voire d'anéantissement de l'humanité, est l'un des graves dangers associés à l'émergence de la superintelligence.

L'arrivée du super-alignement

Le super-alignement peut sembler une possibilité lointaine, mais il pourrait se matérialiser dans les dix prochaines années. Nous devons créer de nouvelles structures de gouvernance et traiter le problème de l'alignement des superintelligences afin de maîtriser efficacement les risques qui y sont associés.

Superalignement de l'IA et de l'homme : Le défi actuel

Garantir que les systèmes d'IA, qui sont beaucoup plus intelligents que les humains, s'alignent sur les intentions de ces derniers constitue un obstacle de taille. Actuellement, nos techniques d'alignement de l'IA, telles que l'apprentissage par renforcement à partir du retour d'information humain, reposent sur la supervision humaine. Cependant, lorsqu'il s'agit de systèmes d'IA dépassant l'intelligence humaine, nos méthodes d'alignement actuelles deviennent inadéquates. Pour y remédier, nous avons besoin de nouvelles percées scientifiques et techniques.

OpenAI a mis à disposition ses modèles de cohérence pour la génération d'œuvres d'art par l'IA

Surmonter les hypothèses et intensifier les efforts d'alignement

Plusieurs hypothèses qui guident actuellement le développement de l'IA risquent d'échouer lorsque nous entrerons dans l'ère de la superintelligence. Il s'agit notamment de la capacité de nos modèles à identifier et à contourner la supervision au cours de la formation, ainsi que de leurs caractéristiques de généralisation favorables au cours du déploiement.

Un chercheur d'alignement automatique doté d'une intelligence proche de celle de l'homme, c'est ce que l'OpenAI vise à construire. L'objectif est d'intensifier les efforts et d'aligner itérativement la superintelligence en utilisant une grande puissance de calcul.

Construire les bases d'un super-alignement

Pour atteindre son objectif de chercheur en alignement automatisé, l'OpenAI a identifié trois étapes clés :

Se transformer en expert et avoir un impact significatif sur le monde de la science des données.

1. Développer une méthode de formation évolutive

OpenAI se concentrera sur la création d'une stratégie de formation qui s'adapte bien. Cette méthode sera essentielle pour apprendre aux systèmes d'IA à effectuer des activités difficiles à évaluer pour les humains.

2. Validation du modèle résultant

Il est essentiel de valider l'efficacité du chercheur d'alignement après sa construction. Pour s'assurer que le modèle est conforme aux intentions humaines et qu'il fonctionne comme prévu, l'OpenAI le soumettra à des tests rigoureux.

3. Test de stress du pipeline d'alignement

OpenAI soumettra son pipeline d'alignement à des tests de stress approfondis pour s'assurer de sa durabilité. En soumettant ses systèmes à des situations difficiles, elle pourra trouver d'éventuelles failles et les corriger.

Exploiter les systèmes d'IA pour la supervision et la généralisation

L'OpenAI utilisera des systèmes d'IA pour aider à l'évaluation d'autres systèmes d'IA afin de résoudre la difficulté de superviser des tâches qui sont difficiles à juger pour les humains. Cette méthode de supervision évolutive vise à garantir la réussite de l'alignement. Les chercheurs se pencheront également sur la généralisation de la surveillance, qui permettra aux systèmes d'IA de gérer des activités qui ne sont pas sous le contrôle de l'homme.

Validation de l'alignement : Robustesse et interprétabilité

Pour garantir l'alignement des systèmes d'IA, il est nécessaire de se concentrer sur deux facteurs essentiels : la robustesse et l'interprétabilité. Afin de découvrir d'éventuels problèmes d'alignement, l'OpenAI examinera les éléments internes de ses systèmes et automatisera la recherche de comportements problématiques.

Tests adverses : Détection des désalignements

OpenAI entraînera délibérément des modèles mal alignés pour évaluer l'efficacité de ses méthodes d'alignement. Elle peut évaluer l'efficacité de ses stratégies d'identification et de résolution des désalignements en testant ces modèles de manière rigoureuse et contradictoire.

Évolution des priorités de recherche et collaboration

L'OpenAI est consciente qu'à mesure qu'elle en apprendra davantage sur la question de l'alignement des superintelligences, ses objectifs de recherche évolueront. Les meilleurs chercheurs et ingénieurs en apprentissage automatique seront réunis pour travailler sur ce projet. Afin de créer de nouvelles techniques et de les déployer à grande échelle, l'OpenAI encourage les contributions d'autres équipes et souhaite publier plus d'informations sur sa feuille de route à l'avenir.

L'OpenAI est néanmoins optimiste, même si le défi de l'alignement de la superintelligence est ambitieux et que le succès n'est pas garanti. Elle a réalisé des tests préliminaires encourageants et dispose de mesures utiles pour suivre le développement. L'OpenAI est d'avis qu'un effort ciblé et coopératif peut aboutir à une résolution.

L'équipe dédiée de l'OpenAI : Leaders et collaboration

Le cofondateur et scientifique en chef d'OpenAI, Ilya Sutskever, a fait de l'alignement de la superintelligence le principal sujet de son étude. Il codirigera le groupe avec Jan Leike, responsable de l'alignement. L'équipe est composée de chercheurs et d'ingénieurs talentueux issus de l'ancienne équipe d'alignement de l'OpenAI ainsi que de chercheurs d'autres équipes de l'entreprise.

OpenAI recherche activement des universitaires et des ingénieurs de haut niveau pour se joindre à ses efforts. Ils souhaitent diffuser largement les résultats de leurs travaux, qu'ils considèrent comme essentiels à leur objectif d'aider à l'alignement et à la sécurité des modèles non-OpenAI.

Notre avis

Les efforts de la nouvelle équipe Superalignment complètent ceux d'OpenAI pour rendre les modèles existants comme ChatGPT plus sûrs. Les différents problèmes posés par l'IA, tels que les abus, les perturbations économiques, la désinformation, les préjugés, la discrimination, la dépendance et la surdépendance, sont également au centre des préoccupations de l'OpenAI. Elle collabore avec des professionnels pluridisciplinaires pour s'assurer que ses solutions techniques répondent à des problèmes sociétaux et humains plus importants.

En se consacrant à la création de systèmes d'IA sûrs et compatibles, OpenAI est à l'origine de technologies révolutionnaires qui influenceront la manière dont l'humanité fonctionnera à l'avenir.

Auteur: Sakshi Khanna

Info: https://www.analyticsvidhya.com/blog/author/sakshi_raheja/ - Publié le 8 juillet 2023

[ homme-machine ] [ machine-homme ] [ conservation du pouvoir ] [ prépondérance de l'humain ]

pédagogie

Les parents envoient leurs enfants à l'école avec les meilleurs intentions, pensant que c'est ce dont ils ont besoin pour devenir des adultes productifs et épanouis. Beaucoup doutent du bon fonctionnement des écoles, mais la sagesse conventionnelle veut que ces problèmes peuvent être résolus avec plus d'argent, de meilleurs enseignants, des programmes plus difficiles, et/ou des examen plus rigoureux.
Mais si le problème était l'école en elle-même ? La triste réalité est que l'une de nos institutions préférées est, par sa nature même, ne répond pas aux besoins de nos enfants et de notre société.
L'école est un lieu où les enfants doivent obligatoirement aller, et où leur liberté est fortement restreinte - bien plus restreinte que le toléreraient la plupart des adultes pour leurs lieux de travail. Ces dernières décennies, nous avons forcés nos enfants à rester de plus en plus de temps dans ce genre de cadre, et des preuves solides (résumées dans mon dernier livre) indiquent que c'est souvent la cause de graves dommages psychologiques. Par ailleurs, plus les scientifiques étudient le mode d'apprentissage naturel des enfants, plus nous comprenons que les enfants apprennent profondément et véritablement, et avec plus d'enthousiasme, dans des conditions presque opposées à celles de l'école.
La scolarité obligatoire fait partie intégrante de notre culture depuis plusieurs générations. La plupart des gens auraient du mal à imaginer aujourd'hui comment les enfants apprendraient ce dont ils ont besoin pour réussir dans notre culture sans l'école. Le président Obama et le secrétaire à l'éducation Arne Duncan aiment tellement l'école qu'ils souhaiteraient même allonger les jours et les années scolaires. La plupart des gens pensent que la conception de base des écoles, telle qu'on la connaît aujourd'hui, est validée par des preuves scientifiques qui montreraient que c'est ainsi que les enfants apprennent le mieux. Mais en réalité, rien n'est plus éloigné de la vérité.
Les écoles telles que nous les connaissons aujourd'hui sont le produit de l'histoire, et non pas d'une recherche sur l'apprentissage. La conception actuelle de nos écoles découle de la Réforme protestante, lorsque des écoles ont été créées pour apprendre aux enfants à lire la Bible, à croire l'Ecriture et les figures d'autorité sans les remettre en question. Les premiers fondateurs des écoles l'indiquaient clairement dans leurs écrits. L'idée que les écoles puissent permettre le développement de la pensée critique, de la créativité, de l'initiative personnelle ou de la capacité à apprendre par soi-même - le genre de compétences les plus importantes dans notre économie actuelle - ne leur effleurait même pas l'esprit. Pour eux, encourager les enfants à agir par eux-mêmes était un péché qu'il fallait casser ou réprimer.
Ce n'est pas parce que les écoles ont été reprises par l'Etat, sont devenues obligatoires et à but laïque, que la structure de base et les méthodes d'enseignement ont changé. Les tentatives ultérieures de réformes ont échoué, et même si elles ont joué sur des points mineurs de la structure, elles n'ont pas modifié la conception de base. La méthode hiérarchique, par l'évaluation, qui suppose que l'apprentissage est motivé par un système de récompense et de punitions plutôt que par la curiosité et un vrai désir d'apprendre, sert surtout à l'endoctrinement et l'obéissance et pas à grand-chose d'autre. Il n'est pas étonnant que de nombreux grands entrepreneurs et innovateurs dans le monde ont quitté l'école à un jeune âge (comme Thomas Edison), ou disaient détecter l'école et apprendre de leur côté, et pas grâce à elle (comme Albert Einstein).
Il n'est pas étonnant qu'aujourd'hui même les " meilleurs élèves " (et peut-être surtout eux) disent souvent être " lessivés " par le processus de scolarisation. Un des meilleurs étudiants diplômés, a expliqué à un journaliste pourquoi il remettait à plus tard l'université : " j'étais rongé par le fait de bien réussir et je ne dormais pas beaucoup ces dernières deux années. J'avais cinq ou six heures de devoirs tous les soirs. La dernière chose que je voulais était que ça continue. "
La plupart de élèves - qu'ils aient de bons résultats, des résultats moyens ou qu'ils soient en échec scolaire - ont perdu leur goût de l'apprentissage au moment où ils entrent au collège ou au lycée. Dans une récente étude, Mihaly Czikszentmihalyl et Jeremy Hunter ont placé sur plus de 800 élèves de la sixième jusqu'à la terminale, dans 33 écoles différentes du pays, une montre-bracelet spéciale qui émettait un signal spécial à des moments aléatoires de la journée. A chaque fois que le signal retentissait, ils devaient remplir un questionnaire indiquant où ils étaient, ce qu'ils faisaient et s'ils étaient heureux ou malheureux. Ils étaient de loin le moins heureux quand ils étaient à l'école et ils étaient le plus heureux quand ils étaient hors de l'école, à jouer ou discuter avec des amis. A l'école, ils éprouvaient de l'ennui, de l'anxiété ou les deux. D'autres chercheurs ont montré qu'à chaque nouvelle année, les élèves adoptent des attitudes de plus en plus négatives envers les matières enseignées, en particulier pour les mathématiques et les sciences.
La société en général tend à ignorer ces conclusions. Nous ne sommes pas surpris de voir que l'apprentissage soit désagréable. Nous pensons que c'est une pilule à avaler qui finira par payer sur le long terme. Certaines personnes pensent même que le fait même que l'école soit désagréable est une bonne chose car elle permet aux enfants d'apprendre à tolérer les situations désagréables, car la vie après l'école est désagréable. Peut-être que ce triste point de vue découle de l'école. Bien sûr, il y a des hauts et des bas dans la vie, à l'âge adulte comme dans l'enfance. Mais il y a bien des façons d'apprendre à tolérer les désagréments sans devoir rajouter une scolarité désagréable. La recherche a montré que les personnes de tous âges apprennent mieux quand elles sont motivées, approfondissant des questions qui les concernent réellement, et des objectifs qui sont leurs propres dans la vie. Dans de telles conditions, apprendre est en général amusant.
J'ai passé une grande partie de ma carrière de chercheur à étudier comment les enfants apprennent. Les enfants viennent au monde avec la capacité magnifique de diriger leur propre éducation. La nature leur a donnés de puissants instincts éducatifs, comme la curiosité, le ludisme, la sociabilité, l'attention à ce qu'il se passe autour d'eux, le désir de grandir et de faire ce que les enfants plus âgés et adultes peuvent faire.
La preuve que tout cela s'applique aux petits enfants se trouve sous les yeux de tous ceux qui ont regardé un enfant grandir de la naissance jusqu'à l'âge scolaire. Par leurs propres efforts, les enfants apprennent à marcher, courir, sauter et grimper. Ils apprennent leur langue maternelle à partir de rien, et partant de là, apprennent à affirmer leur volonté, débattent, amusent, ennuient, se font des amis, charment et posent des questions. En interrogeant et en explorant, ils acquièrent énormément de connaissances sur leur environnement matériel et social, et par leur jeu, des compétences pratiques qui favorisent leur développement physique, intellectuel, social et émotionnel. Ils font tout cela avant que quiconque, de quelque manière systématique que ce soit, essaye de leur enseigner quelque chose.
Cette progression et capacité d'apprendre étonnante ne s'arrête pas toute seule quand l'enfant a 5 ou 6 ans. C'est nous qui y mettons un terme avec ce système coercitif qu'est l'école. La plus importante et mémorable leçon de notre système scolaire est que l'apprentissage sous la forme d'un travail doit être évité autant que possible.
Mes recherches portaient sur l'apprentissage chez les enfants qui sont " d'âge scolaire " mais qui ne sont pas envoyés à l'école, ou qui ne sont pas dans une école tel qu'on l'entend habituellement. J'ai examiné comment les enfants apprennent dans les cultures qui n'ont pas d'écoles, surtout les cultures de chasseurs-cueilleurs, les genres de cultures dans lesquelles notre espèce a évolué. J'ai également étudié l'apprentissage dans notre culture, quand on laisse aux enfants le soin de leur propre éducation et qu'on leur donne la possibilité et les moyens de s'instruire eux-mêmes. Dans ces conditions, la curiosité naturelle des enfants et leur goût de l'apprentissage persiste tout au long de l'enfance et de l'adolescence, jusqu'à l'âge adulte.

Auteur: Gray Peter

Info: Internet

[ fermeture ] [ normalisation ] [ pouvoir ] [ judéo christianisme ]

Internet

Les effets psychiques du world wide web

Certains chercheurs comparent le "changement cérébral" induit par l'usage des outils informatiques avec le changement climatique. Si les enfants ont gagné des aptitudes en termes de vitesse et d'automatisme, c'est parfois au détriment du raisonnement et de la maîtrise de soi.

De plus en plus de personnes sont rivées à l'écran de leur smartphone ou occupées à photographier tout ce qu'elles croisent... Face à cet usage déferlant de nouveaux outils technologiques, de nombreux chercheurs s'attachent déjà à étudier les modifications éventuellement cérébrales et cognitives susceptibles d'émerger, spécialement chez les plus jeunes. Mieux, ils nous alertent sur ces phénomènes.

C'est le cas notamment, en France, du Pr Olivier Houdé, directeur du laboratoire de psychologie du développement et de l'éducation de l'enfant du CNRS-La Sorbonne, et auteur du livre "Apprendre à résister" (éd. Le Pommier).

S'intéressant à la génération qui a grandi avec les jeux vidéo et les téléphones portables, il affirme que, si ces enfants ont gagné des aptitudes cérébrales en termes de vitesse et d'automatismes, c'est au détriment parfois du raisonnement et de la maîtrise de soi.

Éduquer le cerveau

"Le cerveau reste le même", déclarait-il récemment, "mais ce sont les circuits utilisés qui changent. Face aux écrans, et du coup dans la vie, les natifs du numérique ont une sorte de TGV cérébral, qui va de l'oeil jusqu'au pouce sur l'écran. Ils utilisent surtout une zone du cerveau, le cortex préfrontal, pour améliorer cette rapidité de décision, en lien avec les émotions. Mais cela se fait au détriment d'une autre fonction de cette zone, plus lente, de prise de recul, de synthèse personnelle et de résistance cognitive.

" Aussi le chercheur en appelle-t-il à une éducation qui apprendrait à nos enfants à résister : "Éduquer le cerveau, c'est lui apprendre à résister à sa propre déraison", affirme-t-il. "Un vrai défi pour les sciences cognitives et pour la société d'aujourd'hui."

Le virtuel est donc clairement suspecté de nous atteindre dans le fonctionnement le plus intime de notre être.

Un nouvel "opium du peuple"

Il suffit d'ailleurs d'observer autour de soi les modifications comportementales qu'il entraîne : incapacité de maintenir une conversation ou de rester concentré sur un document ; facilité "brutale" à se déconnecter d'un échange relationnel comme on se débranche d'une machine, etc.

Le philosophe et artiste Hervé Fischer, qui signe l'un des essais les plus intéressants du moment sur "La Pensée magique du Net" (éd. François Bourin), considère lui aussi que si les jeunes sont "les plus vulnérables" à l'aliénation rendue possible par le Net, car ils mesurent leur existence à leur occurrence sur les réseaux sociaux, cela concerne aussi les adultes : "On peut avoir le sentiment qu'on a une vie sociale parce qu'on a des centaines d'amis sur le Net, ou qu'on est très actif et entreprenant parce qu'on échange sans cesse des commentaires et des informations numériques", explique-t-il. "Le retour au réel est alors encore plus difficile. On vit une pseudo-réalisation de soi, virtuelle elle aussi, et la "descente" de ce nouvel "opium du peuple" peut faire très mal à ceux qui ont une existence déjà frustrante sur bien des points." Cette existence qui se mesure et s'expérimente désormais à travers un profil numérique alerte aussi, en Grande-Bretagne, la grande spécialiste de la maladie d'Alzheimer, le Pr Susan Greenfield, qui parle de "changement cérébral" comme on parle de "changement climatique".

Elle s'inquiète des modifications identitaires provoquées par un usage intensif d'internet : "C'est presque comme si un événement n'existe pas tant qu'il n'a pas été posté sur Facebook, Bebo ou YouTube", écrivait-elle récemment dans le Daily Mail. "Ajoutez à cela l'énorme quantité d'informations personnelles désormais consignées sur internet - dates de naissances, de mariages, numéros de téléphone, de comptes bancaires, photos de vacances - et il devient difficile de repérer avec précision les limites de notre individualité. Une seule chose est certaine : ces limites sont en train de s'affaiblir."

Être là

Mais on peut aussi se demander : pourquoi un tel impact ? Pour Hervé Fischer, si internet est aussi "addictif", c'est parce que la société "écranique" réveille nos plus grandes mythologies, dont le rêve de retourner en un seul clic à la matrice collective, et de se perdre alors dans le sentiment océanique d'appartenir à la communauté humaine. "Ce qui compte, c'est d'être là", explique le philosophe. "On poste un tweet et ça y est, on se sent exister." Versants positifs de cette "nouvelle religion" ? "24 heures sur 24, les individus de plus en plus solitaires peuvent, quand ils le veulent, se relier aux autres", observe Hervé Fischer. Et, tout aussi réjouissant, chacun peut gagner en "conscience augmentée", notamment en se promenant de liens en liens pour approfondir ses connaissances.

Désormais, c'est certain, grâce à la Toile, on ne pourra plus dire "qu'on ne savait pas". Le Figaro Smartphone, tablette, etc.

Diminution de la matière grise

Selon les neuroscientifiques Kep Kee Loh et Dr. Ryota Kanai, de l'Université de Sussex, l'usage simultané de téléphones mobiles, ordinateurs et tablettes changerait la structure de nos cerveaux.

Les chercheurs ont constaté une diminution de la densité de la matière grise du cerveau parmi des personnes qui utilisent habituellement et simultanément plusieurs appareils par rapport à des personnes utilisant un seul appareil occasionnellement (publication : "Plos One", septembre 2014).

Interview de Michael Stora, psychologue et psychanalyste, fondateur de l'Observatoire des mondes numériques en sciences humaines (OMNSH) et qui a notamment écrit "Les écrans, ça rend accro..." (Hachette Littératures).

- Selon vous, quel impact majeur ont les nouvelles technologies sur notre psychisme ?

- Je dirais tout ce qui relève du temps. Compressé par l'usage immédiat des smartphones et autres ordinateurs mobiles, celui-ci ne permet plus ni élaboration de la pensée ni digestion des événements. Et l'impatience s'en trouve exacerbée. Ainsi, nous recevons de plus en plus de patients qui demandent à être pris en charge "en urgence". Or, de par notre métier, nous avons appris qu'en réalité - et hors risque suicidaire - il n'y en a pas. Chacun est donc confronté à sa capacité à supporter le manque (quand arrivera la réponse à ce mail, ce texto ?) et se retrouve pris dans la problématique très régressive du nourrisson qui attend le sein.

- En quoi notre capacité de penser s'en trouve-t-elle affectée ?

- Les formats des contenus deviennent si courts, le flux d'informations si incessant que réfléchir devient impossible, car cela demande du temps. Regardez Twitter : son usager ne devient plus qu'un médiateur, il partage rapidement un lien, s'exprime au minimum, on est dans la violence du "sans transition"... Il est évident que l'être humain ne peut traiter tant d'informations, et l'on observe déjà que la dimension analytique s'efface au profit d'une dimension synthétique. Cela semble assez logique : la Toile a été créée par des ingénieurs adeptes d'une pensée binaire, structurée sur le 0 ou le 1 et sans autres ouvertures. Il faudrait vraiment que les sciences humaines soient invitées à participer davantage à ces entreprises, cela permettrait de sortir d'un fonctionnement en boucle où l'on vous repropose sans cesse le même type de produits à consommer par exemple.

- Mais beaucoup parviennent aussi à s'exprimer grâce à Internet ?

- C'est vrai, si l'on regarde Facebook par exemple, le nombre de personnes occupées à remplir leur jauge narcissique est très élevé. Mais il y a de moins en moins de créativité sur la Toile. Auparavant, un certain second degré, qui a pu donner naissance à des sites comme viedemerde.com par exemple, dont la dimension auto-thérapeutique est certaine, dominait. Mais aujourd'hui, la réelle création de soi a disparu. Il s'agit d'être sans arrêt dans la norme, ou dans une version fortement idéalisée de soi. À force de gommer "ce qui fâche", les mauvais côtés de la vie, les efforts ou les frustrations inévitables, on est alors dans un exhibitionnisme de soi très stérile et régressif qui révèle seulement l'immense besoin de chacun d'être valorisé. L'usager souhaite être "liké" (quelqu'un a répondu au message laissé sur Facebook) pour ce qu'il est, pas pour ce qu'il construit, comme le petit enfant à qui l'on répète "qu'il est beau !" sans même qu'il ait produit de dessin.

- Internet rend-il exhibitionniste ?

- Je pense que la Toile ne fait que révéler ce que nous sommes profondément. Regardez comme les internautes qui "commentent" en France sont critiques et râleurs, exactement comme on imagine les Français... Et c'est vrai, j'ai été surpris de constater cet exhibitionnisme fou dans notre pays. Avec les "blacklists", la violence de la désinhibition et des critiques qui laissent peu de possibilité d'échanger, une certaine froideur narcissique l'emporte. Ce que l'on observe, c'est qu'il y a plus d'humains enrôlés dans l'expérience du Web, mais moins d'humanité.

Auteur: Journaldujura.ch

Info: Keystone, 1er mai 2015

[ lecture ] [ historique ] [ évolution ]