modération

Ainsi donc la vertu morale est une moyenne, dont nous avons précisé les conditions : elle est un milieu entre deux défauts, l’un par excès, l’autre par manque ; sa nature provient du fait qu’elle vise à l’équilibre aussi bien dans les passions que dans les actions.

Auteur: Aristote

Info: "Ethique de Nicomaque", traduit par Jean Voilquin, Flammarion, 1965, page 59

[ bien ] [ définition ]

religion

Le christianisme n’a pas eu besoin, comme Aristote, d’inventer une échelle, pour y placer ingénieusement une vertu entre deux vices.

Auteur: Chateaubriand François-René de

Info: Génie du christianisme

[ philosophie ] [ comparaison ] [ naturel-surnaturel ]

bien

La vertu apparaît sous un double aspect, l'un intellectuel, l'autre moral ; la vertu intellectuelle provient en majeure partie de l'instruction, dont elle a besoin pour se manifester et se développer ; aussi exige-t-elle de la pratique et du temps, tandis que la vertu morale est fille des bonnes habitudes ; de là vient que, par un léger changement, du terme mœurs sort le terme moral.

Cette constatation montre clairement qu’aucune des vertus morales ne naît naturellement en nous [...].

Ce n’est donc ni par un effet de la nature, ni contrairement à la nature que les vertus naissent en nous ; nous sommes naturellement prédisposés à les acquérir, à condition de les perfectionner par l’habitude. De plus, pour tout ce qui est donné par la nature, nous n’obtenons d’elle que des dispositions, des possibilités ; c’est à nous ensuite à les faire passer à l’acte. [...] Aussi faut-il exercer nos activités d’une manière déterminée ; car les différences de conduite engendrent des habitudes différentes. La façon dont on est élevé dès l’enfance n’a pas, dans ces conditions, une mince importance. Que dis-je ? Cette importance est extrême, elle est tout à fait essentielle.

Auteur: Aristote

Info: "Ethique de Nicomaque", traduit par Jean Voilquin, Flammarion, 1965, pages 45-46

[ définition ] [ exercice ] [ civilisation ] [ éducation ]

Intelligence artificielle

OpenAI présente Super Alignment : Ouvrir la voie à une IA sûre et alignée

La présentation par OpenAI de son développement du super alignement est extrêmement prometteuse pour l'humanité. Grâce à ses capacités étendues, il est en mesure de répondre à certains des problèmes les plus urgents auxquels notre planète est confrontée. Le risque de déresponsabilisation, voire d'anéantissement de l'humanité, est l'un des graves dangers associés à l'émergence de la superintelligence.

L'arrivée du super-alignement

Le super-alignement peut sembler une possibilité lointaine, mais il pourrait se matérialiser dans les dix prochaines années. Nous devons créer de nouvelles structures de gouvernance et traiter le problème de l'alignement des superintelligences afin de maîtriser efficacement les risques qui y sont associés.

Superalignement de l'IA et de l'homme : Le défi actuel

Garantir que les systèmes d'IA, qui sont beaucoup plus intelligents que les humains, s'alignent sur les intentions de ces derniers constitue un obstacle de taille. Actuellement, nos techniques d'alignement de l'IA, telles que l'apprentissage par renforcement à partir du retour d'information humain, reposent sur la supervision humaine. Cependant, lorsqu'il s'agit de systèmes d'IA dépassant l'intelligence humaine, nos méthodes d'alignement actuelles deviennent inadéquates. Pour y remédier, nous avons besoin de nouvelles percées scientifiques et techniques.

OpenAI a mis à disposition ses modèles de cohérence pour la génération d'œuvres d'art par l'IA

Surmonter les hypothèses et intensifier les efforts d'alignement

Plusieurs hypothèses qui guident actuellement le développement de l'IA risquent d'échouer lorsque nous entrerons dans l'ère de la superintelligence. Il s'agit notamment de la capacité de nos modèles à identifier et à contourner la supervision au cours de la formation, ainsi que de leurs caractéristiques de généralisation favorables au cours du déploiement.

Un chercheur d'alignement automatique doté d'une intelligence proche de celle de l'homme, c'est ce que l'OpenAI vise à construire. L'objectif est d'intensifier les efforts et d'aligner itérativement la superintelligence en utilisant une grande puissance de calcul.

Construire les bases d'un super-alignement

Pour atteindre son objectif de chercheur en alignement automatisé, l'OpenAI a identifié trois étapes clés :

Se transformer en expert et avoir un impact significatif sur le monde de la science des données.

1. Développer une méthode de formation évolutive

OpenAI se concentrera sur la création d'une stratégie de formation qui s'adapte bien. Cette méthode sera essentielle pour apprendre aux systèmes d'IA à effectuer des activités difficiles à évaluer pour les humains.

2. Validation du modèle résultant

Il est essentiel de valider l'efficacité du chercheur d'alignement après sa construction. Pour s'assurer que le modèle est conforme aux intentions humaines et qu'il fonctionne comme prévu, l'OpenAI le soumettra à des tests rigoureux.

3. Test de stress du pipeline d'alignement

OpenAI soumettra son pipeline d'alignement à des tests de stress approfondis pour s'assurer de sa durabilité. En soumettant ses systèmes à des situations difficiles, elle pourra trouver d'éventuelles failles et les corriger.

Exploiter les systèmes d'IA pour la supervision et la généralisation

L'OpenAI utilisera des systèmes d'IA pour aider à l'évaluation d'autres systèmes d'IA afin de résoudre la difficulté de superviser des tâches qui sont difficiles à juger pour les humains. Cette méthode de supervision évolutive vise à garantir la réussite de l'alignement. Les chercheurs se pencheront également sur la généralisation de la surveillance, qui permettra aux systèmes d'IA de gérer des activités qui ne sont pas sous le contrôle de l'homme.

Validation de l'alignement : Robustesse et interprétabilité

Pour garantir l'alignement des systèmes d'IA, il est nécessaire de se concentrer sur deux facteurs essentiels : la robustesse et l'interprétabilité. Afin de découvrir d'éventuels problèmes d'alignement, l'OpenAI examinera les éléments internes de ses systèmes et automatisera la recherche de comportements problématiques.

Tests adverses : Détection des désalignements

OpenAI entraînera délibérément des modèles mal alignés pour évaluer l'efficacité de ses méthodes d'alignement. Elle peut évaluer l'efficacité de ses stratégies d'identification et de résolution des désalignements en testant ces modèles de manière rigoureuse et contradictoire.

Évolution des priorités de recherche et collaboration

L'OpenAI est consciente qu'à mesure qu'elle en apprendra davantage sur la question de l'alignement des superintelligences, ses objectifs de recherche évolueront. Les meilleurs chercheurs et ingénieurs en apprentissage automatique seront réunis pour travailler sur ce projet. Afin de créer de nouvelles techniques et de les déployer à grande échelle, l'OpenAI encourage les contributions d'autres équipes et souhaite publier plus d'informations sur sa feuille de route à l'avenir.

L'OpenAI est néanmoins optimiste, même si le défi de l'alignement de la superintelligence est ambitieux et que le succès n'est pas garanti. Elle a réalisé des tests préliminaires encourageants et dispose de mesures utiles pour suivre le développement. L'OpenAI est d'avis qu'un effort ciblé et coopératif peut aboutir à une résolution.

L'équipe dédiée de l'OpenAI : Leaders et collaboration

Le cofondateur et scientifique en chef d'OpenAI, Ilya Sutskever, a fait de l'alignement de la superintelligence le principal sujet de son étude. Il codirigera le groupe avec Jan Leike, responsable de l'alignement. L'équipe est composée de chercheurs et d'ingénieurs talentueux issus de l'ancienne équipe d'alignement de l'OpenAI ainsi que de chercheurs d'autres équipes de l'entreprise.

OpenAI recherche activement des universitaires et des ingénieurs de haut niveau pour se joindre à ses efforts. Ils souhaitent diffuser largement les résultats de leurs travaux, qu'ils considèrent comme essentiels à leur objectif d'aider à l'alignement et à la sécurité des modèles non-OpenAI.

Notre avis

Les efforts de la nouvelle équipe Superalignment complètent ceux d'OpenAI pour rendre les modèles existants comme ChatGPT plus sûrs. Les différents problèmes posés par l'IA, tels que les abus, les perturbations économiques, la désinformation, les préjugés, la discrimination, la dépendance et la surdépendance, sont également au centre des préoccupations de l'OpenAI. Elle collabore avec des professionnels pluridisciplinaires pour s'assurer que ses solutions techniques répondent à des problèmes sociétaux et humains plus importants.

En se consacrant à la création de systèmes d'IA sûrs et compatibles, OpenAI est à l'origine de technologies révolutionnaires qui influenceront la manière dont l'humanité fonctionnera à l'avenir.

Auteur: Sakshi Khanna

Info: https://www.analyticsvidhya.com/blog/author/sakshi_raheja/ - Publié le 8 juillet 2023

[ homme-machine ] [ machine-homme ] [ conservation du pouvoir ] [ prépondérance de l'humain ]

création

Je ne pouvais vivre dans aucun des mondes qui m'étaient proposés - le monde de mes parents, le monde de la guerre, le monde de la politique. Je devais créer un monde à moi, comme un climat, un pays, une atmosphère dans laquelle je pouvais respirer, régner et me recréer lorsque la vie me détruisait. C'est, je crois, la raison d'être de toute œuvre d'art.

Auteur: Nin Anaïs

Info: The Diary of Anaïs Nin, Vol. 5: 1947-1955

[ thérapie ] [ refuge ]

auto-évaluation

Jusqu'à présent, la science a progressé sans être guidée par une théorie rationnelle de la logique, et elle a certainement fait de bons progrès. Elle procède comme un ordinateur qui suit une méthode d'approximation arithmétique. Même si elle commet parfois des erreurs de chiffrement, celles-ci se rectifieront d'elles-mêmes si le processus est bon. Mais elle progresserait beaucoup plus rapidement si elle ne commettait pas ces erreurs ; et à mon avis, le temps est venu de doter la science d'une logique. Ma théorie me satisfait, je n'y vois aucun défaut. Selon cette théorie, l'universalité, la nécessité, l'exactitude, au sens absolu de ces mots, sont inaccessibles pour nous, et n'existent pas dans la nature. Il y a une loi idéale dont la nature se rapproche ; mais pour l'exprimer, il faudrait une série infinie de variations et de remaniements, tout comme les décimales peuvent exprimer l'irrationnel. N'est que pour que la continuité ne soit pas impliquée, une réponse parfaitement exacte peut être obtenue.

Auteur: Peirce Charles Sanders

Info: Lettre à G. F. Becker, 11 juin 1893. Collection Merrill, Bibliothèque du Congrès. Cité dans Nathan Reingold, Science in Nineteenth-Century America : A Documentary History (1966), 231-2.

[ impatience ] [ insondable ] [ limitation anthropique ] [ impossible conclusion ]

raisonnements et inférences

L'un, le logicien, étudie la science qui permet de tirer des conclusions, l'autre, le mathématicien, la science qui permet de tirer des conclusions nécessaires.

Auteur: Peirce Charles Sanders

Info: In Charles S. Peirce, ‎Charles Hartshorne (ed.), ‎Paul Weiss (ed.), Collected Papers of Charles Sanders Peirce (1931), Vol. 4, 199

[ analyse déductive ] [ enquête scientifique ]

chercheurs

Pour les hommes à qui rien ne semble grand que la raison... la nature est un cosmos si admirable que pénétrer ses arcanes leur semble la seule chose qui rende la vie digne d'être vécue. Ces humains que nous voyons possédés par la passion d'apprendre sont les scientifiques naturels ; et ce sont les seuls qui réussissent vraiment dans la recherche scientifique.

Auteur: Peirce Charles Sanders

Info: "Leçons de l'histoire des sciences : L'attitude scientifique" (vers 1896), in Collected Papers (1931), Vol. 1, 19.

[ passionnés ]

chercheurs

La vraie science est distinctement l'étude des choses inutiles. Car les choses utiles seront étudiées sans l'aide des hommes de science. Employer ces rares esprits à de tels travaux revient à faire fonctionner une machine à vapeur en brûlant des diamants.

Auteur: Peirce Charles Sanders

Info: "Leçons de l'histoire des sciences : The Scientific Attitude" (vers 1896), dans Collected Papers (1931), Vol. 1, 32.

[ hors-sols ] [ abstraction ]

intelligence artificielle

Les modèles actuels, comme ChatGPT, peuvent être une aide à l’écriture mais en aucun cas une source d’information.

Il faut balayer les fantasmes sur cette technologie. Ces systèmes dits autorégressifs sont entraînés à prédire le mot suivant sans se soucier de la véracité de l’information.

Voilà une raison qui explique qu'ils ne peuvent pas encore créer des textes trop longs, car la probabilité qu’ils se trompent se renforce au fil de l’écriture. 

A mon avis les LLM [Large language model] autorégressifs auront une durée de vie très courte. La prochaine révolution sera probablement celle des IA dites pilotables. Ces systèmes, qui devraient voir le jour d’ici à cinq ans, seront capables de produire des textes longs et clairs en planifiant des séquences d’actions.

Pour obtenir des systèmes capables de planification selon des objectifs fixés, il faut qu’ils puissent apprendre le fonctionnement du monde extérieur. Mais la perception sensorielle et le sens commun ne s'inculquent pas aisément à des modèles d’IA. L’avantage de cette technologie est de pouvoir lui spécifier des contraintes alignées avec les valeurs humaines. Reste à définir ces valeurs, qui varient selon les cultures.

Auteur: Le Cun Yann

Info: https://www.usinenouvelle.com, 8 juillet 2023

[ désincarnée ]