Intelligence artificielle

OpenAI présente Super Alignment : Ouvrir la voie à une IA sûre et alignée

La présentation par OpenAI de son développement du super alignement est extrêmement prometteuse pour l'humanité. Grâce à ses capacités étendues, il est en mesure de répondre à certains des problèmes les plus urgents auxquels notre planète est confrontée. Le risque de déresponsabilisation, voire d'anéantissement de l'humanité, est l'un des graves dangers associés à l'émergence de la superintelligence.

L'arrivée du super-alignement

Le super-alignement peut sembler une possibilité lointaine, mais il pourrait se matérialiser dans les dix prochaines années. Nous devons créer de nouvelles structures de gouvernance et traiter le problème de l'alignement des superintelligences afin de maîtriser efficacement les risques qui y sont associés.

Superalignement de l'IA et de l'homme : Le défi actuel

Garantir que les systèmes d'IA, qui sont beaucoup plus intelligents que les humains, s'alignent sur les intentions de ces derniers constitue un obstacle de taille. Actuellement, nos techniques d'alignement de l'IA, telles que l'apprentissage par renforcement à partir du retour d'information humain, reposent sur la supervision humaine. Cependant, lorsqu'il s'agit de systèmes d'IA dépassant l'intelligence humaine, nos méthodes d'alignement actuelles deviennent inadéquates. Pour y remédier, nous avons besoin de nouvelles percées scientifiques et techniques.

OpenAI a mis à disposition ses modèles de cohérence pour la génération d'œuvres d'art par l'IA

Surmonter les hypothèses et intensifier les efforts d'alignement

Plusieurs hypothèses qui guident actuellement le développement de l'IA risquent d'échouer lorsque nous entrerons dans l'ère de la superintelligence. Il s'agit notamment de la capacité de nos modèles à identifier et à contourner la supervision au cours de la formation, ainsi que de leurs caractéristiques de généralisation favorables au cours du déploiement.

Un chercheur d'alignement automatique doté d'une intelligence proche de celle de l'homme, c'est ce que l'OpenAI vise à construire. L'objectif est d'intensifier les efforts et d'aligner itérativement la superintelligence en utilisant une grande puissance de calcul.

Construire les bases d'un super-alignement

Pour atteindre son objectif de chercheur en alignement automatisé, l'OpenAI a identifié trois étapes clés :

Se transformer en expert et avoir un impact significatif sur le monde de la science des données.

1. Développer une méthode de formation évolutive

OpenAI se concentrera sur la création d'une stratégie de formation qui s'adapte bien. Cette méthode sera essentielle pour apprendre aux systèmes d'IA à effectuer des activités difficiles à évaluer pour les humains.

2. Validation du modèle résultant

Il est essentiel de valider l'efficacité du chercheur d'alignement après sa construction. Pour s'assurer que le modèle est conforme aux intentions humaines et qu'il fonctionne comme prévu, l'OpenAI le soumettra à des tests rigoureux.

3. Test de stress du pipeline d'alignement

OpenAI soumettra son pipeline d'alignement à des tests de stress approfondis pour s'assurer de sa durabilité. En soumettant ses systèmes à des situations difficiles, elle pourra trouver d'éventuelles failles et les corriger.

Exploiter les systèmes d'IA pour la supervision et la généralisation

L'OpenAI utilisera des systèmes d'IA pour aider à l'évaluation d'autres systèmes d'IA afin de résoudre la difficulté de superviser des tâches qui sont difficiles à juger pour les humains. Cette méthode de supervision évolutive vise à garantir la réussite de l'alignement. Les chercheurs se pencheront également sur la généralisation de la surveillance, qui permettra aux systèmes d'IA de gérer des activités qui ne sont pas sous le contrôle de l'homme.

Validation de l'alignement : Robustesse et interprétabilité

Pour garantir l'alignement des systèmes d'IA, il est nécessaire de se concentrer sur deux facteurs essentiels : la robustesse et l'interprétabilité. Afin de découvrir d'éventuels problèmes d'alignement, l'OpenAI examinera les éléments internes de ses systèmes et automatisera la recherche de comportements problématiques.

Tests adverses : Détection des désalignements

OpenAI entraînera délibérément des modèles mal alignés pour évaluer l'efficacité de ses méthodes d'alignement. Elle peut évaluer l'efficacité de ses stratégies d'identification et de résolution des désalignements en testant ces modèles de manière rigoureuse et contradictoire.

Évolution des priorités de recherche et collaboration

L'OpenAI est consciente qu'à mesure qu'elle en apprendra davantage sur la question de l'alignement des superintelligences, ses objectifs de recherche évolueront. Les meilleurs chercheurs et ingénieurs en apprentissage automatique seront réunis pour travailler sur ce projet. Afin de créer de nouvelles techniques et de les déployer à grande échelle, l'OpenAI encourage les contributions d'autres équipes et souhaite publier plus d'informations sur sa feuille de route à l'avenir.

L'OpenAI est néanmoins optimiste, même si le défi de l'alignement de la superintelligence est ambitieux et que le succès n'est pas garanti. Elle a réalisé des tests préliminaires encourageants et dispose de mesures utiles pour suivre le développement. L'OpenAI est d'avis qu'un effort ciblé et coopératif peut aboutir à une résolution.

L'équipe dédiée de l'OpenAI : Leaders et collaboration

Le cofondateur et scientifique en chef d'OpenAI, Ilya Sutskever, a fait de l'alignement de la superintelligence le principal sujet de son étude. Il codirigera le groupe avec Jan Leike, responsable de l'alignement. L'équipe est composée de chercheurs et d'ingénieurs talentueux issus de l'ancienne équipe d'alignement de l'OpenAI ainsi que de chercheurs d'autres équipes de l'entreprise.

OpenAI recherche activement des universitaires et des ingénieurs de haut niveau pour se joindre à ses efforts. Ils souhaitent diffuser largement les résultats de leurs travaux, qu'ils considèrent comme essentiels à leur objectif d'aider à l'alignement et à la sécurité des modèles non-OpenAI.

Notre avis

Les efforts de la nouvelle équipe Superalignment complètent ceux d'OpenAI pour rendre les modèles existants comme ChatGPT plus sûrs. Les différents problèmes posés par l'IA, tels que les abus, les perturbations économiques, la désinformation, les préjugés, la discrimination, la dépendance et la surdépendance, sont également au centre des préoccupations de l'OpenAI. Elle collabore avec des professionnels pluridisciplinaires pour s'assurer que ses solutions techniques répondent à des problèmes sociétaux et humains plus importants.

En se consacrant à la création de systèmes d'IA sûrs et compatibles, OpenAI est à l'origine de technologies révolutionnaires qui influenceront la manière dont l'humanité fonctionnera à l'avenir.

Auteur: Sakshi Khanna

Info: https://www.analyticsvidhya.com/blog/author/sakshi_raheja/ - Publié le 8 juillet 2023

[ homme-machine ] [ machine-homme ] [ conservation du pouvoir ] [ prépondérance de l'humain ]

éloge funèbre

Roland Jaccard a mis fin à ses jours hier, lundi 20 septembre. Nombre de ses amis ont reçu un courriel matinal indiquant qu’il était sur le point de partir, qu’il tirait sa révérence. Pour moi, c’était à 8h09. Avec pour objet "Une leçon de dandysme helvétique" et les phrases suivantes dans le corps du texte : "Tu es un des seuls à m’avoir compris! Amitiés vives !"

Roland m’a fait beaucoup d’honneur. Nous n’étions peut-être pas beaucoup à l’avoir compris, mais il y en avait tout de même quelques-uns. À l’avoir compris et à l’avoir aimé. J’ai trainé un vilain pressentiment, toute la matinée, mais j’étais face à des étudiants et je me suis promis de l’appeler dès la pause de midi. Deux coups de téléphone de Gil Mihaely puis d’Elisabeth Lévy m’ont indiqué que c’était devenu inutile.

J’ai été sidéré mais pas surpris. Sidéré parce que, tout de même, la mort d’un ami, d’une de ces amitiés littéraires transformée en affection réciproque avec le temps, c’est une espèce de bloc d’abîme au creux de l’âme et des tripes, un bloc d’abîme que connaissent tous ceux qui apprennent la disparition brutale d’un être cher. 

Mais je n’ai pas été surpris : qui connaissait Roland savait que le suicide était chez lui un thème récurrent, une obsession, une porte de sortie presque rassurante. Le suicide est cette liberté terrible des stoïciens, et il y avait du stoïcien chez Roland au-delà de son hédonisme élégant, résumé ainsi par Marc-Aurèle dans Pensées pour moi-même : "Il y a trop de fumée ici, je m’en vais". Le suicide, Roland connaissait : en leur temps son père et son grand-père avaient eux aussi choisi la nuit. Il écrivait dans "Les Carnets de mon père", un de ses "Billets du vaurien" qu’il donnait chaque semaine à Causeur : "Soyons francs : nous avons aimé vivre une fois, mais nous n’aimerions pas recommencer. C’était aussi l’opinion de mon père." C’est à 80 ans que son père avait tiré sa révérence. Roland a écrit et dit, souvent, qu’il n’avait pas l’intention de le dépasser en âge. Et de fait, il allait avoir 80 ans, le 22 septembre. Quand vous aimez quelqu’un, vous ne l’écoutez pas, ou vous ne voulez pas le croire. C’est oublier que derrière la désinvolture de Roland, derrière son élégante et éternelle dégaine d’adolescent filiforme, il était d’une terrible rigueur. Il n’épargnait personne de ses sarcasmes et surtout pas lui-même. Mais on se rassure comme on peut, quand on aime. Après tout, un de ses maîtres et amis, Cioran, n’avait-il pas dans toute son œuvre parlé du suicide comme seule solution rationnelle à l’horreur du monde sans jamais passer à l’acte ? 

Non, décidément, malheureux comme les pierres mais pas surpris : lundi 13 septembre, après des mois d’absence puisqu’il avait décidé de revenir vivre dans sa ville natale, à Lausanne, depuis le début de la crise sanitaire, il était apparu à une réunion de rédaction suivie d’un pot célébrant le départ d’un des nôtres. Il paraît évident, maintenant, qu’il était venu nous dire au revoir ou plus précisément, car là encore on méconnait trop souvent à quel point celui qui faisait profession de cynisme aimait l’amitié, il avait voulu passer un peu de temps avec nous une dernière fois. De quoi ai-je parlé avec Roland pour ce qui était, sans que je le sache, une ultime rencontre ? Je ne sais pas pourquoi, j’ai du mal à m’en souvenir. Je voudrais vous dire qu’il avait donné des indices implicites, ce ne serait pas vrai. Il avait son flegme habituel, son sourire oriental, son exquise courtoisie d’homme qui a perdu depuis longtemps toute illusion mais qui n’en fait pas un drame, courtoisie héritée de cette civilisation naufragée de la Mitteleuropa à laquelle avait appartenu sa mère autrichienne.

Je voudrais tout de même souligner, maintenant, son importance dans le paysage intellectuel français. Il a écrit des livres essentiels sur la psychanalyse avec laquelle il entretenait des rapports ambigus comme avec tout le reste, notamment L’exil intérieur en 1975. Il y disait d’une autre manière, ce que Debord avait cerné dans La Société du Spectacle : l’impossibilité dans le monde moderne pour les êtres de rencontrer d’autres êtres, et pire encore l’impossibilité pour l’homme de coïncider avec lui-même. Il a été aussi une des plus belles plumes du Monde comme critique des essais et surtout un éditeur hors pair aux PUF où sa collection, "Perspectives critiques", présente un catalogue de rêve. On lui doit la découverte d’André Comte-Sponville mais il a aussi publié Clément Rosset ou Marcel Conche et a assuré, à travers plusieurs autres auteurs, les noces de la philosophie et de la littérature : on y trouve ainsi les inclassables et tellement talentueux Romain Slocombe et Frédéric Pajak.

Après, d’autres le réduiront sans doute à une légende qu’il a malicieusement entretenue dans ses journaux intimes dont le monumental Le Monde d’avant (1983-1988) paru au début de l’année dont nous avons rendu compte dans Causeur. Son amitié, jamais reniée, avec Matzneff malgré les brouilles, son goût pour les jeunes filles qui ressemblaient à son idole, Louise Brooks, ou qui venait de l’Empire du Levant. Sa manière de jauger et de juger les hommes à la manière dont ils jouaient au ping-pong et aux échecs. Une de ses grandes tristesses fut d’ailleurs la fermeture pour rénovation du Lutétia, où on pouvait le trouver tous les dimanches dans les salons où il vous mettait très rapidement échec et mat. 

Au-delà de son refus de la postérité, celle qui consiste à avoir des enfants comme celle qui nous fait survivre à notre propre mort en étant encore lu dans vingt ou trente ans, le nihiliste Roland était un homme étonnamment soucieux de transmettre. Il refusait de l’admettre, il disait que je le taquinais, mais pourtant il suffit d’ouvrir un de ses livres pour avoir envie de lire les auteurs dont il parle : Cioran, bien sûr mais aussi son cher Amiel ou encore Paul Nizon. J’en oublie, forcément.

Je ne sais pas où est Roland désormais. Il se riait de mon communisme comme de mon catholicisme qui revient avec l’âge. Il n’empêche, je suis content d’avoir ses livres dans ma bibliothèque. Je vais le relire. C’est encore la meilleure des prières en même temps que le plus beau des hommages que je peux lui rendre. Le plus consolant aussi, car nous allons être un certain nombre, à Causeur et ailleurs, à avoir besoin d’être consolé.

Auteur: Leroy Jérôme

Info: Causeur, 21 sept 2021

[ eulogie ] [ écrivain-sur-écrivain ]

univers inversé

Les possibilités métagénomiques

Une infime fraction - la plupart des scientifiques estiment <1% - des espèces microbiennes sur Terre peut être cultivée et étudiée à l'aide de techniques classiques de microbiologie et de génomique. Mais en utilisant des outils de métagénomique récemment développés, les chercheurs appliquent l'analyse génomique à des communautés microbiennes entières à la fois, sans avoir à isoler et à cultiver des espèces individuelles. Les études de métagénomique commencent par obtenir un échantillon d'un environnement particulier tel que l'eau de mer, le sol ou l'intestin humain, en extrayant le matériel génétique de tous les organismes de l'échantillon, puis en analysant l'ADN de ce mélange pour mieux comprendre comment les membres de la communauté interagir, changer et exécuter des fonctions complexes.

Processus : la métagénomique consiste à obtenir l'ADN de tous les micro-organismes d'une communauté, sans nécessairement identifier toutes les espèces impliquées. Une fois les gènes séquencés et comparés aux séquences identifiées, les fonctions de ces gènes peuvent être déterminées.

Parce qu'elle ne dépend pas de l'établissement de cultures pures, la métagénomique offre l'accès à des millions d'espèces microbiennes qui auparavant ne pouvaient pas être étudiées. Il permet également aux chercheurs d'examiner les micro-organismes dans le contexte des environnements dans lesquels ils existent naturellement, en étudiant des communautés entières en même temps.

Applications de la métagénomique

Pratiquement tous les biologistes, quel que soit leur domaine, découvriront qu'une meilleure compréhension des communautés microbiennes et de la métagénomique peut contribuer à leurs propres recherches. L'étude des communautés microbiennes par la métagénomique peut aider les biologistes à s'attaquer à des questions scientifiques fondamentales et à résoudre les problèmes sociaux, environnementaux et économiques connexes. Voici quelques-unes des applications potentielles de la métagénomique :

Avancées des sciences de la vie.

Décrypter le fonctionnement et l'interaction des espèces au sein des communautés microbiennes peut répondre en partie à des questions fondamentales sur de nombreux aspects de la biologie microbienne, végétale et animale et améliorer considérablement la compréhension de l'écologie et de l'évolution. La métagénomique pourrait aider à répondre à des questions telles que : Qu'est-ce qui constitue un génome ? Qu'est-ce qu'une espèce ? Quelle est la diversité de la vie ?

Sciences de la Terre.

L'exploration de la manière dont les communautés microbiennes du sol et des océans affectent les équilibres atmosphériques et les conditions environnementales peut aider les scientifiques à mieux comprendre, prévoir et potentiellement faire face aux changements mondiaux.

Médicament.

Des centaines de médicaments disponibles aujourd'hui sont dérivés de produits chimiques trouvés pour la première fois dans des microbes ; l'accès aux génomes d'espèces microbiennes supplémentaires est très prometteur pour en découvrir des milliers d'autres. L'étude du "microbiome" humain – les milliers de milliards de bactéries vivant dans et sur le corps humain – peut conduire à de nouvelles façons de diagnostiquer, de traiter et de prévenir les maladies.

Énergie alternative.

De nouvelles sources d'énergie pourraient être développées en exploitant le pouvoir des communautés microbiennes pour produire des sous-produits tels que l'hydrogène, le méthane, le butanol et même le courant électrique.

Assainissement de l'environnement.

Comprendre les microbes qui dégradent les produits chimiques environnementaux peut aider à nettoyer des polluants tels que les fuites d'essence, les déversements de pétrole, les eaux usées, les rejets industriels et les déchets nucléaires.

Biotechnologie.

L'identification et l'exploitation des capacités biosynthétiques polyvalentes et diverses des communautés microbiennes peuvent conduire au développement de nouveaux produits industriels, alimentaires et de santé bénéfiques.

Agriculture.

Mieux comprendre les microbes bénéfiques vivant dans, sur, sous et autour des plantes et des animaux domestiques peut contribuer à améliorer les méthodes de détection des agents pathogènes dans les cultures, le bétail et les produits alimentaires et peut faciliter le développement de pratiques agricoles qui tirent parti des les alliances naturelles entre les microbes, les plantes et les animaux.

Biodéfense et médecine légale microbienne.

L'étude de l'ADN et des empreintes biochimiques des communautés microbiennes aide les spécialistes à surveiller les agents pathogènes connus et potentiels, à créer des vaccins et des traitements plus efficaces contre les agents bioterroristes potentiels et à reconstruire les événements dans lesquels les microbes ont joué un rôle.

Valeur de la métagénomique pour l'enseignement de la biologie

La citation de Muir a également une pertinence importante pour l'enseignement des sciences. Qu'est-ce qui sépare la chimie, la génétique, la biologie moléculaire, l'évolution, l'écologie et d'autres disciplines ? Où se croisent-elles et comment se construisent-elles les unes sur les autres ?

La métagénomique aide à combler le fossé entre la génétique et l'écologie, démontrant que les gènes d'un seul organisme sont connectés aux gènes des autres et à l'ensemble de la communauté. En fait, les processus de la métagénomique démontrent qu'il est important d'étudier les gènes et les organismes en contexte et d'apprécier toute la diversité de la vie, même dans un seul cadre. Ces messages ont une pertinence importante dans l'ensemble de la biologie et seraient des ajouts précieux à n'importe quel cours de biologie, peut-être en particulier ceux du niveau d'introduction.

Parce que la métagénomique s'inspire d'un large éventail de domaines et les affecte, c'est un outil précieux pour enseigner des thèmes et des concepts qui sont tissés tout au long de l'enseignement de la biologie. En effet, l'enseignement et l'apprentissage de la métagénomique pourraient clairement intégrer les types de changements dans l'enseignement des sciences de la maternelle à la 12e année et du premier cycle que de nombreux rapports ont demandé au cours de la dernière décennie.

Certains professeurs estiment qu'ils doivent utiliser des cours d'introduction pour fournir aux étudiants pratiquement toutes les connaissances qu'ils utiliseront pour comprendre les concepts de base d'une discipline. Certains considèrent également les cours d'introduction comme un moyen d'aider les étudiants à apprendre à interpréter les nouvelles et autres informations sur la science afin qu'ils puissent prendre des décisions plus éclairées à la maison, chez le médecin et dans l'isoloir. Trop souvent, cependant, de tels cours ne parviennent pas à transmettre la beauté complexe du monde vivant et les innombrables façons dont la biologie a un impact sur la "vraie vie". L'apprentissage de la métagénomique au niveau introductif - en mettant l'accent sur ses applications potentielles dans le monde réel - pourrait servir à éclairer les principes de base d'une grande variété de domaines, les liens entre eux et la pertinence plus large des avancées scientifiques pour les problèmes du monde réel. Si les étudiants peuvent voir qu'il y a vraiment des questions non résolues intéressantes auxquelles ils peuvent jouer un rôle pour répondre, le recrutement de jeunes talentueux pour les carrières scientifiques peut être facilité. De cette façon, les élèves rencontreront une science dynamique plutôt que statique.

LES BÉNÉFICES DE L'INTÉGRATION DE L'ÉDUCATION ET DE LA RECHERCHE

Les avantages de l'intégration précoce de la métagénomique et d'autres sciences nouvelles dans l'enseignement de la biologie profiteraient non seulement aux étudiants en biologie, mais aussi aux scientifiques et à leurs projets de recherche. L'expérience montre que lorsque les chercheurs enseignent, leur propre compréhension s'approfondit, menant à de nouvelles questions et pistes de recherche souvent inattendues qui sont posées par les étudiants, ainsi qu'à contribuer au développement d'approches créatives des problèmes. Si la communauté de la biologie peut intégrer l'enseignement de la métagénomique aux progrès de la recherche dès le départ, les étudiants pourraient devenir des participants actifs au développement du domaine.

Enseigner un domaine nouveau ou émergent est un moyen idéal d'engager profondément les étudiants dans l'exploration de questions fondamentales qui sont au cœur de la poursuite scientifique et de les encourager à poser leurs propres questions. En effet, dans le cas du domaine émergent de la métagénomique, les questions les plus fondamentales peuvent être les plus profondes. Répondre à ces questions inspire à son tour les jeunes esprits et les chercheurs actifs, et la science est bénéfique. 

D'autres ont vu l'intérêt d'intégrer la science émergente à l'éducation. Un certain nombre d'efforts sont actuellement en cours pour intégrer la recherche et l'enseignement en génomique.

Auteur: Internet

Info: https://www.ncbi.nlm.nih.gov/ Metagenomics: A Call for Bringing a New Science into the Classroom (While It's Still New) Anne Jurkowski,* Ann H. Reid,† and Jay B. Labovcorresponding author

[ sciences ] [ nano-monde ] [ ouverture ] [ matrice gaïa ]