agglomérations

Ils commencent par se construire un toit, un petit coin, une place à eux. Comme ces migrants n'ont pas d'argent, puisqu'ils sont justement partis en ville pour en gagner - le village traditionnel africain ignore la notion de l'argent -, ils ne peuvent se réfugier que dans les bidonvilles. L'architecture de ces quartiers est invraisemblable. Le plus souvent , les autorités de la ville affectent aux pauvres les terrains les plus mauvais : des marécages, ou bien des terres nues et sablonneuses. C'est là qu'on installe la première cabane. A côté d'elle vient s'installer une deuxième. Puis une troisième. Spontanément surgit une rue. Quand cette rue en rencontre une autre, cela forme un croisement. Puis ces rues commencent à se séparer, tourner, se ramifier. C'est ainsi que naît un quartier. Mais comment se procurent-ils les matériaux ? C'est la grand mystère. En creusant le sol ? En décrochant les nuages ? En tout cas il est sûr et certain que cette foule de miséreux n'achète rien. Sur la tête, sur les épaules, sous le bras, ils transportent des morceaux de tôle, de planches, de contreplaqué, de plastique, de carton, de carrosserie, de cageot, puis ils assemblent, montent, clouent, collent ces pièces en un ensemble qui tient de la cabane ou de la hutte et forme un collage multicolore improvisé. En guise de couche, ils tapissent la terre d'herbe à éléphant, de feuilles de bananiers, de rafia ou de paille de riz, car souvent le sol est boueux ou pierreux. Faites de bric et de broc, ces architectures monstrueuses en papier mâché sont infiniment plus créatives, imaginatives, inventives et fantaisistes que les quartiers de Manhattan ou de La Défense à Paris. La ville entière tient sans une brique, sans une poutre métallique, sans un mètre carré de verre !

Auteur: Kapuscinski Ryszard

Info: Ebène - Aventures africaines

[ favelas ] [ auto-organisation ] [ débrouile ]

femmes-hommes

Les cerveaux des hommes et des femmes sont connectés différemment
Les stéréotypes sur les aptitudes propres aux deux sexes sont confortés par une étude, qui prouve que les cerveaux des hommes et des femmes sont connectés de manière très différente.
Ces cartes de la connectivité cérébrale montrent des différences frappantes et aussi complémentaires dans l'architecture du cerveau humain. Elles aident à fournir une base neuronale potentielle expliquant pourquoi les hommes excellent dans certaines tâches et les femmes dans d'autres", relève Ragini Verma, professeur de radiologie à la faculté de médecine de l'Université de Pennsylvanie.
La recherche a ainsi montré que les femmes sont supérieures aux hommes pour la capacité d'attention, la mémoire des mots et des visages ainsi qu'aux tests d'intelligence sociale mais les hommes les surpassent en capacité et vitesse de traitement de l'information.
CONNECTIVITÉ NEURONALE DIFFÉRENTE
Cette étude montre chez l'homme une plus grande connectivité neuronale entre le devant du cerveau, siège de la coordination de l'action, et l'arrière où se trouve le cervelet, important pour l'intuition.
Les images indiquent aussi un grand nombre de branchements dans chacun des deux hémisphères cérébraux. Une telle connectivité suggère que le cerveau masculin est structuré pour faciliter les échanges d'informations entre le centre de la perception et celui de l'action.
Quant aux femmes, les branchements relient l'hémisphère droit, où siège la capacité d'analyse et de traitement de l'information, à l'hémisphère gauche, centre de l'intuition. La chercheuse Ragini Verma explique que les hommes sont en moyenne plus aptes à apprendre et à exécuter une seule tâche, comme faire du vélo, du ski ou la navigation.
Les femmes, elles, ont une mémoire supérieure et une plus grande intelligence sociale qui les rendent plus aptes à exécuter de multiples tâches et à trouver des solutions pour le groupe.

Auteur: Internet

Info: 5 décembre 2013

[ sciences ]

ventilation

A quoi ressemble la gare routière d'Accra ? A un grand cirque faisant une brève halte. Festival de couleurs et de musique. Les autocars font davantage penser à des roulottes de forains qu'aux luxueux pullmans glissant sur les autoroutes d'Europe et d'Amérique.

Ce sont des espèces de camions avec des ridelles en bois surmontées d'un toit reposant sur des piliers, de sorte qu'une brise agréable nous rafraîchit pendant le trajet. Ici, le courant d'air est une valeur prisée. Si on veut louer un appartement, la première question que l'on pose au propriétaire est : "Y a-t-il des courants d'airs ?" Il ouvre alors en grand les fenêtres et on est aussitôt caressé par un agréable souffle d'air frais : on respire profondément, on est soulagé, on revit.

Au Sahara, les palais des seigneurs sont étudiés avec ingéniosité : quantité d'ouvertures, de fentes, de coudes et de couloirs sont conçus, disposés et structurés de façon à provoquer une circulation d'air optimale. Dans la chaleur de midi, le maître est couché sur une natte à l'endroit où débouche le courant d'air et respire avec délectation ce vent un peu plus frais. Le courant d'air est une chose mesurable financièrement : les maisons les plus chères sont construites là où se trouvent les meilleurs courants d'air. Immobile, l'air ne vaut rien, mais il lui suffit de bouger pour prendre de la valeur.

Les autocars sont bariolés de dessins aux couleurs vives. La cabine du chauffeur et les ridelles sont peinturlurées de crocodiles découvrant des dents acérées, de serpents dressés prêts à l'attaque, de volées de paons caracolant dans les arbres, d'antilopes poursuivies dans la savane par des lions féroces. Partout des oiseaux à profusion, des guirlandes, des bouquets de fleurs. Le kitsch à l'état pur, mais un kitsch débordant d'imagination et de vie.

Auteur: Kapuscinski Ryszard

Info: Ebène - Aventures africaines

[ architecture ] [ adaptation ]

émergence humaine

Dans cette section, j'ai essayé de démontrer que la pensée darwinienne est à la hauteur de sa réputation d'acide universel : elle bouleverse tout le monde traditionnel, remettant en question cette image du haut vers le bas de conceptions émanant du génie des génies, le Concepteur Intelligent, et en les remplaçant par l'image du haut vers le bas de processus cycliques sans esprit, sans motif, qui produisent des combinaisons de plus en plus robustes jusqu'à ce qu'elles commencent à se répliquer d'elles-mêmes, accélérant le processus de conception en réutilisant les meilleurs éléments encore et encore. Certains de ces premiers descendants finissant par unir leurs forces (composante majeure, la symbiose), ce qui conduit à la multicellularité (autre caractéristique majeure), qui conduit à des véhicules d'exploration plus efficaces rendus possibles par la reproduction sexuelle (pareillement aspect majeur), qui conduit finalement, à une espèce, avec langage et évolution culturelle (encore un truc majeur), qui fournissent le support de la littérature, de la science et de l'ingénierie. Dernier arrivé des ces composants, ce qui nous permet à notre tour d'être "méta", comme aucune autre forme de vie ne peut l'être, apte à réfléchir d'infinies façons à ce que nous sommes et comment nous sommes arrivés là, modélisant ces processus via des pièces et des romans, des théories et des simulations informatiques, et en ajoutant toujours plus d'instruments de réflexion à notre impressionnante boîte à outils. Cette perspective est si unificatrice et en même temps si généreuse en idées détaillées qu'on pourrait dire qu'il y a là un dispositif puissant en lui-même. Ceux qui sont encore étrangement rebutés par la pensée darwinienne doivent considérer la probabilité que s'ils essaient de faire cavalier seul avec les seuls outils de la tradition, ils se retrouveront à travailler bien loin de la pointe de la recherche sur des phénomènes importants aussi divers que les épidémies et l'épistémologie, les biocarburants et l'architecture du cerveau, la génétique moléculaire, la musique et la moralité.

Auteur: Dennett Daniel C.

Info: Intuition Pumps And Other Tools for Thinking

[ phylogénie ] [ égrégore ] [ planète cerveau ] [ ruche ] [ homo gestalt ] [ source noma ]

intelligence artificielle

- Peux-tu nous parler des "transformateurs" dans le processus d'IA ?

- Les transformateurs (transformers) sont un type d'architecture de réseau neuronal qui a gagné en popularité et en succès dans les tâches de traitement du langage naturel (NLP), telles que la traduction linguistique, la réponse aux questions et la modélisation linguistique. Ils ont été introduits par Vaswani et al. dans un article fondateur en 2017, et sont depuis devenus un outil standard dans la communauté du TAL.

L'innovation clé de l'architecture du transformateur est l'utilisation de mécanismes d'auto-attention, qui permettent au réseau de s'intéresser à différentes parties de la séquence d'entrée lors du traitement de chaque élément de la séquence. Cela permet au réseau de saisir les dépendances complexes entre les mots ou les tokens de la séquence d'entrée, sans s'appuyer sur un traitement séquentiel*. Le mécanisme d'auto-attention permet également au réseau d'apprendre des représentations contextuelles des mots, qui peuvent être utilisées pour générer des traductions ou des prédictions plus précises et plus fluides.

L'architecture du transformateur présente plusieurs avantages par rapport aux modèles de réseaux neuronaux antérieurs pour les tâches de NLP. Elle peut traiter des séquences d'entrée de longueur variable, ce qui est important pour des tâches telles que la modélisation linguistique et la traduction automatique. Elle peut également capturer les dépendances à longue portée entre les mots, ce qui est important pour des tâches telles que la réponse aux questions et le résumé. En outre, il a été démontré que l'architecture des transformateurs est plus parallélisable et plus efficace sur le plan informatique que d'autres modèles de réseaux neuronaux, ce qui permet d'accélérer les temps d'apprentissage et d'inférence.

Dans l'ensemble, les transformateurs ont eu un impact significatif sur le domaine de l'IA et du NLP**, et ils continuent d'être un domaine actif de recherche et de développement. Ils sont largement utilisés dans de nombreuses applications pratiques, notamment les assistants virtuels, les chatbots et les systèmes de traduction automatique.

Auteur: chatGPT4

Info: 1 mai 2023 *traitement des données dans l'ordre où elles se présentent, sans sélection, regroupement ou tri préalable.**Natural langage processing

[ . ]

défauts de la théorie newtonienne

1. On remarque constamment l’effort de Newton de présenter son système de pensées comme nécessairement conditionné par l’expérience. On remarque aussi qu’il utilise le moins possible de concepts non directement rattachables aux objets de l’expérience. Et pourtant il pose les concepts : espace absolu, temps absolu ! A notre époque, on lui en fait souvent grief. Mais, justement, dans cette affirmation, Newton se reconnaît particulièrement conséquent avec lui-même. Car il a découvert expérimentalement que les grandeurs géométriques observables (distances des points matériels entre eux) et leur cours dans le temps ne définissent pas complètement les mouvements au point de vue physique. Il a démontré ce fait par la célèbre expérience du seau. Donc il existe, en dehors des masses et de leurs distances variables dans le temps, encore quelque chose de déterminant pour les événements. Ce "quelque chose", il l’imagine comme le rapport à l’ "espace absolu". Il avoue que l’espace doit posséder une espèce de réalité pour que ses lois du mouvement puissent avoir un sens, une réalité de même nature que celle des points matériels et de leurs distances.

Cette connaissance lucide de Newton souligne évidemment sa sagesse mais aussi la faiblesse de sa théorie. Car la construction logique de cette architecture s’imposerait certainement beaucoup mieux sans ce concept obscur. Car alors, dans les lois, nous ne trouverions que des objets (points matériels, distances) dont les relations avec les perceptions resteraient parfaitement transparentes.

2. Introduire des forces directes, agissant à distance et instantanément pour représenter les effets de gravitation, ne concorde pas avec le caractère de la plupart des phénomènes connus par l’expérience quotidienne. Newton répond à cette objection. Il déclare que sa loi de l’action réciproque de la pesanteur n’ambitionne pas d’être une explication définitive, mais plutôt une règle déduite de l’expérience. 

3. Au fait particulièrement remarquable que le poids et l’inertie d’un corps restent déterminés par la même grandeur (la masse), Newton n’offre en sa théorie aucune explication ; mais la singularité du fait ne lui échappe pas.

Auteur: Einstein Albert

Info: "Comment je vois le monde", traduction de l’allemand par Maurice Solovine et Régis Hanrion, Flammarion, 2017, pages 225-226

[ science ]

couple

Hedwige se blottit contre lui par honte d'être regardée de loin, afin qu'il ne remarque pas, de face, sa taille qui disparaît ou, de profil, son ventre convexe. Mais en la serrant contre lui, il devine ce que son regard n'aurait pas aperçu, il ferme les yeux et dit : 

- Cela commence à se voir, et sérieusement.

- Tant pis, répond Hedwige, prise par la fierté d'être belle et l'orgueil d'être mère.

- Tant mieux.

Hedwige clôt ses paupières, heureuse de sentir ses deux enfants l'un contre l'autre, car Pierre qui lui apparaissait si fort, si Zeus, si foudroyant dans les premiers temps, la vie commune en a fait son enfant.  "C'est un drôle de garçon" dit-elle avec attendrissement, presque avec compassion, le côté incompréhensible de leur compagnon, pour leur mystérieuse manie, car ils en ont tous une, que ce soit le jardinage, le devoir civique, la guérison des maladies, la guerre ou toute autre mission qu'ils croient avoir reçue ; comme ces vieux colonels en retraite qui, pour se donner l'illusion de l'activité, se portent à leur adresse des ordres de mobilisation imaginaires. Chaque mâle se construit ainsi une étrange architecture dont il fait hommage à un dieu, à un demi-dieu, à une folie. Tout autel, si bizarre soit-il, leur est bon pour se mettre l'âme en mouvement et se donner une raison de vivre. Hedwige ne cherchait pas à pénétrer les mobiles de Pierre ; c'était un homme : cette explication suffisait. Le rythme ardent de son mari, cette invariable manie de varier, ce besoin de prendre non une vue des choses mais une même chose sous tous les aspects en sautillant d'un point cardinal à un autre, comme nos paysagistes contemporains qui suivent le soleil en auto avec leurs toiles, cette avidité de tout regarder et de ne rien contempler, de tout faire et de ne rien parfaire, de courir d'occasion en circonstances et de conjoncture en occurrence, tout cela était fatigant, certes et inutile, mais c'était le revers de la médaille d'un époux à tout prendre gentil, tendre, exquis parfois, quoique dénué d'empire sur soi-même.

Auteur: Morand Paul

Info: l'homme pressé (1941, 350 p., Gallimard, p.218, 219)

[ famille ] [ délicatesse ] [ maternité ] [ spécificité masculine ] [ beauté ]

intelligence artificielle

Les réseaux neuronaux profonds (DNN) sont analysés via le cadre théorique du principe du goulot d'étranglement de l'information (IB). Nous montrons d'abord que tout DNN peut être quantifié par l'information mutuelle entre les couches et les variables d'entrée et de sortie. A l'aide de cette représentation, on peut calculer les limites théoriques d'information optimales du DNN et obtenir des limites de généralisation d'échantillons finis. L'avantage de se rapprocher de la limite théorique est quantifiable tant par la généralisation liée que par la simplicité du réseau. Nous soutenons que tant l'architecture optimale, le nombre de couches et les caractéristiques/connexions de chaque couche, sont liés aux points de bifurcation de l'arbitrage du goulet d'étranglement de l'information, à savoir la compression pertinente de la couche d'entrée par rapport à la couche de sortie. Les représentations hiérarchiques du réseau en couches correspondent naturellement aux transitions de phases structurelles le long de la courbe d'information. Nous croyons que cette nouvelle perspective peut mener à de nouvelles limites d'optimalité et à de nouveaux algorithmes d'apprentissage en profondeur.

A) Stade initial : La couche de neurones 1 encode toute l'information qui rentre (input data), y compris toutes les étiquettes (labels, polarités) Les neurones de cette couche étant dans un état quasi aléatoire, avec peu ou pas de relation entre les données et leurs étiquettes.
Ainsi chaque neurone artificiel qui se déclenche transmet un signal à certains neurones de la couche suivante en fonction des variables d'entrée et de sortie. Le processus filtre le bruit et ne retient que les caractéristiques les plus importantes.

B) Phase de montage : à mesure que l'apprentissage en profondeur commence, les neurones des couches (layers) suivantes obtiennent des informations sur l'entrée qui s'adaptent mieux aux étiquettes.

C) Changement de phase: la couche (calque) change soudainement de vitesse et commence à "oublier les informations" de l'input.

D) Phase de compression: les couches supérieures compriment leur représentation des données d'entrée en ne conservant ce qui est le plus pertinent pour les infos de sortie. Elles précisent l'étiquetage.

E) Phase finale : la dernière couche obtient le meilleur équilibre entre précision et compression, ne conservant que ce qui est nécessaire pour définir l'étiquette.

Auteur: Tishby Naftali

Info: Bottleneck Theory of Deep Learning, abstract

[ classification ] [ tri ] [ informatique ] [ discernement ] [ pattern recognition ]

écologie

Nous savions construire des villes adaptées au chaud depuis 2000 ans. Et nous ne savons plus. Le niveau de connaissances s'est effondré de façon parfaitement parallèle à la disponibilité du pétrole au 20ème siècle.

La visite de villes italiennes montre que les romains connaissaient déjà l'essentiel des principes de la construction durable (bétons de chaux non armés, structures pierres, masses thermiques,...), du low-tech (jouer sur les orientations et les ratios de forme), des constructions passives (ventilation douce naturelle, protections solaires,...), ...

Autant de savoirs qui ne sont ni enseignés, ni connus des "meilleures" écoles d'architecture de notre époque.

On remarque en observant l'extension de certaines de ces villes que tant la qualité architecturale que la qualité constructive a commencé à baisser au début du siècle dernier et se sont littéralement effondrés dès les années 1970. La doctrine contemporaine - en Italie comme ailleurs - est de construire en opposition aux règles simples de la physique, puis de laisser aux ingénieurs et aux machines énergétiques le soin de résoudre les problèmes engendrés. Ce qui fonctionne dans un monde - aujourd'hui disparu - de ressources abondantes et d'énergie pas chère.

L'épilogue de cette pratique est l'installation systématique de climatiseurs dans les coeurs urbains historiques qui refroidissent individuellement les habitats, mais réchauffent collectivement les villes (puisqu'elles soutirent de l'électricité qu'elles transforment en chaleur). Ce qui prive désormais l'ensemble des citoyens de froid gratuit - créé à l'époque grâce aux connaissances des méthodes douces - et offre aux privilégiés du froid payant, cher et polluant.

Un petit exemple en images de savoir-faire visibles sur l'annexe de la Basilique de Santa Maria Novella de Florence construit aux environs de 1400... où il fait frais depuis 600 ans sans énergie.

Façades nord plutôt vitrées et lisses avec des protections solaires ventilées.

Façades sud en fort retrait couvertes par des protections solaires maçonnées avec des ratios 1-1 (en Suisse et en passif on utilise des ratios de 2-3 pour aussi privilégier les apports solaires hivernaux).

Façades est-ouest presque pas vitrées.

Ventilations naturelles importantes par les cours, fortes végétalisations des surfaces horizontales et chemins ombragés.

Auteur: Muller Marc

Info:

[ sagesse ] [ adaptation ] [ décorrélation homme nature ] [ appartenance intégration ] [ historique ]

intelligence artificielle

Résumé et explication du texte "Attention is All You Need"

Le texte "Attention is All You Need" (Vaswani et al., 2017) a révolutionné le domaine du traitement du langage naturel (TLN) en introduisant l'architecture Transformer, un modèle neuronal basé entièrement sur le mécanisme d'attention. Ce résumé explique les concepts clés du texte et son impact sur le TLN.

Concepts clés:

• 
  

  Attention: Le mécanisme central du Transformer. Il permet au modèle de se concentrer sur des parties spécifiques d'une séquence d'entrée (par ex., une phrase) lors du traitement, capturant ainsi les relations à longue distance entre les mots.

  
  


• 
  

  Encodeur-décodeur: L'architecture du Transformer. L'encodeur traite la séquence d'entrée et produit une représentation contextuelle. Le décodeur utilise ensuite cette représentation pour générer la séquence de sortie.

  
  


• 
  

  Positional encoding: Ajoute des informations de position aux séquences d'entrée et de sortie, permettant au modèle de comprendre l'ordre des mots.

  
  


• 
  

  Apprentissage par self-attention: Le Transformer utilise uniquement des mécanismes d'attention, éliminant le besoin de réseaux récurrents (RNN) comme les LSTM.

  
  

Impact:

• 
  

  Efficacité: Le Transformer a surpassé les modèles RNN en termes de performance et de parallélisation, permettant un entraînement plus rapide et une meilleure scalabilité.

  
  


• 
  

  Polyvalence: L'architecture Transformer s'est avérée efficace pour une large gamme de tâches en TLN, telles que la traduction automatique, le résumé de texte et la réponse aux questions.

  
  


• 
  

  Impact durable: Le Transformer est devenu l'architecture de base pour de nombreux modèles de pointe en TLN et continue d'inspirer des innovations dans le domaine.

  
  

En résumé:

"Attention is All You Need" a marqué un tournant dans le TLN en introduisant l'architecture Transformer. Le mécanisme d'attention et l'absence de RNN ont permis d'améliorer considérablement l'efficacité et la polyvalence des modèles de TLN, ouvrant la voie à de nombreuses avancées dans le domaine.

Points importants:

• 
  

  Le Transformer repose sur le mécanisme d'attention pour capturer les relations à longue distance dans les séquences.

  
  


• 
  

  L'architecture encodeur-décodeur avec self-attention offre une grande efficacité et une grande flexibilité.

  
  


• 
  

  Le Transformer a eu un impact profond sur le domaine du TLN et continue d'inspirer de nouvelles recherches.

  
  

Auteur: Internet

Info: Compendium de gemini

[ historique ] [ traitement automatique du langage ] [ écrit célèbre ]