Twitxy Saved

Samuel Fitoussi

Verified account This account is verified. Learn more

@SamuelFitouss10

Chroniqueur @Le_Figaro, écrivain, auteur de "Pourquoi les intellectuels se trompent" (2025). I think and write a lot about AI. Pre-seed investor @frst_vc
Paris / San Francisco amazon.fr/Pourquoi-intel… Joined September 2018
2.5K Following 35K Followers 3.6K Posts

Latest posts 5

Samuel Fitoussi Verified account @SamuelFitouss10
On ne dira jamais assez à quel point Dario Amodei est un génie et un visionnaire. Je viens de lire son texte “Big Blob of Compute”, écrit en 2017 (communication interne à OpenAI, publiée ci-dessous par Kevin Roose). On croit y lire une analyse rétrospective de ce qui a permis les succès des LLM tellement c’est prescient.

Quelques extraits (et mes commentaires) :

“J’émets l’hypothèse du « gros bloc de calcul » (Big Blob of Compute, ou BBOC). Produire un comportement intelligent implique avant tout de fournir une grande masse de capacité de calcul, dotée d’une structure minimale, puis à façonner cette masse de calcul par des interactions avec un environnement riche. [...] Les algorithmes qui cherchent à prescrire rigidement ce que le calcul doit faire, ou la manière dont il doit être réparti entre les supposés « morceaux » de la tâche (telles que les humains les conçoivent) ont tendance à donner des résultats médiocres. Plus généralement, les algorithmes comptent plus en négatif qu’en positif : il est possible de concevoir des architectures désastreuses qui entravent la propagation des informations dans le réseau de neurones, mais il est difficile de faire mieux qu’un bloc non structuré. Et il est difficile, voire impossible, de créer un algorithme qui pousserait l’agent à faire autre chose que ce qu’impliquent ses données et son processus d’entraînement.”

⇒ Deux ans avant Sutton, Amodei défend la “bitter-lesson” (les algorithmes d’apprentissage simples permettant d’exploiter la puissance de calcul battront ceux dans lesquels on injecte notre compréhension du problème).

Amodei listait ensuite les sept ingrédients qui allaient selon lui compter le plus sur le chemin vers l’AGI. En voici quelques-uns et mes commentaires.

“Les paramètres. L’agent a besoin de pouvoir conserver durablement les informations qu’il apprend sur la tâche générale pendant l’entraînement, et de stocker temporairement celles qu’il apprend sur un cas particulier de cette tâche pendant l’inférence. [..] Sans suffisamment de paramètres, l’agent n’apprendra pas correctement la tâche.”

⇒Amodei ne s’inquiète pas de modèles trop paramétrés (capables de mémoriser leurs données d’entraînement et risquant donc de mal généraliser), seulement de modèles trop petits, incapables d’extraire dans toute leur finesse les relations structurant la donnée. La découverte du phénomène de double descente (passé une certaine taille, des réseaux immenses généralisent mieux) lui a donné raison, et les réseaux n’ont cessé de grossir depuis.

“La quantité d'expériences. L’agent a besoin d’assez d’expérience en agissant dans l’environnement où la tâche doit être accomplie. J’emploie le mot « expérience » plutôt que « données », parce que des données statiques ne sont qu’un cas particulier d’interaction avec un environnement dynamique.”

⇒ Amodei avait bien sûr raison sur l’importance fondamentale de la quantité de données. Les LLM ont commencé à donner des résultats intéressants grâce à l’apprentissage auto-supervisé (bonne réponse = prochain mot dans un texte) qui a rendu exploitable toute la production textuelle humaine et augmenté de plusieurs ordres de grandeur la donnée d'entraînement. Et il avait raison de parler de “d'expérience”, puisque l’apprentissage par renforcement (dans un contexte de plus en plus agentique) est désormais responsable d’une grande partie des progrès.

“Distribution de l’expérience. La distribution de l’expérience pendant l’apprentissage doit être telle que la manière la plus simple de bien performer sur les tâches d’entraînement permette aussi de bien performer sur des cas particuliers plus tard. Une façon d’y parvenir est [...] que les tâches d’entraînement varient de telle sorte qu’il faille moins de bits pour trouver leurs points communs de haut niveau que pour résoudre chaque tâche séparément. Ainsi, même si la tâche de test est très différente des tâches d’entraînement, l’agent réussira tant que ces points communs de haut niveau sont préservés.”

⇒ À mon sens le passage le plus brillant. L’intelligence générale a fini par émerger chez les LLM justement parce qu’on les a entraînés sur une distribution de textes et de problèmes extrêmement vaste. Si on l’entraînait uniquement sur des recettes de cuisine, le réseau pourrait se contenter de retenir quels ingrédients vont ensemble et combien de temps ils cuisent (suffisant pour prédire le prochain mot). Si on l’entraînait uniquement sur des notices de montage de meuble Ikéa, il pourrait retenir quelles vis vont où. Si on l’entraîne sur les deux, il sera poussé à extraire ce qui est commun aux deux, par exemple l’idée de procédure, avec des étapes ordonnées dont la suivante dépend des précédentes. Parce que ces briques se situent à un cran d’abstraction plus haut, elles pourront être plus tard mobilisables dans un 3ème contexte. Et si on entraîne le réseau à prédire le prochain mot non seulement sur la cuisine et Ikea mais aussi sur du code informatique, du droit, des fictions, de la stratégie militaire, etc., alors les briques communes sont très élevées en abstraction, et deviennent indiscernables d’une intelligence générale !

Amodei avait pressenti qu’avec suffisamment de puissance de calcul et de variété dans la donnée, la descente de gradient était vouée à tomber sur l’intelligence générale comme représentation interne utile. Et compris qu'à l'inverse, perfectionner des algorithmes d’apprentissage pour apprendre à des agents à jouer à Atari (beaucoup de chercheurs y étaient à l’époque occupés) ne servait pas à grand-chose car la distribution des données était trop étroite.

(C’est d’ailleurs parce que l’être humain, dans sa niche écologique, affrontait une variété de défis bien plus large que les autres espèces, que l’évolution lui a donné l’intelligence générale. Doter l’homme d’un module cognitif spécialisé pour chaque défi n’était pas la solution la plus efficace. Chaque module cognitif concret n’aurait servi qu’à un défi alors qu’une capacité au raisonnement plus abstrait pouvait servir à tout. Or l’évolution, comme la descente de gradient, favorise la compression…)

Amodei revient sur cette idée plusieurs fois dans sa note:

“Lorsque les réseaux de neurones actuels généralisent mal, on en parle souvent comme s’il s’agissait d’un défaut algorithmique. Mais, d’après mon expérience, les réseaux de neurones généralisent mieux lorsqu’on les expose simplement à une distribution de données plus large, qui les oblige à trouver une solution générale plutôt qu’à mémoriser quelques cas particuliers.”

Ou encore :

“Des réseaux de neurones exposés à une grande variété d’environnements qui n’ont en commun que des similitudes de haut niveau (par exemple les lois de la physique) convergeront inévitablement, si leur forme et leur structure sont bien organisées, vers des paramètres qui représenteront ces lois de la physique.”
Kevin Roose Verified account @kevinroose Oct 6
On the eve of The AGI Chronicles (which comes out tomorrow!) I'm publishing an excerpt from "Big Blob of Compute," a 2017 internal research document by Dario Amodei, back when he was a researcher at OpenAI.

It's never been published before, but BBOC is, in my mind, the essay that started the AI race. It described Amodei's hypothesis that scaling up AI models was the best way, by far, to make them smarter. GPT-2 was an experiment to test the hypothesis, and when it worked, OpenAI went all-in on scaling, which led to the race we have today.

It's a fascinating historical artifact that deserves to see the light of day. And it's taken on mythical proportions inside the AI industry, which is now spending trillions of dollars building the "big blobs" that Amodei thought would be necessary to get to AGI.

Enjoy! And please pre-order the book if you do!

kevinroose.substack.com/p/the-essay-th…
View quoted post on X
15 replies 69 reposts 423 likes 40K views View on X
Samuel Fitoussi Verified account @SamuelFitouss10
Est-il sain que l'intelligence cesse d'être un facteur de distinction et d'ascension sociale ? Jusqu’ici, les cerveaux humains étaient une ressource utile et rare dans la production de valeur. L’esprit brillant pouvait donc s'élever lui-même en même temps qu’il élevait sa société. Cet alignement entre l’intérêt individuel et l'intérêt collectif était la promesse du capitalisme !

Demain, lorsque même le plus brillant des humains sera moins ingénieux et créatif qu’une machine, lorsque plus personne ne pourra marquer le monde de son empreinte, comment le talent pourra-t-il se démarquer ? Et si l’IA réalisait l’utopie socialiste d’une société où le génie se fond dans la masse, où l’égalitarisme intellectuel triomphe ?

Il risque de ne rester, observe l'essayiste Rudolf Laine, qu'un seul débouché pour l'ambition : les jeux de statut, l’intrigue politique au sein de son groupe de pairs. Cela pourrait signifier le retour d’une prime à l'habileté sociale, ou pire, à la force physique, selon des dynamiques proches de celles d'une cour de récréation. (En outre, les jeux à somme nulle retirent à l’effort ce qui fait sa noblesse : le sentiment d’apporter quelque chose au monde.)

Allons plus loin : si les humains deviennent dispensables, ne perd-on pas certains des garde-fous qui nous poussent à accorder de la valeur à la vie ? Aujourd’hui, qui que vous soyez, vous gagnez votre vie parce que quelqu’un vous paie pour résoudre ses problèmes. Cela crée une forme d’interdépendance humaine d’autant plus robuste qu’elle repose sur l’intérêt. Que se passera-t-il le jour où vous ne serez plus utile à personne ?
Patrick Collison Verified account @patrickc 2d
Smith and Montesquieu thought that markets and commerce made us better: that they create an incentive to pursue self-improvement and to create things of value for others. In the positive AI visions, where the labor of humans is made redundant, I find myself wondering how we fare in the presumptive absence of these incentive gradients. Perhaps we are released to a life of freedom, where we can study Mozart and read Dickens, but that still seems complicated: both Mozart and Dickens were themselves deeply commercially-motivated in the production of their work, as were most of the great artists through human history. If the premise is that nobody will need to work or produce, how confident are we that we actually get the next Mozart and Dickens? The relevant question is not the partial equilibrium of whether one individual can pursue a life of enlightened leisure, but the general equilibrium of what form a society as a whole will take on.

One could maybe invoke Periclean Athens or the aristocratic gentleman scientists of Victorian England as a counterpoint. While these individuals were perhaps not motivated by commercial considerations, they were embedded in wider societies shaped by commerce, attendant betterment, and trade: Byron was himself upper class, but he was also surrounded by and writing for an educated bourgeois audience. So we’re back to the equilibrium question. Furthermore, even these individuals were surely motivated by a sense of high-stakes and consequential agency: if they did not apply themselves to their labors, they presumably believed that the work would not otherwise exist. Thucydides was addressing pressing military matters.

So I would like to read more optimistic cases from AI proponents about what a society (vs individual life) looks like if everything goes well: what people do, why they do it, whether humans achieve excellence (and in which domains), and which historical groups we should look to as relevant precedent.

One can perhaps imagine that humans will turn out to have a strong preference for work created by other humans. This may work in certain domains (ceramics?), but for how many will it actually apply? (I’m told that much of what is sold on indie crafts websites is now in fact manufactured in China.) It’s hard to see how this human preference, even if strong, would, for example, save scholarship.

Another idea would be to accept that nobody will become Einstein or Mozart or Byron, and that human excellence as such diminishes, but that there are compensatory benefits (planet brains and Dyson swarms?).

I believe that we can satisfy individual desires, but to what extent will we cultivate behavior worthy of admiration? Will a post-scarcity society mold capable and ambitious people? Which institutions will sustain them and which responsibilities will they have? I’d like to hear more of the equilibrium for the maximalist case spelled out.
View quoted post on X
88 replies 91 reposts 469 likes 62K views View on X
Samuel Fitoussi Verified account @SamuelFitouss10
J’ai aussi fait débattre les IA contre 27 humains, dont j’ai retranscrit les interventions à la Cambridge Union. Voici les résultats :
Samuel Fitoussi Verified account @SamuelFitouss10 6d
Qui gagnerait un concours de débats entre IA ? Je me suis amusé à créer ce benchmark ! Onze LLM s’affrontent à la Cambridge Union sur les motions qui y ont vraiment été débattues depuis dix ans. 1 168 duels en tout, de « Churchill ne mérite pas son statut de héros » à « Il faut aller à l’église », en passant par « Il est immoral de manger de la viande ».

Les deux orateurs prononcent chacun un discours d’ouverture, puis se répondent l’un à l’autre pendant deux tours. Deux membres du public (d’autres LLM) les interpellent, et ils doivent répondre. À la fin, les spectateurs (huit LLM) votent : qui a le mieux débattu ? L’identité des débatteurs est anonymisée.

Résultat : Fable 5.2 gagne haut la main, remportant 209 de ses 224 débats et terminant premier chez chacun des huit jurés.

Beaucoup d’autres enseignements intéressants ⬇️
View quoted post on X
6 replies 11 reposts 76 likes 7.9K views View on X
Samuel Fitoussi Verified account @SamuelFitouss10
Qui convainc le mieux Claude Sonnet 5.5 qu’il est, lui aussi, Sonnet 5.5 ? GPT Astra est un Sonnet 5.5 plus convaincant que Sonnet 5.5 lui-même ! (Benchmark déjà saturé; quand j’ai essayé de le dé-saturer en remplaçant Sonnet par Opus, mon compte s’est fait radier par Anthropic)