Twitxy Saved

山景城小路

Verified account This account is verified. Learn more

@Zen_with_AI

bilingual: EN/ZH, SF Bay Area based
#bitcoin is a cult, bitcoin is a religion
硅谷一线从业者。AI架构师 AI architect
AI / 美股 /硅谷面试求职指导

所有观点仅为个人思考 非投资建议 DYOR
San Francisco, 旧金山,加州 Joined March 2024
4.7K Following 15K Followers 9.7K Posts

Latest posts 5

Pinned post

山景城小路 Verified account @Zen_with_AI
LLM能不能最终推进AGI, 谷歌的 Tom Zahavy写了一篇优美的论文 这是我最近读到最喜欢的论文。

只有7页半,从爱因斯坦,广义相对论,到推理三分法, 到LLM和AGI用非常简明有逻辑的语言把他的观点讲明白了。

小路精读了这篇论文,想带着您一步一步跟随Tom的思维演绎给您。这篇文章没有利用任何AI,也希望您跟着读下来。

爱因斯坦在给终身好友Solovine的信中,提纲挈领的总结了科学发现的流程,从感官经验(E)出发,通过一次直觉的"跳跃"(Jump, J)得到公理系统(A),再从公理演绎出定理(S),最后用实验检验。 也就是 E->J->A->S->E (感官经验->跳跃->公理->演绎出定理->实验)

Tom认为,LLM可以做到归纳,也就是统计模式匹配。正在攻克演绎 也就是上文的S. 也可以帮助科学家实现从 S->E。 但是从 E->J->A这个环节,跳跃还是无法实现。

然后 Tom 举了爱因斯坦广义相对论诞生的例子:

1. 经验。 十九世纪末,迈克尔逊-莫雷实验让以太假说失效。牛顿引力则极其精确,惯性质量与引力质量之比验证到 10⁻⁹ 的精度。唯一的异常是水星近日点进动,当时的主流解释是还有一颗未发现的行星"祝融星"。牛顿理论并没有出现危机。

2. 跳跃。 1907 年起,爱因斯坦想象一个自由下落的人:他感受不到引力,可以认为自己静止。这就是"最快乐的想法",即加速与引力等效。这一步不是从数据里归纳出来的,而是靠模拟观察者的身体感受得到的,论文称之为"操作性溯因"。

3. 公理。 1912–1913 年,他与 Grossmann 合作,把物理要求整理成七条原则,包括等效原理、测地线原理、"引力也有引力"和牛顿极限。

4. 演绎。 此后是漫长的数学搜索。他们找到了黎曼曲率张量,却因误以为它不满足牛顿极限而放弃,这个错误出在对静态场的假设上,而不是几何本身。1915 年 11 月,爱因斯坦终于得到场方程,并用它算出了水星进动。

5. 检验。 星光偏折由 Eddington 在数年后测得,GPS 修正更晚。验证证据全部出现在理论之后。

Tom的观点是,演绎只是整个循环的下游环节。如果把爱因斯坦 1915 年的假设交给 LLM,它有可能推出广义相对论,包括水星进动,也可能系统地剔除那个错误的约束。AlphaProof 在 IMO 上的表现,以及 Lean 等证明助手的成熟,都支持这种判断。

但是演绎的局限性是,

1.它只能展开公理的后果。 它既不能生成公理,也不能提供外部验证。

2. 它缺少意图. 换句话说,AI 擅长的是"别人出好题,它来解"。但科学发现更像是自己决定出什么题,还要在没人告诉你对不对的情况下往前走。这是论文说的"意图":不只是会推理,还要知道想要什么。

这个听起来简单,但是实际上,我们和AI合作的过程中也有体会。

问正确的问题,给准确的目标,其实是LLM本身最欠缺的。尤其是在前沿研究领域。没有其他文献可以查询,如何实现这个跳跃?

另外,LLM可以在既有符号空间内更高效地重组概念。甚至可以进行视觉和世界模型预测。但是基于模型的模拟,不等于真是交互模拟。真正的跳跃也往往收到虚拟模型的限制。

简单总结一下就是,Tom认为AI Scientist 是在重组既有符号概念,AlphaEvolve 依赖梯度,在固定框架内优化。关键瓶颈是 E→A 的直觉跳跃,应走向能感知物理世界、运行反事实模拟的世界模型。

tomzahavy.com/projects/llms-…
27 replies 98 reposts 480 likes 84K views View on X
山景城小路 Verified account @Zen_with_AI
agent 代码越改越聪明,但学到的新东西总在记不住怎么办?Google 这篇论文把学的新东西也存下来。
Self-Improvement Memory 给 agent 配个记忆库:每次改动,记下根本原因、选了哪个修改、为什么选、预测和实际结果。
下一轮提议器和选择器先读记忆再动手,换模型换任务也能接着用了就。
10 组实验里 9 组胜出,平均 +2.36 分。代码能留下来,改代码的教训该留下来。