Twitxy Saved

Hexu Zhao

Verified account This account is verified. Learn more

@zhaohexu2001

Saving GPUs | @NYU_Courant MLSys PhD | @Tsinghua_Uni CS
San Francisco tarzanzhao.github.io Joined February 2022
232 Following 295 Followers 43 Posts

Latest posts 5

Pinned post

Hexu Zhao Verified account @zhaohexu2001
Bring your own PyTorch job. Let an agent speed it up end to end.

🛠️ We built /who-ate-my-flops, a Claude Code / Codex plugin for iteratively optimizing training and inference jobs as a whole—not just individual GPU kernels.

✅ Performance PRs developed with it have been merged into FunASR, FastVideo, gsplat, Ultralytics, Unsloth, and SGLang, with speedups up to 3.6× on the tested workloads.

📝 experiments, profiles, and lessons learned (Blog):
openperfagent.github.io/who-ate-my-flo…
🛠️ Plugin Repository:
github.com/OpenPerfAgent/…
🧵
6 replies 16 reposts 93 likes 16K views View on X
Hexu Zhao Verified account @zhaohexu2001
How long until AI labs cut 50%, 90% (or 100% ?) of their specialized MLsys engineers?
Max For AI Verified account @MaxForAI Sep 15
昨晚,DeepSeek 的 kernel 工程师shengyu Liu(interestingLSY)写了一篇很猛的长文。

文章的核心其实就一句话:

他正在亲手把自己最擅长、也最热爱的工作,变成一门过时的手艺。

Liu做的是模型底层的 kernel 设计和优化,DeepSeek V4.1 的 Main Attention kernel 就有他的工作。

但他说,仅仅过去一年,AI 已经从只能帮忙查文档、读代码、找 bug,进化到可以自己读 CUDA、PTX、SASS,用专业工具分析每条指令的 stall,再继续优化 kernel。

他的判断是:再过半年到一年,AI 写出来的 kernel 很可能就能达到甚至超过自己。

最有意思的是,他真正难受的甚至不是失业。

他觉得自己大概率还能留在行业里,只是工作会从「亲手写 kernel」,变成「驾驶 Agent 写 kernel」。

以前可以坐在电脑前一下午,一点点抠性能、想新的优化方法,像速通玩家刷新自己的纪录。

以后这些事情可能都交给 Agent 了。

人还在,效率甚至更高,但那门自己练了很多年的手艺,突然不再重要了。

所以他把这种感觉形容成:

不得不把自己的天赋留在昨天,然后去做一个 Agent 的驾驶员。

但文章后半段,比职业焦虑更有意思。

刘胜与认为,AI 继续发展下去,未来社会可能走向两个极端:共产主义,或者《赛博朋克 2077》。

一种情况是生产力被极大释放,最强的 AI 变成所有人都能低成本使用的基础设施。

另一种情况则是,极少数科技公司控制世界上最强大的 AI。

少数人借助它完成“机械飞升”,其他人只能使用被削弱的模型,甚至阶层流动都会变成一个死循环:

你得先拥有最强 AI,才有机会获得更多资源。
但你得先拥有更多资源,才有资格使用最强 AI。

所以他直接写道,自己并不相信 Anthropic 或 OpenAI 会主动把最前沿的智能,以开放、便宜的方式提供给所有人。

这也是他为什么选择留在 DeepSeek:

研究更强、更快、更多人用得起的 AI,然后开源出去,至少把世界往《赛博朋克 2077》的反方向拉一点。

而是一个正在亲手推动 AI 变强的人,非常清楚自己可能就是最先被它淘汰掉的那批人。

他的选择也不是停下来。

而是继续往前推。

只是希望当这个东西真的足够强的时候,它不要只属于少数几家公司。
View quoted post on X