禅与人工智能研究的艺术
你想要进行 AI 研究吗？确实，没有人会“真正地”教你如何做。至少不是直接教的。但事实证明，开始的途径相当简单：它是 (i) 阅读和 (ii) 构建事物的某种组合。你不能只有其中一项而没有另一项。正是通过这种结合，你才能成为一名研究人员。
事实证明，成为一名优秀研究人员的过程与学习冥想的过程非常相似：
一.
开始的途径很简单，通过以下组合实现：
- (a) 阅读和学习，以及
- (b) 构建事物。
你不能只做其中一项。正是通过这种结合，你将成为一名研究人员。
有一句古老的禅宗格言大致是这样的——
在找到洞见的日子里，我们坐着。
在没有找到洞见的日子里，我们也坐着。
做研究基本上就是如此。科学的洞见可能看似随机地出现。大多数日子里它们都不会出现。成功的一个重要特质就是投入时间和精力。就像任何其他追求（音乐、体育、销售等）一样，如果你想成为世界级的大师，就需要极大的纪律性。
Noam Shazeer 在 SwiGLU 论文中对成功研究想法中固有的随机性表示了很好的致敬：
“我们没有提供任何解释来说明为什么这些架构似乎有效；我们将它们的成功归功于神圣的仁慈。”
一个相关的评论是，阅读过多的论文是可能的。如果你想解决一个问题，行之有效的方法是尝试一个解决方案，试用它，遇到一个瓶颈，尝试解决它，只有在你自己的想法用尽后，才去查阅文献。
二.
好吧，那我应该研究什么呢？
如果你是刚起步的，这是我的坦诚回答：我认为确切的主题并不太重要。
话虽如此，我警告你不要选择那些流行时间不足六个月的东西。AI 发展速度很快，但其基本思想在四十年中并没有改变。如果你想以此为职业，我不会建议你对 2026 年的概念（如 harness、agents、context engineering 等）想得太深。这些将会改变。
相反，通过回归基础知识，你会学到更多：学习什么是 cross-entropy。为一个小分布手动计算它。深入理解 SVD，直到你可以在脑海中开始可视化它。不要过多地思考针对编码的 RL，而是去学习 policy gradients 背后的思想，了解它们为什么有用，以及为什么它们几十年来一直很受欢迎。
另一个元评论是：如果你的研究项目的最佳结果只是现有基准（benchmark）上的分数更高，那么你还没有深入到足够深的地方。通常，现有的数据集不会测试出新的有趣的能力。
在 AI 研究中一个被低估但偶尔能决定成败的技能（十年前几乎不存在）是找到一个能够真正锻炼你正在研究的新方法的数据集的能力。
至于具体的建议，我无法给出；这必须由你自己决定。深入挖掘，专注于基础知识，不要追逐基准。待在水里，想法就会浮现。
三.
在初学者的心智中，存在许多可能性；在专家的心智中，可能性却很少
– Suzuki
如今在硅谷经常重复说的一点是，AI 研究的经验实际上可能对现代良好的研究直觉产生适得其反的影响。我亲眼观察到了其中的一些现象；许多来自“预规模化时代”（pre-scaling-era）的研究人员仍然热衷于设计在小规模下有效但显然在规模化测试时会失败的方法。
OpenAI 的一个非常令人印象深刻的特点是，该公司的大多数员工（至少在技术方面）年龄都未满 35 岁。ChatGPT 背后的许多重要决策者年龄都未满 30 岁。我们可以从中得出一个结论是，由于 AI 是一个如此初级的领域（ChatGPT 刚不到四年历史！），所以没有人拥有巨大的优势，因为没有人从事这个领域太久了。
简而言之，过于固守某个想法反而可能是适得其反的。保持开放的心态，拒绝让自我（ego）蒙蔽你的判断。
四.
灵感总是在你最意想不到的时候降临。
以下是两个历史上的例子：
苯环结构的发现（https://en.wikipedia.org/wiki/August_Kekul%C3%A9）著名地是在梦中出现的：这个结构以前从未被见过，但它被想象成一条蛇正在啃食自己的尾巴。Ozempic 基本就来源于蜥蜴。它模仿的 GLP-1 激素最初是在吉拉怪蜥（Gila monster）的毒液中发现的，这种沙漠蜥蜴每年只吃几次。不知何故，我们还是想出了让它对人类也有效的办法。
一个重要的收获是：要做好研究，你必须做一些与研究本身无关的事情。我个人的大部分“顿悟时刻”（aha moments）都发生在键盘之外，尤其是在散步的时候。
达尔文、特斯拉、费曼、亚里士多德。许多历史上的伟大思想家都宣扬了伸展双腿、散步片刻所带来的巨大益处。即使你不做研究，你也应该多散散步。
