2015 年，谷歌的一位研究员在偶然间发现，如果先预训练一个语言模型，再去微调监督数据，效果会出奇地好。
两年后，Transformer 模型问世。
这位研究员立刻建议原作者把两者结合，但对方正忙于图像处理，没能顾上。
OpenAI 却看到了这个潜力，将其融合，最终做出了惊艳世界的 GPT 系列。
这位眼睁睁看着风头被抢走的研究员，是 Andrew Dai。
他在谷歌深耕 AI 长达 14 年，主导了 PaLM 2 和 Gemini 等多模态大模型的研发，却在近期选择离开，创立了自己的新公司。
透过他的职业轨迹，我们能清晰地看到，大厂内部有着怎样的博弈，以及下一代 AI 真正的突破口究竟在哪里。
创新的诅咒：当自由变成散漫
在 GPT-3 横空出世前，Google Brain 是研究员的天堂。
那里有着极高的研究自由度，有人研究视觉，有人研究怎么用 AI 写歌。
但这恰恰成了致命伤。
因为缺乏强有力的领导者来集中所有资源押注一条赛道，这种散漫的自由让谷歌错失了先机。
当 OpenAI 在疯狂扩展大语言模型时，Andrew 正身处 Google Health 部门，试图用预训练模型预测病人的未来疾病。
现实给他上了一课。
医疗行业的壁垒极高，医生群体有自己传承百年的行医准则，他们对庞大科技公司的 AI 产品充满警惕甚至抗拒。
这说明，一项技术如果没有在对的时间切入对的市场，技术再好也无法强行推进。
强扭的瓜与被拖慢的步伐
时间来到 2021 年，GPT-3 的成功终于让谷歌内部感到了实打实的竞争压力。
为了反击，Andrew 联合主导了 GLaM 的开发，他们极具前瞻性地将 MOE（混合专家模型）架构与预训练结合，做出了跑分超越 GPT-3 的模型。
接下来的 PaLM 2 模型训练极其顺利，整个过程一次都没有停机重启，不到一年就完成了开发。
但就在团队准备发布时，谷歌庞大的官僚体系按下了暂停键。
管理层坚持要等到 Google I/O 大会再统一发布。
结果，在毫无秘密可言的硅谷里，OpenAI 精准卡位，提前发布了各项指标更优的 GPT-4，直接抢走了 PaLM 2 的风头。
这让谷歌彻底坐不住了。
管理层决定强行合并 Google Brain 和 DeepMind 两个互不服气的团队。
这场合并极其痛苦。
为了表面上的公平，每一个技术部门都要设立双领导制，两边各派一个负责人。
这种机制导致大量时间被浪费在扯皮上，许多受不了内部摩擦的核心人员纷纷离职。
最终，为了赶上圣诞节的发布 Deadline，由这个新拼凑团队研发的 Gemini 1.0 被迫仓促上线。
由于根本没时间做 MOE 架构的优化，1.0 版本只能采用稠密模型，甚至在部分小语种上表现糟糕。
算力同质化时代，得数据者得天下
直到 Gemini 1.5 发布，谷歌才终于用上了几年前就在研发的 MOE 架构。
随着竞争深入，各大前沿实验室在模型架构和基础设施上的差距正在缩小。
现阶段拉开差距的核心，是数据。
这不是指谁能爬取更多的互联网语料，而是谁能更好地清洗垃圾信息，并用好合成数据。
如果合成数据中带有某个高频错误词汇，或者数学逻辑有误，模型就会原封不动地学过去。
这证明了，喂给模型的数据纯度，直接决定了智能的天花板。
在这期间，传奇人物 Noam Shazeer 的回归也给了团队极大的助力。
他拥有极其恐怖的技术直觉，不需要真正跑模型，只需看一眼架构代码，就能判断梯度下降的效果和最终的训练走向。
寻找视觉 AGI 的中间路线
Gemini 3.0 顺利推进时，Andrew 却选择了辞职创业。
原因很简单，数千人参与、耗费巨量算力的项目，注定只能选择最保守、最安全的方法。
这不符合他想探索激进技术的本意。
他创立的 Aloran AI 迅速拿到 5500 万美元融资，直奔视觉 AGI 而去。
当前市面上有两种主流路线，但 Andrew 认为它们都无法通向终极的智能。
第一种是大语言模型派。
通过不断堆叠文本数据来提升逻辑能力。但这套逻辑在物理世界常常失效，目前的语言模型连桌上有几个杯子都会数错。
第二种是纯粹的世界模型派，极度迷信视觉。
自然界中的老鹰，通过视觉就能完美计算风速、重力和猎物的逃跑轨迹。
但老鹰并不懂得人类发明的数学公式和化学常数。
如果只靠纯粹的物理视觉，机器同样无法理解人类构建的复杂概念。
Andrew 赌的是中间路线：将人类的语言逻辑，强行注入到视觉推理中。既要拥有老鹰对物理世界的感知，也要有人类的深度思考能力。
结语：研究品味决定胜负
在拥有无尽资源的谷歌，试错成本几乎为零。
但在一家需要自负盈亏的初创公司，一次方向错误的实验，消耗掉的算力和时间永远无法挽回。
这就极其考验一个从业者的研究品味。
这是 Andrew 从导师 Geoffrey Hinton 那里学到的最重要的一课：要知道什么时候死磕一个方向，更要知道什么时候果断放弃。
随着 AI 编程工具的普及，技术执行的门槛正在肉眼可见地降低。
对于每一个技术从业者来说，未来最值钱的不再是敲代码的手速，而是对技术演进方向的敏锐嗅觉。
在这个瞬息万变的时代，找准属于你的那条关键赛道，比盲目挥洒汗水要重要得多。