张小珺的播客都很优秀，但我经常会回听这一期播客，对于理解大模型发展很有帮助，常听常新。
https://www.xiaoyuzhoufm.com/episode/68ff9d1b083a71a4eb86c52c
谢青池在豆瓣做产品的时候，曾经系统读过城市规划和建筑学的论文。
那是为了做一个叫"阿尔法城"的社区产品，他把杨盖尔的著作翻了个遍，从城市规划的历史脉络里找社区治理的灵感。
2022年，他开始用同样的方法对付AI论文。
两年下来，读了200多篇，存档几百篇。
他不是技术出身，本科和研究生读的是计算机，但毕业就去做产品了，中间九年都在创业。
他说他读论文，是因为产品经理的工作本质是在给定边界里求最优解，而边界变了，最优解就变了。
他想搞清楚这个新世界的边界在哪里。
一开始他直接读英文原文，读了一周发现不对——他不是在学AI，他在学英语。
解决方法是沉浸式翻译。
随着大模型翻译能力越来越强，这个工具现在已经能把论文翻得相当流畅。
他的建议是：这个时代，语言障碍基本可以用AI消掉，文字部分已经不是问题，再过一两年，语音部分大概也不会是问题了。
工具之外，他推荐了几个系统性的学习路径：
视频：吴恩达的机器学习和AI课程、李宏毅教授的机器学习（B站有完整授权版）、Andrej Karpathy的YouTube频道、李沐老师的论文精读系列、3Blue1Brown的数学和神经网络系列、王木头学科学、周米的GPU和网络讲解。
书籍：《一站式LLM底层技术原理入门指南》（开源文档）、《动手学深度学习》（PyTorch版，李沐参与编写，有配套视频）、《深度学习中的数学》（适合补概率论基础）。
他特别提到：英文内容在AI领域的质量比中文高很多，现在已经不需要被语言挡住了。
谢青池说，读论文最难的不是读不懂某个技术点，而是不知道为什么要这么做。
每篇论文的作者，其实都在解决一个具体问题。
只是时间过去了，当时的历史背景逐渐淡化，后来的读者就找不到那个"为什么"了。
他整理出三个视角：
历史视角：当时的行业碰到了什么问题，作者怎么解决的，对后续技术路线产生了什么影响。
范式变迁视角：我们并非从零开始发现世界，而是在原有范式的框架里前行。旧范式碰到瓶颈，或者支线范式突然崛起，才会发生范式跃迁。
人的视角：这些作者是怎么登上舞台的，他们在后续进展中扮演了什么角色。
他把这套框架用来梳理深度学习的发展史，从GPU的诞生讲到多模态模型，串起来的不只是技术，还有一群人的选择和命运。
1999年，英伟达发布第一颗能独立处理三维图像几何计算的GPU。
2001年，GeForce 3引入了可编程的顶点着色器和像素着色器，GPU第一次可以被编程了。
2004年，一篇叫《Brook for GPUs》的论文出现了。作者Ian Buck和他的导师Pat Hanrahan做了一件事：把给超级计算机用的Brook语言移植到GPU上，开发了一套高级编程语言，把GPU抽象成流式处理器，引入了流、核函数、规约等基本框架，设计了编译器和运行时体系。
这就是CUDA的前身。
Ian Buck毕业后加入英伟达，至今仍是CUDA负责人。他的导师Pat Hanrahan后来凭借计算机图形学贡献获得2019年图灵奖，同时是皮克斯动画工作室创始员工之一，拿过三次奥斯卡，还创立了BI软件Tableau，2019年被Salesforce以157亿美元收购。
老黄为了推CUDA，在GPU性能没有提升的情况下把成本几乎翻了一倍，股票跌到地上，差点被恶意并购。他坚持了大约十年，才等到2012年AlexNet让全世界知道GPU能干这么重要的事情。
那时候英伟达对GPU的设想里，根本没有AI。
他们最大的野心是图像边缘检测和矩阵运算。
2012年，Alex Krizhevsky、Ilya Sutskever、Hinton三个人写了一篇论文，开启了深度学习时代。
背景是李飞飞团队创建的ImageNet数据集：1400多万张标注图像，2万多个类别。从2010年开始举办图像识别竞赛，第一届只有13支队伍，第二届7支，第三届6支，眼看就办不下去了。
第三届，也就是2012年，发生了很大的变化。
在这之前，整个领域被手工特征提取的方法主导。Ilya在论文里写道：所有人都认为视觉系统需要对任务本质的详细理解来精心进行手工设计，只向神经网络展示数据、不提供人的抽象，网络永远无法解决图像分类任务。
AlexNet同时scale了三件事：数据（得益于ImageNet）、计算量（得益于Alex搞定了GPU）、模型规模（6250万参数，65万神经元，约0.06B，在当时是巨大的神经网络）。
它比第二名好出十几个百分点，吸引了整个行业的注意。Google随后参与了竞购，余凯老师也在场。他对伊利亚的第一印象是"夸夸其谈"，对Alex的印象是"靠谱、少言、能搞定GPU"。
2014年，两篇论文几乎同时出现，解决了机器翻译领域的核心问题。
一篇是Seq2Seq，作者包括Ilya Sutskever、Oriol Vinyals（现任Gemini后训练负责人）、Quoc Le（Google Brain创始成员之一）。
另一篇引入了注意力机制，指导老师是Yoshua Bengio，2018年图灵奖得主。
这两篇论文的核心贡献：用纯粹的机器学习方法，不再需要领域知识，只需要通用方法，就能超越基于统计的翻译系统。
它们还复兴了Encoder-Decoder结构，解决了序列到序列的建模问题。
更重要的是，注意力机制解决了隐藏状态的性能瓶颈——当输入序列很长时，固定大小的隐藏向量会丢失信息，模型就"忘记"了很早之前出现的词。
注意力机制让模型能直接建模序列中任意两个位置之间的关系，为Transformer的诞生埋下了伏笔。
2015年，何恺明、张翔宇、任少卿、孙剑四位中国科学家在微软亚研院完成了ResNet。
当时有个反常的现象：模型层数超过100层以后，性能不但不提升，反而下降了，这叫"模型退化"。
Scale这件事在当时根本不work。
ResNet的解法是引入残差连接。
原来模型要学习的是"如何把输入X直接变成输出Y"，引入残差后，模型只需要学习"在X的基础上做哪些增量变化"。
后者的学习难度显著低于前者，同时彻底缓解了梯度消失和梯度爆炸问题。
这篇论文的引用量接近30万，比Transformer还高。
我们现在几乎所有的网络，包括Diffusion和Transformer，都还是残差网络。
2017年，8位作者在Google写了《Attention is All You Need》。
他们把RNN去掉了，只保留了Encoder-Decoder结构和注意力机制。
RNN天生是有时序依赖的，前面的输出要等后面的输入，没法并行计算，不适合GPU。
CNN虽然适合GPU，但捕捉长距离依赖需要堆很多层，信息容易丢失。
Transformer的注意力机制不同。在上下文窗口内，任意两个token之间可以直接计算相关关系，不需要经过中间层。"猫坐在垫子上，它很可爱"——"它"和"猫"之间的关系可以直接通过点积计算出来，而且这些计算彼此独立，可以在GPU上并行进行。
这就是谢青池说的"抽中了硬件彩票"：算法和硬件完美匹配，天生适合GPU并行计算，因此可以在数据和计算量上无限scale。
8位作者后来都离开了Google。其中最有名的是Noam Shazeer，他创立了Character AI。
Noam说过一句话：对于为什么某个模型结构work，他不提供任何解释，如果它work，就把它归为神的仁慈。
这句话其实说出了一个现实：在这个阶段，我们对神经网络的理解还很浅，我们能应用它，但解释不了它。
同样是2017年，DeepMind发了AlphaGo Zero，标题是《Mastering the Game of Go without Human Knowledge》。
之前的AlphaGo打败了李世石，但它依赖人类知识：需要从人类棋谱中学习，输入特征里还包含了人类设计的概念，比如"气"和"眼"。
如果你模仿人类，AI的上限就是人的上限。
而且很多问题是人类也不知道答案的，如果AI只能学人类已知的东西，就无法探索知识边界。
AlphaGo Zero只知道围棋的格子和规则，不知道棋谱，不知道任何先验知识，纯粹用强化学习从零开始训练。
它比打败李世石的版本用了更少的卡，训练36小时后就超越了前者。
更深远的影响是：AlphaGo Zero每走一步棋都会执行1600次蒙特卡洛树搜索。
事实上，如果不做这个搜索，没有哪个围棋模型能击败人类。
这个发现后来启发了OpenAI开发o1——在推理时做更多计算（test-time compute），模型能力会显著提升。
2017年的第三个重要工作是现代MoE（Mixture of Experts）的开端，Noam Shazeer也是作者之一。
逻辑很直接：模型越大越好，但大模型推理成本是线性的，每用一次就多花一些钱。
人脑是分区的，每次思考不会激活所有区域，是稀疏的、专业化的。
那能不能训练一个参数量超大、但每次只激活一小部分的模型？
论文里写道：获得了超过1000倍的模型容量提升，同时只在计算效率上略有损失。
这就是DeepSeek选择MoE路线的原因。
DeepSeek从一开始就是成本优先，MoE能在同等计算成本下获得更强的模型能力。
MoE不好训，需要极强的工程能力。
Meta的LLaMA转MoE就没有成功，Minimax当时也训了三次才做成。
蒸馏（2015年，Hinton等人）：把知识从大模型转移到小模型，不损失太多性能。核心是教师模型不只给学生模型最终答案（硬标签），还给出所有可能输出的概率分布（软标签）。
学生模型通过拟合这个分布，泛化能力更强。
LoRA（2021年，Edward Hu等人）：大模型微调成本很高，每个任务存一个微调副本也很占空间。
LoRA的解法是在模型旁边并行挂一个很小的矩阵，只训练这个矩阵，推理时可以和原模型合并，不引入额外延迟。
它的逻辑和ResNet很像：不学习完整的变换，只学习增量（delta）。
LoRA设计时是给Transformer用的，但真正大规模落地是在图像生成领域——现在大家选风格用的就是LoRA。
2022年，Jason Wei（毕业于达特茅斯，OpenAI少数只有本科学历的研究员）发了一篇论文，发现一件事：只要向模型展示推导的中间步骤，告诉它可以一步一步思考，模型在推理任务上的表现就会大幅提升。
这篇论文本身技术难度不高，像一篇博文。
但它定义了一个时代最重要的问题：模型的能力早就蕴含在里面了，只是没有被激发出来。
它把整个行业的重心从预训练转向了后训练，直接影响了o1（思维模型）的诞生。
Jason Wei的论文引用量增长曲线很能说明问题：o1发布之前，引用量平平；o1发布之后，引用量开始爆炸式增长，今年到七八月份的引用量就相当于去年全年，去年全年相当于前年的五六倍。
OpenAI和DeepMind各自做了实证研究，发现语言模型的训练损失和计算量、数据量、参数量之间存在对数线性关系。
这个发现的实际用途是：可以用小模型实验的数据点预测大模型的性能。
训一个大模型要三个月，不可能把每个实验都放在最大规模上跑。
有了Scaling Law，就可以在小模型上做实验，预测放大后的效果，做好取舍，再一次性完整训练。
两家的结论有分歧：OpenAI认为在给定计算预算下应该尽可能用大模型，即使提前停止训练。
DeepMind认为这会导致模型训练不足，参数量和数据量应该等比例扩展。
DeepMind的Chinchilla模型证明：用更多数据训练更小的模型，比用更少数据训更大的模型效果更好。
这也解释了为什么现在很多小模型会用过量的数据进行训练——推理时的成本是固定的，训练性价比不好不代表推理性价比不好。
GPT-1（2018年）提出了NLP领域的新范式：无监督预训练加监督微调。第一次用通用数据训练，学到了语言的内在规律。参数量0.1B，数据量5GB。
GPT-1发布后很快被BERT打脸。BERT用双向表示（完形填空），能看到前后文，在规模相当的情况下性能更强，几乎刷新了所有NLP榜单。整个学术界和工业界都转向了BERT。
只有OpenAI还在坚持GPT路线。
他们的判断是：GPT的训练方式本质上是一种大型的隐式多任务学习，在足够大的数据和模型规模下，能学到比BERT更通用的知识。BERT擅长语言建模，但开放性不够，泛化不到语言以外。
GPT-2（2019年）把参数量扩大到15亿，数据量扩大到40GB，通过爬取Reddit高赞内容构建了多样性数据集。发现无需微调就可以泛化到不同NLP任务，提出了zero-shot学习的概念。
GPT-3（2020年）是一次非常坚决的押注。OpenAI在GPT-2的scaling工作中识别到了重要信号，调整了公司结构，引入微软10亿美元投资，把很多团队砍掉，所有资源押在一个方向上。作者从6人扩张到31人，加入了数据工程、评估、基础设施等各个角色。
参数量1750亿，数据量570GB，比GPT-2大了100多倍。
验证了Scaling Law，得到了很强的上下文学习能力：只需要在prompt里给一些任务描述和范例，不需要重新训练模型，就能引导模型执行特定任务。
GPT-3是一个很确定的工程项目，不是一个偶然的发现。
GPT-3很强大，但不好用。它会生成有毒内容，不遵循指令，不理解用户真正的意图，不会拒绝有害请求。
2022年，欧阳龙等人做了InstructGPT，提出了基于人类反馈的强化学习（RLHF）。
核心方法：先用人工标注数据做SFT，再让标注人员对模型输出进行排序，用这些排序数据训练一个奖励模型，再用奖励模型做强化学习。
结果：1.3B参数的GPT-3经过这种方法调整后，在遵循指令方面比1750亿参数的GPT-3还要好。参数量缩小约100倍，效果反而更好。
这个工作让大家意识到：除了单纯扩大模型，优化训练方法带来的提升同样巨大。InstructGPT之后，AI离一个真正可用的助手近了很多。
Rich Sutton在2019年写了一篇文章，叫《The Bitter Lesson》（苦涩的教训）。
他说：从人工智能研究70年的历史来看，利用计算的通用方法最终最为有效，且优势显著。根本原因是摩尔定律——计算单位成本的持续指数级下降。
手工特征在短期内总是有效，且令研究者满足。但长期会陷入平台期，甚至阻碍进展。突破性进展最终来自相反的路径：通过搜索（test-time compute）和学习（预训练）实现计算规模扩展。
他说，我们应该停止寻找理解心智内容的简单途径，不要把我们的发现内置进模型，而是应该让模型自己去发现。
谢青池说他大概一个月会读一次这篇文章，每次都觉得振聋发聩。
这个教训放到今天依然适用：Claude Code的system prompt里有很多手工特征，会告诉模型超过6位数的计算请用代码工具。按照Bitter Lesson的逻辑，模型应该自己知道什么时候用计算器。可能现在模型还不够强，所以手工特征有收益。但随着算力增长，这些手工干预会被模型自己学会的能力逐渐取代。
谢青池说，读论文让他对AI变得不焦虑了。
他见过一些团队，模型能力不够时拼命用手工特征、做SFT，收集数据、做评估、整个流程走下来三四个月，确实能提升一些能力。然后又过了两个月，开源模型已经把这个问题解决了。
了解技术原理之后，他能判断哪些问题"现在解决不了，但五六个月后模型就能解决"，可以心安理得地等待，而不是把资源押在一个会被模型进化淘汰的方向上。
他还说，读懂论文之后，可以直接看研究员的分享和视频，直接和这个世界上最聪明的一批人进行交流。
他给想进入AI行业的人三条建议：
多用AI，用得多才能用得好，这本身就是稀缺技能。
学一些工程能力，最好是有生产环境经验的工程能力。未来的分工会越来越向"builder"方向走，一个人端到端负责一个问题，能用前端解决就前端，能用后端解决就后端。
读论文。AI是一个很长周期的技术浪潮，我们还在很早期。了解原理，才能跟上它的发展，才能知道边界在哪里，才能在边界变化之前提前布局。
他读了两年论文，花掉了所有的休息时间，出差在酒店的时间，下班后的时间，周末。他说，度过了最初三个月的平台期之后，读论文会让人享受到一种很纯粹的探索的快乐。
因为你会发现，这个世界是一步一步被构建出来的，每一篇论文都在回答一个具体的问题，而那些最重要的问题，往往并没有那么难——难的是，在那个时代，有人愿意去问它。