总纲:10 本殿堂教材的原著精读与认知大厦

Reading Time: 5 minutes

为什么是这十本

大模型这件事,我越用越觉得分裂。它能写出比多数人流畅的文章,却会在最基础的算术上翻车;它能在围棋上碾压人类,却回答不了一个简单的常识问题。

我盯着这种「神迹与白痴」的割裂看了很久,决定不再满足于「会调用、会用提示词」,而是回到最硬的地方:把它赖以存在的那套数学,一本一本读穿。

于是有了这个合集。十本教材,四层认知,一条主线。

看懂 AI,不能只站在它外面,得钻进它最底层的数学里。

 

一根主干,四大阶梯

这十本书,被我排成一座认知大厦,一根主干往上,四层阶梯递进。

第一层,机制:AI 到底是怎么学的,偏见和几何是什么关系。

第二层,陷阱:这套学习机制,在真实世界里哪里会失灵。

第三层,天花板:再往上堆数据、堆算力,边界在哪里。

第四层,终局:把视野拉到物理和计算理论的尽头,看智能的极限。

每一层踩实了,才往上走一层。

十个台阶,四个楼层,一层一层,直到看见智能的边界。

 

第一层·机制篇:偏见与几何

教材:Shalev-Shwartz 的《Understanding Machine Learning》,Deisenroth 的《Mathematics for Machine Learning》。

这一层回答一个根本问题:学习的起点是什么?

UML 用 PAC 学习框架和没有免费午餐定理证明了一件事:不对世界预设任何东西,任何算法都学不会任何东西。偏见是学习的门票。

MML 接着把这个抽象的偏见落地:它是一组高维空间里的投影方向,是向量内积,正交投影,超平面切割。

没有先验假设,学习无从发生;有了先验假设,偏见才有了几何实体。

这一层已经写完,见 《偏见是学习的前提,几何是智能的投影》。

 

第二层·陷阱篇:随机性、时序与因果断层

教材:Durrett 的《Probability: Theory and Examples》,Durrett 的《Essentials of Stochastic Processes》,Shalizi 的《Advanced Data Analysis from an Elementary Point of View》。

第一层假设数据是独立同分布的、是静态的。但真实世界不是。

金融市场是动态博弈,商业世界是时序耦合,人脑认知是因果交错。i.i.d. 这个前提在现实里一碰就碎。

这一层用测度概率论,随机过程,鞅论和因果推断,讲透一件事:AI 把高维噪声当规律,是数学上的必然。

世界一旦不再独立同分布,AI 的高维偏见会当场变成毒药。

这一层已经写完,见 《随机性、时序与因果断层》。

 

第三层·天花板篇:容量爆炸与非欧流形

教材:张潼的《Mathematical Analysis of Machine Learning Algorithms》,Ma & Tang 的《Deep Learning on Graphs》。

「暴力出奇迹」这句信仰,在这一层被证伪。

Rademacher 复杂度给模型容量画了一条硬边界:超过它,数据再多也救不回来。

更深的真相是:真实物理世界的数据,长在非欧流形和图结构上。几何对称性和置换不变性,才是绕开维度灾难的真正解药。

算力和数据有极限,但正确的几何结构没有。

 

第四层·终局篇:统计物理相变与不可解边界

教材:Roberts 的《The Principles of Deep Learning Theory》,Mehlig 的《Machine Learning with Neural Networks》,Moitra 的《Algorithmic Aspects of Machine Learning》。

这是整座大厦的顶端,也是最冷的一层。

极深网络要用重整化群和有效场论来理解;损失函数的曲面是一片自旋玻璃态;很多学习问题,本质上是 NP-Hard 的。

读到这一层,你会得到一个不那么舒服、但很诚实的结论。

人类智能和机器智能,都是物理宇宙不可解面前的局部妥协。

 

我的读法:四步手记

这十本书,我用同一种四步框架来写。

先问一个我自己真正卡住的问题,再抽原书最致命的一两个定理直觉化推导,然后把定理扔回宏观,量化,工程,还有人脑的真实场景里验证,最后提炼一句属于我自己的定论,抛出一个承上启下的疑问。

这是一份认知手记。

 

入口与路线

四层已经开了头。总纲在这里,第一层和第二层已经写完,往下是第三层。

如果你想跟着爬这四层,从小红书搜 AwenDXB,读者群里我把这十本原版 PDF 一起给你。

读懂 AI,从承认它和我们一样,都有偏见开始。

参考来源:本总纲为系列导读,所涉教材与定理在各分篇正文里逐条标注了具体章节。十本教材的英文原名、作者与官方免费版如下。

原文链接:

下篇预告

总纲串完了四层地图。第一篇正式下潜,用 UML 和 MML 两本教材讲透学习的起点:为什么必须先有偏见,以及这个偏见在几何上长什么样。

资料与社群

文中引用的 10 本经典原版教材 PDF 已整理完毕。欢迎前往小红书搜索关注 小红书 · AwenDXB ↗️

请喝一杯咖啡
这些内容都是我一个人查资料、跑数据、核事实写出来的。如果对你有用,可以请我喝一杯咖啡。
微信扫码 · 微信支付微信扫码 · 微信支付
支付宝扫码支付宝扫码
个人收款码 · 微信支付 / 支付宝

本文采用 CC BY 4.0 许可。欢迎转载与引用,请注明作者并附上原文链接。
Licensed under CC BY 4.0. Quoting and republishing are welcome with attribution and a link back to this article.

《总纲:10 本殿堂教材的原著精读与认知大厦》有2条评论

发表评论