精选观看路线 · 10 个视频
AI 基础学习路线：从神经网络到 GPT
这条路线先回答一个基本问题：模型究竟是怎么“学会”的？建立神经网络、梯度下降和反向传播的直觉后，再跟着 Andrej Karpathy 把这些概念写成 micrograd、分词器和 GPT，最后补上现代 LLM 的完整训练流程。
适合谁
适合会一点编程、想系统补 AI 基础的读者。你可能看过不少 LLM 介绍，却仍说不清梯度下降、反向传播、注意力和分词器之间是什么关系；这条路线正是用来把这些环节串起来的。
开始前
前四个视频只需高中代数基础。看到 micrograd 之后，最好会读基础 Python；分词器和 GPT 实现会进入中级代码细节，可以暂停、运行代码后再继续。
这条AI 基础路线怎么选
顺序按概念依赖安排：先用视觉解释建立神经网络训练的直觉，再用 Karpathy 的代码验证这些机制，随后进入 Transformer、tokenization 和 GPT，最后回到现代 LLM 的训练与应用全流程。
本站根据主题相关性、学习顺序、长期有效性和 Hacker News 正向推荐记录，对 2026年10月31日的数据快照做了独立整理。视频标题、摘要、难度和标签来自公开数据，部分内容由模型生成，可能有误。这里给出的是源数据的编辑顺序，不代表本站逐部完整审看。完整口径见数据来源与限制；发现不符或视频失效，可到联系页反馈。
这条路线要串起什么
这条路线把神经网络如何学习、自动微分、attention、分词和 GPT 训练放在同一条脉络里，方便你用自己的话复述它们之间的关系。
建议怎么学
- 前四集先建立训练直觉，不必急着记公式；看到 micrograd 后，最好把代码实际运行一次。
- Transformer、attention 和 tokenizer 三段容易混在一起，可以分别记下它们解决的问题，再进入 GPT 实现。
10 个视频，按这个顺序打好 AI 基础
-
↗系列课程 · 入门
Lecture 01 - The Learning Problem
先把机器学习放回“学习问题”本身，统一理解监督学习、无监督学习和强化学习各自在解决什么。
5 位 HN 用户给出正向推荐，分布在 5 个不同月份
-
↗讲解 · 入门
But what is a neural network? | Deep learning chapter 1
用图像和动画认识神经元、层与权重。先有整体画面，后面的公式才不会只剩符号。
16 位 HN 用户给出正向推荐，分布在 14 个不同月份
-
↗讲解 · 入门
Gradient descent, how neural networks learn | Deep Learning Chapter 2
把代价函数和梯度下降接起来，看清模型如何根据预测误差一步步调整参数。
4 位 HN 用户给出正向推荐，分布在 3 个不同月份
-
↗讲解 · 入门
Backpropagation, intuitively | Deep Learning Chapter 3
沿着网络反向追踪误差，先抓住反向传播的机制，再补微积分细节会轻松很多。
4 位 HN 用户给出正向推荐，分布在 3 个不同月份
-
↗课程讲座 · 入门
The spelled-out intro to neural networks and backpropagation: building micrograd
跟着 Karpathy 用 Python 写出微型自动微分引擎，把导数、计算图和神经网络训练真正接上。
17 位 HN 用户给出正向推荐，分布在 16 个不同月份
-
↗讲解 · 入门
Transformers, the tech behind LLMs | Deep Learning Chapter 5
进入 Transformer，一次认清 token、embedding、attention 和整体架构，建立 LLM 的结构图。
13 位 HN 用户给出正向推荐，分布在 10 个不同月份
-
↗讲解 · 入门
Attention in transformers, step-by-step | Deep Learning Chapter 6
单独拆解 self-attention 和 multi-head attention，为后面的 GPT 实现扫清最容易卡住的一段。
5 位 HN 用户给出正向推荐，分布在 4 个不同月份
-
↗课程讲座 · 中级
Let's build the GPT Tokenizer
补上常被忽略的分词层，理解 Unicode、BPE，以及同一句话为什么会被模型切成不同 token。
5 位 HN 用户给出正向推荐，分布在 5 个不同月份
-
↗教程 · 中级
Let's build GPT: from scratch, in code, spelled out.
把前面的组件装成一个可运行的 GPT，代码、训练和文本生成终于在这里闭环。
14 位 HN 用户给出正向推荐，分布在 8 个不同月份
-
↗课程讲座 · 入门
Deep Dive into LLMs like ChatGPT
最后拉高视角，看预训练、后训练、推理与局限，补齐对现代 LLM 全流程的认识。
10 位 HN 用户给出正向推荐，分布在 8 个不同月份
学完后，自己试一次
动手验算：同一个变量走两条路径
学到 micrograd 时，用这个小例子检验自己是否理解梯度累加。需要会算一元函数的导数，并能读基础 Python。
- 令 x = 3，y = x × x + 2 × x。先手算 y 和 dy/dx，再用 micrograd 的 Value 构建表达式并调用 y.backward()。最后用 h = 0.0001 计算中心差分 (f(x+h) − f(x−h)) / (2h)，比较三种结果。
- 不看下面的答案，先把推导过程写下来。
展开答案与检查方法
应得到 y = 15、dy/dx = 8。x 同时参与平方项和线性项，两条路径分别贡献 6 和 2。如果结果只有 6 或 2，检查是否把累加梯度写成了覆盖。换成 x = −2 后，正确结果是 y = 0、梯度 = −2。
回到 micrograd 视频 · 核对 Karpathy 的 micrograd 源码与用法 ↗
本站编写的学习练习，依据所链文档核对；不是讲者原题或逐段审看笔记。核验于 。