算法链路:感知 → 生成 → 行动
深度学习算法族谱汇成的「一图流」:一条链路逐段亮起,本课三次作业各落一段。
感知
PERCEPTION
CNN 卷积网络
图像 · 检测识别
RNN 循环网络
序列 · 语音 ASR
生成
GENERATION
GAN / VAE
Flow / Diffusion
Transformer → LLM
行动融合
ACTION
VLM 视觉语言
VLA 视觉语言动作
世界模型
作业2 · YOLO / CNN 视觉
作业1 · 语音 ASR(RNN 系)
作业1 · LLM 交互 / 多模态
作业3 · VLM 计数 + ACT 动作
▶ 播放
下一步
重放
1 / 4
记住这点:
整门课就一条链路
感知 → 生成 → 行动融合
;三次作业各占一段—— 作业1(语音感知 + LLM 生成)、作业2(视觉感知)、作业3(VLM/VLA 行动融合)。 背后地基是 Transformer 的注意力:
Attention(Q,K,V)=softmax(QKᵀ/√d_k)·V
。