算法链路:感知 → 生成 → 行动

深度学习算法族谱汇成的「一图流」:一条链路逐段亮起,本课三次作业各落一段。

感知 PERCEPTION CNN 卷积网络 图像 · 检测识别 RNN 循环网络 序列 · 语音 ASR 生成 GENERATION GAN / VAE Flow / Diffusion Transformer → LLM 行动融合 ACTION VLM 视觉语言 VLA 视觉语言动作 世界模型 作业2 · YOLO / CNN 视觉 作业1 · 语音 ASR(RNN 系) 作业1 · LLM 交互 / 多模态 作业3 · VLM 计数 + ACT 动作
1 / 4
记住这点:整门课就一条链路 感知 → 生成 → 行动融合;三次作业各占一段—— 作业1(语音感知 + LLM 生成)、作业2(视觉感知)、作业3(VLM/VLA 行动融合)。 背后地基是 Transformer 的注意力:Attention(Q,K,V)=softmax(QKᵀ/√d_k)·V