2024秋第二次教学例会 —— BP

本次教学例会于 11 月 23 日在南京大学鼓楼校区举办,预计时长 2h。 本次例会主题为神经网络——反向传播算法(BP),本次以上次 MLP 模型为基础,增加反向传播实现,从而最终做出真正意义上可自我学习可参数调整的神经网络。

例会流程

  1. 数学推导部分 [目标建模 -> 数学推导 -> 目标结构/公式]
  2. 代码想法部分 [目标结构/公式 -> 实现思路]
  3. 手搓演示部分 [实现思路 -> 完整手搓模型 & 调参演示]
  4. 你的实现部分 [你将自己从零手搓一个神经网络框架] 别担心——刚刚讲过一遍之外我们还有助教团答疑帮你:)

所需前置知识

  1. 会 MLP 前向运算(输入向量,输出结果的多层矩阵&激活函数计算)
  2. 会求导
  3. 理解多元链式求导(可选)会向量,矩阵求导(可选)

可能会收获

  1. 彻底掌握现代神经网络的数学实现原理及其推导过程
  2. 掌握神经网络的实现方法,以及能从提供矩阵向量运算的库的基础上从零手搓任意参数的神经网络框架
  3. 对几乎任何分类/回归预测问题,能设计,实现神经网络来解决问题;并根据问题能选择合适的参数实现

文字 | 李尚敖 美编 | 魏玉泽