概念准备 在进行矩阵求导之前，我们首先需要做一些关于概念上的铺垫。主要分为以下两个部分： 函数与变元的种类 分子布局与分母布局 函数与变元的种类 这里的种类指的就是标量、向量和矩阵这三种。在本文后续内容中对于这三种形式的符号表达都遵循如下定义: 标量，用正文字体小写字母表示，例如： \(x, y\) 向量，用粗体小写字母表示，例如： \(\...

前言 本文总结神经网络中基于反向传播的随机梯度下降法的数学推导过程，文章内容源于个人的学习心得。 前向传播、反向传播以及梯度下降法 首先我们需要整理一下相关名词的含义。 前向传播： 指的是在神经网络中将前一层的输出结果作为变量进行计算后输入至下一层的数据传播方式。 反向传播： 其实是误差反向传播的简称，它指的是将根据输出层的输出计算得来的损失函数的信息沿着神经网络从后一层向前一层不...