Metatron Dev. VI: 矩阵微积分

Differentiability
#

设 $V$ 与 $W$ 为有限维赋范空间, 函数 $F: U \subseteq V \to W$ 定义在开集 $U$ 上. 若在 $x \in U$ 处存在一个线性映射 $L: V \to W$ , 使输入扰动 $h$ 满足:

\begin{equation} F(x + h) = F(x) + L(h) + r(h), \qquad \lim_{h \to 0}\frac{\|r(h)\|_W}{\|h\|_V} = 0 \end{equation}

则称 $F$ 在 $x$ 处可微. 范数分别衡量输入扰动与输出误差的大小, 极限条件要求线性近似的误差相对于输入扰动趋于零. 线性映射 $L$ 称为 $F$ 在 $x$ 处的导数, 微分则是该映射作用于输入扰动 $\mathrm{d}x$ 的结果:

\begin{equation} \mathrm{D}F(x) = L, \qquad \mathrm{d}F = \mathrm{D}F(x)[\mathrm{d}x] = L(\mathrm{d}x) \end{equation}

一元函数中, 这个线性映射就是 $L(h) = f'(x)h$ . 对向量或矩阵输入, 导数仍然是作用于扰动的线性映射.