矩阵求导常用公式 Hessian矩阵 Jacobian矩阵

矩阵求导常用公式

机器学习推导时,有时候需要矩阵求导,可以先推导每个元素,最终归纳出矩阵形式,当然比较方便的就是查公式。

常用公式

Hessian矩阵、Jacobian矩阵

回顾:

方向角:一个向量与各个坐标轴的夹角。
一个向量的方向可以用坐标来表示,例如(-1,2,1),也可以用方向角来表示 (cos a, cos b, cos c)。 可阅读了解 向量的模与方向余弦的坐标表示式

参数方程:曲线上的任意一个点的坐标,都是某个参数t的函数,x = f(x), y = f(t). 对于t的每一个取值,参数方程组确定的点都在曲线上,这个方程组就是这条曲线的参数方程组。
可阅读了解 参数方程 - 数学知识点 - 简单学习网

多元函数,多个因变量下的一阶导数是Jacobian矩阵;

单一因变量下的一阶导数是一个与自变量维数相同的向量;

单一因变量下的二阶导数是Hessian 矩阵,矩阵的行数等于因变量的个数,列数等于自变量的个数,二阶导数等于一阶导数向量的Jacobian矩阵。

二阶导数代表了函数的凹凸性。

可阅读了解 最优化理论·光滑函数·Hessian矩阵·Jacobian矩阵·方向导数 - CSDN博客


0 Comments