ElitesAI·人工智能中的数学基础之微积分

发表于 | 分类于

写在之前

算是系统的对本身的数学基础进行查缺补漏，做个笔试记录一下，这里还是给感谢伯禹学习平台-ElitesAI·人工智能中的数学基础，这一部分为微积分的相关部分。

凸集与凸函数

凸集的定义

对于集合$C \subseteq R^n$，如果对于集合中任意两不同的点 $x_1$ 和 $x_2$ 和实数 $\theta \in [0,1]$，都有 $\theta x_1 + (1-\theta)x_2 \in C$，则称集合C为凸集。
PS:这定义说白了就是集合内任意两点之间的无数个点都在集合内。

常见凸集

凸集分离定理

对于两个不相交的非空凸集$C,D \subseteq R^n$，一定存在一个超平面分离这两个集合
PS：按二分类的思路来说，两个类别分别就是两个非空凸集，而我们计算的分类函数就是这个超平面。

凸函数的定义

如果一个函数f是凸函数，则对于任意在定义域内的点想x,y，则有：

PS:按下面的图来理解，即：$A \leq B$

凸函数的性质

  • 如果$x_0$是函数f的一个局部最小值，则$x_0$就是f的全局最小值。
  • 如果凸函数f可导，那么$x_0$是全局最小值当且仅当$\nabla f(x_0)=0$(具体一阶导、二阶导请百度)

    保凸运算

    定义： 对一个凸函数进行一些运算之后，依然得到凸函数。
    例子
  • 非负线性组合：$f=\sum_{i=1}^m{w_if_i}$
  • 逐点最大化：$f=max(f_i)$
  • 最小化：$g(x)=inf_{y \in C}f(x,y),C是非空凸集$

极限

极限的直观理解

极限可以被用来描述一个序列的元素性质随指标的变化而逼近某个值的趋势。

有限初的极限的定义

对于函数$f(x),x_0 \in R$和$L\subset R$，若任给正实数$\epsilon > 0$，存在正实数 $\delta > 0$，使得当 $0<|x-x_0|< \delta$时，有$|f(x)-L|<\epsilon$，则称函数$f(x)$在$x=x_0$处收敛于L，记作$\lim_{x \rightarrow x_0}{f(x)=L}$。

连续

连续的定义

设函数f(x)在$(x_0-\delta,x_0+\delta)$内有定义，若f(x)在$x_0$处的极限存在且等于它在$x_0$处的函数值$f(x_0)$，则称f(x)在$x_0$处连续。

导数

导数的定义

函数f(x)在$x=x_0$处的导数是

记作$f’(x_0)$。PS：导数只与$x_0$有关。

导函数的定义

在(a,b)内每个点处的导数构成了一个新函数，称为原函数f(x)的导函数，简称导数

基本的导函数

偏导数的直观理解

多元函数$f(x_1,x_2,…,x_d)$在$x_1$方向的瞬时变化率为此处的切线斜率大小。

偏导数的定义

多元函数$f(x_1,x_2,…,x_d)$在$Z=(Z_1,Z_2,…,Z_d)$关于$x_i$的偏导数记为：

梯度的定义

多元函数$f(x_1,x_2,…,x_d)$在$Z=(Z_1,Z_2,…,Z_d)$所有偏导数组成的向量

链式法则

0%