微分学为研究函数的性质提供了统一的方法与理论,尤其是寻找函数的极值,在机器学习领域被大量使用。积分则在机器学习中被用于计算某些概率分布的数字特征,如数学期望和方差,在概率图模型中也被使用。
1.1极限与连续
极限是微积分中最基本的概念,也是理解导数与积分等概念的基础。
1.1.1 可数集与不可数集
初等数学已经对元素数有限的集合进行了系统阐述,对于无限集,有些概念和规则不再适用。
即使是常用的自然数集N和实数集R,其性质也需要重新定义。在定积分,概率论中会使用可数集与不可数集的概念。
集合A的元素数量称为其基数或者势,记为|A|。在这里复用了绝对值符号。对于下面的集合:
A={1,3,5,7}
其基数为|A|=4.基数为有限值的集合称为有限集;基数为无限值的集合称为无限集,对于两个有限集,如果集合A是集合B的真子集,即A包含B,则有:
|A|< |B|
无限集的基数为+无穷,因此不能直接使用这种规则进行基数的比较,考虑正整数集N+,令集合A1为所有正奇数组成的集合,集合A2为所有正偶数组成的集合。由于一个正整数不是奇数就是偶数,而且两个集合均不是空集,因此:
N+=A1并A2
A1包含N+
A2包含N+
这是否意味着|A2|<|N+|?答案是否定的。