请注意,本文编写于 334 天前,最后修改于 334 天前,其中某些信息可能已经过时。
在随机过程课中,我第一次接触到以测度为基础的高等概率论,在这个基础上我们定义了Poisson过程
、Markov链
、鞅(Martingale)
等随机过程。这些随机过程对于现实世界乃至深度学习界的一些算法具有很强的意义,但在这篇文章中我们按下不表,我更想从初等概率论的角度出发,对初等概率论进行一些回顾,并试图以简单的语言描述一些初等概率论概念在深度学习算法中的应用。
随机变量及其特征
- 随机变量:设(Ω,F,P)是一个概率空间,X是定义在Ω上的实值函数。如果对任意实数x,{X⩽x}是随机事件,即{ω:X(ω)⩽x}∈F,则称X为随机变量. P也即是定义在可测空间(Ω,F)上的测度,对于每个{ω:X(ω)⩽x}∈F,定义P(X⩽x)为概率。
- 分布函数: 设X为一随机变量,则函数P(X⩽x)=F(x),−∞<x<∞称为X的分布函数.
- 概率密度函数: 连续型随机变量 X 有概率分布函数F(x),则F(x)的导数f(x)=F′(x)称为X的概率密度函数.值得指出的是,连续型随机变量的概率密度不是唯一的,可以在至多可数无穷多个点上任意改变f(x)的值.
- 正态分布: 若随机变量X服从一个数学期望为μ、方差为σ2的正态分布,则记为X∼N(μ,σ2)。其概率密度函数如下,期望值μ决定了其位置,其标准差σ决定了分布的幅度。正态分布的概率密度函数曲线呈钟形,因此又称之为钟形曲线。当μ=0,标准差σ=1时的正态分布是标准正态分布。
f(x)=2πσ1exp{ −2σ21(x−μ)2},−∞<x<∞
-
正态分布的线性函数仍为正态分布: 若X∼N(μ,σ2),Y=aX+b,则Y∼N(aμ+b,a2σ2)
-
卷积公式: 设随机变量Z=X1+X2,X1,X2的概率密度函数为f1,f2,则Z的概率概率密度函数是fZ(z)=∫−∞+∞f1(x)f2(z−x)dx=∫−∞+∞f1(z−x)f2(x)dx
-
独立的正态分布的线性组合分布任然为正态分布: 设X1∼N(μ1,σ12),X2∼N(μ2,σ22),Y=X1+X2,Z=X1−X2,则Y∼N(μ1+μ2,σ12+σ22),Z∼N(μ1−μ2,σ12+σ22)
本文作者:insomnia
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA
许可协议。转载请注明出处!