编辑
2023-10-09
数学
00
请注意,本文编写于 230 天前,最后修改于 230 天前,其中某些信息可能已经过时。

目录

随机变量及其特征

在随机过程课中,我第一次接触到以测度为基础的高等概率论,在这个基础上我们定义了Poisson过程Markov链鞅(Martingale)等随机过程。这些随机过程对于现实世界乃至深度学习界的一些算法具有很强的意义,但在这篇文章中我们按下不表,我更想从初等概率论的角度出发,对初等概率论进行一些回顾,并试图以简单的语言描述一些初等概率论概念在深度学习算法中的应用。

随机变量及其特征

  1. 随机变量:(Ω,F,P)(\Omega,\mathcal{F},P)是一个概率空间,XX是定义在Ω\Omega上的实值函数。如果对任意实数xx{Xx}\{X\leqslant x\}是随机事件,即{ω:X(ω)x}F\{\omega: X(\omega)\leqslant x \} \in \mathcal{F},则称XX随机变量. PP也即是定义在可测空间(Ω,F)(\Omega,\mathcal{F})上的测度,对于每个{ω:X(ω)x}F\{\omega: X(\omega)\leqslant x \} \in \mathcal{F},定义P(Xx)P(X\leqslant x)概率
  2. 分布函数:XX为一随机变量,则函数P(Xx)=F(x),<x<P(X\leqslant x)=F(x), -\infty <x< \infty称为X的分布函数.
  3. 概率密度函数: 连续型随机变量 XX 有概率分布函数F(x)F(x),则F(x)F(x)的导数f(x)=F(x)f(x)=F'(x)称为XX的概率密度函数.值得指出的是,连续型随机变量的概率密度不是唯一的,可以在至多可数无穷多个点上任意改变f(x)f(x)的值.
  4. 正态分布: 若随机变量XX服从一个数学期望为μ\mu、方差为σ2\sigma ^{2}的正态分布,则记为XN(μ,σ2)X \sim \mathcal{N}(\mu, \sigma^{2})。其概率密度函数如下,期望值μ\mu决定了其位置,其标准差σ\sigma决定了分布的幅度。正态分布的概率密度函数曲线呈钟形,因此又称之为钟形曲线。当μ=0\mu = 0,标准差σ=1\sigma = 1时的正态分布是标准正态分布。
f(x)=12πσexp{ 12σ2(xμ)2},<x<f(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\{\ -\frac{1}{2\sigma^2}(x-\mu)^2\}, -\infty<x<\infty
  1. 正态分布的线性函数仍为正态分布:XN(μ,σ2)X \sim \mathcal{N}(\mu, \sigma^{2})Y=aX+bY=aX+b,则YN(aμ+b,a2σ2)Y \sim \mathcal{N}(a\mu+b, a^2\sigma^{2})

  2. 卷积公式: 设随机变量Z=X1+X2Z=X_1+X_2X1,X2X_1,X_2的概率密度函数为f1,f2f_1,f_2,则ZZ的概率概率密度函数是fZ(z)=+f1(x)f2(zx)dx=+f1(zx)f2(x)dx\displaystyle f_Z(z) = \int_{-\infty}^{+\infty} f_1(x) f_2(z-x)dx = \int_{-\infty}^{+\infty} f_1(z-x) f_2(x)dx

  3. 独立的正态分布的线性组合分布任然为正态分布:X1N(μ1,σ12),X2N(μ2,σ22)X_1\sim\mathcal{N}(\mu_1, \sigma_1^{2}) ,X_2\sim\mathcal{N}(\mu_2, \sigma_2^{2})Y=X1+X2Y=X_1+X_2,Z=X1X2Z=X_1-X_2,则YN(μ1+μ2,σ12+σ22)Y\sim\mathcal{N}(\mu_1+\mu_2, \sigma_1^{2}+\sigma_2^{2}),ZN(μ1μ2,σ12+σ22)Z\sim\mathcal{N}(\mu_1-\mu_2, \sigma_1^{2}+\sigma_2^{2})

本文作者:insomnia

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!