日志

方差、标准差和协方差

已有 880 次阅读| 2016-11-22 15:26 |个人分类:深度学习|系统分类:芯片设计

方差

样本中各数据与样本平均数的差的平方和的平均数叫做样本方差；样本方差的算术平方根叫做样本标准差。样本方差和样本标准差都是衡量一个样本波动大小的量，样本方差或样本标准差越大，样本数据的波动就越大。

数学上一般用E{[X-E(X)]^2}来度量随机变量X与其均值E(X)的偏离程度，称为X的方差。

定义
设X是一个随机变量，若E{[X-E(X)]^2}存在，则称E{[X-E(X)]^2}为X的方差，记为D(X)或DX。即D(X)=E{[X-E(X)]^2}，而σ(X)=D(X)^0.5（与X有相同的量纲）称为标准差或均方差。

由方差的定义可以得到以下常用计算公式：
D(X)=E(X^2)-[E(X)]^2

方差的几个重要性质（设一下各个方差均存在）。
（1）设c是常数，则D(c)=0。
（2）设X是随机变量，c是常数，则有D(cX)=c^2D(X)。
（3）设X，Y是两个相互独立的随机变量，则D(X+Y)=D(X)+D(Y)。
（4）D(X)=0的充分必要条件是X以概率为1取常数值c，即P{X=c}=1，其中E(X)=c。

协方差

如果说方差是用来衡量一个样本中，样本值的偏离程度的话，协方差就是用来衡量两个样本之间的相关性有多少，也就是一个样本的值的偏离程度，会对另外一个样本的值偏离产生多大的影响，协方差是可以用来计算相关系数的，相关系数P=Cov(a.b)/Sa*Sb, Cov(a.b)是协方差， Sa Sb 分别是样本标准差。
从它的定义来说，叫协方差是比较合适的，表示两个标量之间协变动（comovement）的状况.

对二维随机向量（X,Y)来说，期望E(X),E(Y)只反映了X,Y各自额平均值，方差D(X),D(Y)只反映了它们各自与自己均值的偏离程度，它们对X,Y之间的相互关系不提供任何信息。
我们知道当X,Y相互独立时，有
E((X-E(X))(Y-E(Y))＝0 由此可知，如不等于0，则它们肯定不独立
于是定义：
设(X,Y)是二维随机变量，若E(|(X-E(X))(Y-E(Y))|)小于无穷大，则称
E((X-E(X)(Y-(Y)))为X与Y的协方差，记为Cov(X,Y).
即：
Cov(X,Y)=E(((X-E(X))(Y-E(Y)))
计算式：
Cov(X,Y)=E(XY)-E(X)E(Y)