NoteDeep

什么是条件期望?

以二元连续随机向量 为例
连续随机向量的边际密度函数为
条件分布函数为

后验分布

1) 均为离散型随机变量
则有 (*)
2) 为连续型随机变量, 为离散型随机变量
对于
,得
(*)
3) 为离散型随机变量, 为连续型随机变量
对于
两边除以 ,令 ,得
(*)
4) 均为连续型随机变量
(*)

条件期望的公式

由贝叶斯估计量定理得知,损失函数为 时,则 的贝叶斯估计量为
其中条件 为连续随机变量且具有密度函数 ,条件 为离散随机变量且取值

风险函数与贝叶斯风险函数有什么区别?

风险函数 ,是在 给定的情况下,关于 的期望
贝叶斯风险函数 ,是关于 的期望

一致最小风险估计量和最大风险最小化估计量有什么区别?

一致最小风险估计量要求决策函数对于所有 达到一致最小,这种一致性存在需要条件
最大风险最小化估计量要求决策函数对于平均损失达到最大 的损失达到最小,局部的极小不能保证全局对所有 的最小, 所以不能保证一致性,但一致性能保证最大风险最小

求核的作用在于确定后验分布,从而求后验分布的条件期望,得到贝叶斯估计量
即只要知道后验分布的核,即可知道后验分布的密度/分布函数

β分布

连续型随机变量所服从的分布,其密度函数为 ,其中 为正的常数,实数域上的gamma函数定义为
其中 函数
其数学期望为



风险函数、一致最小风险估计量与最大风险最小化估计

贝叶斯估计中,将未知参数不视为定值,而是有自身分布的随机变量;采用决策函数来估计未知参数或者描述某项决策的价值,而决策函数得选择标准是用损失函数和风险函数来描述的
风险函数
对于决策函数 ,称 为其风险函数。它是损失函数在参数为 时的期望,代表了使用决策函数 估计 的平均损失。
一致最小风险估计量
是由决策函数为元素组成的集合,如果有 ,使得 ,则称 的一致最小风险估计量。如果进一步要求 ,则是一致最小风险估计量就是一致最小方差无偏估计量。
最大风险最小化估计
是由决策函数为元素组成的集合,如果 使得对于任意 ,有 ,即 ,则称 的最大风险最小化估计量

贝叶斯估计量定理

如果损失函数为 ,且 ,则参数 的贝叶斯估计量为
简单证明:
1)对于 中达到最小几乎处处等价于 中达到最小
2)由期望的性质知

贝叶斯计量为最大风险最小化估计量的充分条件

设总体 的分布函数为 的样本, 的贝叶斯估计量, 的先验分布函数为 ,如果风险函数 上为常数,则贝叶斯估计量 也是 的最大风险最小化估计量
简单证明:
由于 上为常数,所以
由于 的任意性得到 ,即贝叶斯估计量也是最大风险最小化估计量

两个求贝叶斯估计量的例子以及两个实例

例题——决策函数为未知参数的估计量


实例



















评论列表

    什么是条件期望?
    后验分布
    条件期望的公式
    风险函数与贝叶斯风险函数有什么区别?
    一致最小风险估计量和最大风险最小化估计量有什么区别?
    β分布
    风险函数、一致最小风险估计量与最大风险最小化估计
    贝叶斯估计量定理
    贝叶斯计量为最大风险最小化估计量的充分条件
    两个求贝叶斯估计量的例子以及两个实例