贝叶斯

小编 2026-07-11 阅读:1161 评论:0

贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。假设有NNN种可能...

贝叶斯决策论

贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。
假设有 $N$ 种可能的类别标记，即 $\\mathcal{Y}=\\{c_1, c_2,\\dots,c_N\\},\\lambda_{ij}$ 是将一个真实标记为 $c_j$ 的样本误分类为 $c_i$ 所产生的损失。基于后验概率 $P(c_i|x)$ 可获得将样本 $x$ 分类为 $c_i$ 所产生的期望损失（expected loss），即在样本 $x$ 上的“条件风险”（conditional risk）。 $R(c_i|x)=\\sum_{j=1}^N\\lambda_{ij}P(c_j|x)$ 我们的任务是寻找一个判定准则 $h:\\chi\\mapsto\\mathcal{Y}$ 以最小化总体风险 $R(h)=\\Bbb{E}_x \\lbrack R(h(x)|x) \\rbrack$ 显然，对于每一个样本 $x$ ,若 $h$ 能最小化条件风险 $R(h(x)|x)$ ，则总体风险 $R(h)$ 也将被最小化。这就产生了贝叶斯判定准则（Bayes Decision Rule）：为最小化总体风险，只需要在每个样本上选择那个能使风险 $R(c|x)$ 最小的类别标记，即 $h^*(x)=\\mathop {argmin} \\limits_{c \\in \\mathcal{Y}}R(c|x)$ 此时， $h^*(x)$ 称为贝叶斯最优分类器（Bayes optimal classifier）,与之对应的总体风险 $R(h^*)$ 称为贝叶斯风险（Bayes risk）。 $1-R(h^*)$ 反映了分类器所能达到的最好性能，即通过机器学习所能产生的模型精度的理论上限。

极大似然估计

估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。具体地，记关于类别 $c$ 的类条件概率为 $P(x|c)$ ，假设 $P(x|c)$ 具有确定的形式并且被参数向量 $\\theta_c$ 唯一确定，则我们的任务就是利用训练集 $D$ 估计参数 $\\theta_c$ 。为明确起见，我们将 $P(x|c)$ 记为 $P(x|\\theta_c)$ 。
事实上，概率模型的训练过程就是参数估计（parameter estimation）过程。对于参数估计，统计学界的两个学派分别提供了不同的解决方案：频率主义学派（Frequentist）认为参数虽然未知，但却是客观存在的固定值，因此可通过优化似然函数等准则来确定参数值；贝叶斯学派（Bayesian）则认为参数是未观察到的随机变量，其本身也可有分布。本节介绍源自频率主义学派的极大似然估计（Maximum Likelihood Estimate，简称MLE），这是根据数据采样来估计概率分布参数的经典方法。
令 $D_c$ 表示训练集 $D$ 中第 $c$ 类样本组成的集合，假设这些样本是独立同分布的，则参数 $\\theta_c$ 对于数据集 $D_c$ 的似然是 $P(D_c|\\theta_c=\\prod \\limits_{x \\in D_c}P(x|\\theta_c)$ 对 $\\theta_c$ 进行极大似然估计，就是去寻找到能最大化似然 $P(D_c|\\theta_c)$ 的参数值 $\\hat{\\theta_c}$ 。直观上看，极大似然估计是试图在 $\\theta_c$ 所有可能的取值中，找到一个能使数据出现的“可能性”最大的值。
上式中的连乘操作易造成下溢，通常使用对数似然（log-likelihood） $LL(\\theta_c)=logP(D_c|\\theta_c)=\\sum \\limits_{x \\in D_c}logP(x|\\theta_c)$ 此时参数 $\\theta_c$ 的极大似然估计 $\\hat{\\theta_c}$ 为 $\\hat{\\theta_c}=\\mathop {argmax}\\limits_{\\theta_c}LL(\\theta_c)$ 例如，在连续属性情形下，假设概率密度函数 $p (x ∣ c) ∽ N (@font-face {
font-family: "autolinktags";
src: url("https://www.seowoai.com/zb_users/plugin/AutoLinkTags/style/fonts/iconfont.woff2") format("woff2"),
url("https://www.seowoai.com/zb_users/plugin/AutoLinkTags/style/fonts/iconfont.woff") format("woff"),
url("https://www.seowoai.com/zb_users/plugin/AutoLinkTags/style/fonts/iconfont.ttf") format("truetype");
font-weight:normal;
font-style:normal;
}.tagslink::after { content:"\e613"; margin:2px 0 0 0px; font-size:12px; font-family:"autolinktags"; display:inline-block; vertical-align:top; }版权声明本文仅代表作者观点，不代表百度立场。本文系作者授权百度百家发表，未经许可，不得转载。上一篇： Docker国内镜像源设置下一篇： Fail2ban防止SSH暴力破解相关阅读 TOMCAT添加管理用户认证添加配置文件 --原配置文件：# tail -5 /usr/local/tomcat/conf/tomcat-users.xml1 <user username="tomcat" password="<must-be-changed>" roles="tomcat"/>2 <user username="... DLIB安装。人脸识别dlib的安装是个坑，必须要跨过去。
查看了很多博客什么的，各种繁琐，而且各种无法安装。这里介绍一种简单的方法。
安装的系统是ubnutu16.04的。
1安装好gcc和cmake，gcc其实ubuntu已经安装好了，直接使用gcc --version去查看。cmake的安装也很简单pip install cmake，或者使用apt install cmake。如果没有权限就sudo apt install cmake。... HTTP请求方式及状态码 -------------------------------------------------------------作者：罗穆瑞出处：http://www.cnblogs.com/kazihuo/转载请保留此段声明，且在文章页面明显位置给出原文链接，谢谢！-------------------------------------... Vim命令操作命令模式光标定位home | 0 #定位到行首end | $ #定位到行尾gg #定位到文本首行G #定位到文本尾行nG #定位到指定的行，n表示数字复制yy #复制光标所在的行nyy #复制n行粘贴p #粘贴到所在行的下一行P #粘贴到上一行删除x #删除光标所在字符nx #删除n个字符，n是数字dw #删除单词dd #删除光标所... 贝叶斯贝叶斯决策论
贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。
假设有NNN种可能的类别标记，即Y={c1,c2,\dots,cN},λij\\mathcal{Y}=\\{c_1, c_2,\\dots,c_N\\},\\lambda_{ij}Y={c1,c2,\dots,cN},λij是将一个真实标记为cjc_jcj的样本误... python学习之异常处理一、异常类型
（1）文件不存在：FileNotFoundError
(2)断言语句失败：AssertionError,当assert关键字后面的条件为假时，程序就会抛出AssertionError，assert语句一般是在测试程序的时候用于在代码程序中置入检查点
my_list=[\"xiaoxiaohui\"]
assert len(my_list)>0
my_list.pop()
assert len(my_list...热门文章 Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering Problem Statement
我们考虑一个具有马尔可夫性质、非线性、非高斯的状态空间模型(State Space Model)：对于一个时间序列上的观测结果{yt,t\inN}\\{ y_t , t \\in N \\}{yt,t\inN}，我们认为每个观测结果yty_tyt的生成依赖于一个无法直接观察的隐变量xt\in{xt,t\inN}x_t \\in \\{x_t , t \\in N \\}xt\in{xt,t\inN}，即：p(... 机房智能化温湿度解决方式之POE供电以太网温湿度传感器机房智能化温湿度解决方式之POE供电以太网温湿度传感器
北京盈创力和电子科技有限公司
智能型TCP网口温湿度记录仪北京IP网络温湿度记录仪厂家，北京盈创力和
北京智能型TCP网口温湿度记录仪IP网络温湿度记录仪是一种新型的基于TCP/IP协议双绞线以太网标准温湿度采集模块，利用它可以实现现场温度值、相对湿度值的采集，同时利用其自身的RJ45通信接口可以方便地和机房监控主机或交换机集线器进行联网。
工作于-40℃～85℃工业级带... Hive 系统函数及示例查看所有系统函数
show functions;

函数分类
内置函数【系统函数】
数学函数：
floor、round、ceil、cos、log2等
字符串函数：
length、reverse、trim、lower、get_json_object、repeat等
收集函数：
size
转换函数：
cast
日期函数：
year、month、datediff、date、date_add等
条件函数：
coalesce、case\dotsw... CSRF的原理和防范措施 a)攻击原理：i.用户C访问正常网站A时进行登录，浏览器保存A的cookieii.用户C再访问攻击网站B，网站B上有某个隐藏的链接或者图片标签会自动请求网站A的URL地址,例如表单提交，传指定的参数iii.而攻击网站B在访问网站A的时候，浏览器会自动带上网站A的cookieiv.所以网站A在接收到请求之后可判断当前用户是登录状态，所以... HTTP状态保持的原理 a)在用户登录之后，浏览器返回响应的时候会在响应中添加上cookieb)浏览器接收到cookie之后会自动保存c)当用户再次请求同一服务器中的其他网页的时候，浏览器会自动带上之前保存的cookied)服务接收到请求之后可以请 request 对象中取到cookie 判断当前用户是否登录　　Http是无状态的，就是连接时数据互通，关闭后... 最近发表 Docker如何实现修改Docker0网桥默认网段 Xshell 5连接上suse 用C#做网络爬虫的步骤教学 suse双网卡绑定 Docker实现同Ip网段联通的实现硬盘分区挂载和取消挂载 suse12安装详解 php workerman定时任务的实现代码 Centos7上部署openstack mitaka配置详解（将疑难点都进行划分）详解SpringBoot注入数据的方式菜鸟帮你跳过openstack配置过程中的坑[文末新添加福利] Python数据抓取爬虫代理防封IP方法 openstack中dashboard页面RuntimeError: Unable to create a new session key. It is likely that the cache is unavailable. SpringBoot之RabbitMQ的使用方法 Multiple network matches found for name 'selfservice', use an ID to be more specific.报错标签列表 NonePowered By Z-BlogPHP Theme By 老白编程$