最大期望算法（Expectation-maximization algorithm，又译为期望最大化算法），是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。

　　第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；

　　第二步是最大化（M），最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。

　　举个例子，抛硬币，有两个硬币，但是两个硬币的材质不同导致其出现正反面的概率不一样，目前我们只有一组观测数据，要求出每一种硬币投掷时正面向上的概率。总共投了五轮，每轮投掷五次，现在先考虑一种简单的情况，假设我们知道这每一轮用的是哪一个硬币去投掷的：

　　那么我们拿着这样的一组数据，就可以很轻松的估计出A硬币和B硬币出现正面的概率，如下：

　　现在把问题变得复杂一点，假设我们不知道每一次投掷用的是哪一种硬币，等于是现在的问题加上了一个隐变量，就是每一次选取的硬币的种类。

　　那么现在可以想一想，假设我们把每一次硬币的种类设为z,则这五次实验生成了一个5维的向量(z1,z2,z3,z4,z5)，现在问题来了，如果我们要根据观测结果去求出PA,PB，那么首先需要知道z，但是如果用最大似然估计去估计z，又要先求出PA,PB。这就产生了一个循环。那么这个时候EM算法的作用就体现出来了，EM算法的基本思想是：先初始化一个PA,PB，然后我们拿着这个初始化的PA,PB用最大似然概率估计出z，接下来有了z之后就用z去计算出在当前z的情况下的PA,PB是多少，然后不断地重复这两个步骤直到收敛。

　　有了这个思想之后现在用这个思想来做一下这个例子，假设初始状态下PA=0.2, PB=0.7，然后我们根据这个概率去估计出z：

　　按照最大似然估计，z=(B,A,A,B,A)，有了z之后我们反过来重新估计一下PA,PB：

　　可以看到PA,PB的值已经更新了，假设PA,PB的线，那么你在不断地重复这两步你就会发现PA,PB在不断地靠近这两个真实值。

　　假设f(x)为凸函数，X是随机变量，那么：E[f(X)]=f(E[X])，通俗的说法是函数的期望大于等于期望的函数。

　　再观察一下I项，感觉有一些像能够用Jensen不等式进行再一次的化简，下面写的直观一点：

　　算法有很多的应用，最广泛的就是GMM混合高斯模型、聚类、HMM、基于概率的PLSA模型...博文来自：皮皮blog

　　一、EM算法简介EM算法是期望极大(ExpectationMaximization)算法的简称，是一种解决存在隐含变量优化问题的有效方法。...博文来自：null的专栏

　　我的机器学习教程「美团」算法工程师带你入门机器学习 已经开始更新了，欢迎大家订阅~任何关于算法、编程、AI行业知识或博客内容的问题，可以随时扫码关注公众号「图灵的猫」，加入”学习小组“，沙雕博主在线答...博文来自：Machine Learning with Turings Cat

　　EM算法EM算法是一种迭代算法，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（expectation）；...博文来自：AIAS编程有道

　　第一次接触EM算法，是在完成半隐马尔科夫算法大作业时。我先在网上下载了两份Baum-Welch算法的代码，通过复制粘贴，修修补补，用java实现了HMM算法（应用是韦小宝掷两种骰子的问题）。然后，参考...博文来自：青瑟只鸟的专栏

　　Andrew Wu那门《机器学习》真的是太好了，每次看都有不少新收获，今天打算重新回顾一下EM算法来着，结果看李航的《统计学习方法》发现之前的理解有不少错误，又重新开始研究，结果都不是很明白，看And...博文来自：haolexiao的专栏

　　使用CSS也好久了，但一直都是在使用“px”来设置Web元素的相关属性，未敢使用“em”。喷砂机主要原因是，对其并不什么了解，只知道一点概念性的东西，前段时间在项目中要求使用“em”作为单位设置元素，所以从...博文来自：萌萌的It人

　　EM算法和朴素贝叶斯上节课老师讲解了EM算法，然后要求我们使用EM算法完成一个低配版的朴素贝叶斯分类器。说实话网上的EM算法介绍的都比较抽象，对于数学并不是很好的我来说，看起来遇到了很大的障碍。对于E...博文来自：Dapan同学

　　点击上方“Python大本营”，选择“置顶公众号”Python大本营 IT人的职业提升平台之前有很多读者留言向我们反馈：数学不好做算法优化，每次遇到......博文来自：Python大本营的博客

　　点击上方“Python大本营”，选择“置顶公众号”Python大本营 IT人的职业提升平台最近有很多程序员在CSDN博客发帖讨论：用Windows还是Linux？关于这个问题，其实答......博文来自：Python大本营的博客

　　本文是《统计学方法》第九章自己的笔记，为了更方便的理解，本文对转载的文章内容稍作修改。EM算法的每次迭代由两部分组成：E步，求期望；M步，求极大。所以这一算法称之为期望极大算法，简称EM算法。EM算法...博文来自：Jipon

　　很多时候算法没有搞明白其实是一堆符号没有明白是神马意思...所以本文，着重告诉大家，这堆符号，到底都，代表神马！以下使用到的图片来自上海交大杨旸老师的课件，网址如下：博文来自：Sun7_She的专栏

　　目录一 性能度量1.1 留出法1.2 k折交叉验证二 评估方法2.1 精确率(查准率)，召回率(查全率)和F1值2.2 ROC曲线 使用场景三 参考材料在学习器将模型构造出来之后...博文来自：Tuzi_bo的专栏

　　一、Boosting算法Boosting集成分类器包含多个非常简单的成员分类器，这些成员分类器的性能仅好于随机猜想，常被称为弱学习机。典型的弱学习机的例子就是单层决策树。Boosting算法主要针对难...博文来自：修炼之路

　　标签（空格分隔）： 王小草机器学习笔记EM算法的英文全称是Expectation Maximization Algorithm，也就是求期望最大化，也就是我们常说的目标函数求最大值的算法。EM算法，直...博文来自：【人工智能】王小草的博客

　　目录一 马尔可夫链二 隐马尔可夫模型2.1两个很重要的假设 2.2三类问题三 参考文献 隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔...博文来自：Tuzi_bo的专栏

　　目录一 WOE1.1 概念1.2 样例二 IV2.1 概念2.2 样例三 参考材料IV和WOE通常是用在对模型的特征筛选，在模型刚建立时，选择的变量往往比较多，这个时候就需要有一种方法来帮助我们衡量什...博文来自：Tuzi_bo的专栏

　　当时买mac的初衷，只是想要个固态硬盘的笔记本，用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后，最终决定，还是买个好（xiong）看（da）的。已经有好几个朋友问我mba怎么样了，所以今天...博文来自：Diana5253的博客

　　写在前面 近几天，迎来了第一个小项目，不做不知道，一做吓一跳。好多知识都掌握的不够扎实，看似会了，但其实似懂非懂，不能真正掌握原理，导致使用起来错误百出。而且深深体会到，知识只有到用时方恨少，一个简...博文来自：空城天路客的博客

　　如何通俗理解EM算法前言 了解过EM算法的同学可能知道，EM算法是数据挖掘十大算法，可谓搞机器学习或数据挖掘的基本绕不开，但EM算法又像数据结构里的KMP算法，看似简单但又貌似不是一看就懂，想绕开却...博文来自：结构之法 算法之道

　　快过年了，回家了，发个非技术博客吧。最近被百家号恶心到不行，搜了下屏蔽方法，在家懒得翻墙用谷歌，又懒得装插件设置屏蔽，找到了一个简单有效的方法，直接在搜索内容后边加-(baijiahao)，效果还不错...博文来自：慢慢积累

　　之前blog内曾经介绍过SIFT特征匹配算法，特征点匹配和数据库查、图像检索本质上是同一个问题，都可以归结为一个通过距离函数在高维矢量之间进行相似性检索的问题，如何快速而准确地找到查询点的近邻，不少人...博文来自：工作笔记

　　来源：IT之家今天推出了一种新字体，即JetBrains Mono，它是专为开发人员设计的。Je......博文来自：chenssy的博客

　　今天不太想学习，炒个冷饭，讲讲机器学习十大算法里有名的EM算法，文章里面有些个人理解，如有错漏，还请读者不吝赐教。众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的...博文来自：weixin_34346099的博客

　　今天我们用EM算法对鸢尾花数据进行分类处理，EM算法的原理较为复杂，我会总结之后再发出来。我们先来实战看一下EM算法的强大之处。EM算法是无监督的分类，而我们的鸢尾花数据是已知类别的，所以我们在处理时...博文来自：逆光mlz

　　方法1写博客，每篇有效文章10分，不少的了。怎么写博客呢？当然得注册先了，点击这里免费注册CSDN账号，免注册码！方法2如果不想写字，那，就是下面这个地址，关注公众号就可以，获得下载码更快了。http...博文来自：大北京的博客

　　前言前两篇文章分析了websocket和socket.io，现在就剩下最后一个实时通信技术-eventsource。很多人也许好奇，有了websocket这种实时通信，为什么还需要eventsourc...博文来自：极客神殿

　　我们知道在机器学习中，很多时候问题都可以归结为一个最优化问题，而要解决这个最优化问题只需要求解出模型参数即可。大多数时候，只要给定数据可以直接用极大似然估计法估计模型参数。但是当模型里含有隐变量的时候...博文来自：陈志杰的专栏

　　点击蓝色“Creator星球游戏开发社区”关注我哟加个“星标”，一起快乐成长二哥，你好，我想知道一般程序猿都如何接私活，我也想接，能告诉我一些方法吗？上面是一个读者“烦不烦”问我的一个问题。其实不止是...博文来自：奎特尔星球

　　本文作者：王犇 滴滴 首席算法工程师导读：说到滴滴的派单算法，大家可能感觉到既神秘又好奇，从出租车扬召到司机在滴滴平台抢单最后到平台派单，大家今天的出行体验已经发生了翻天覆地的变化，面对着每天...博文来自：DiDi_Tech的博客

　　大学四年，看课本是不可能一直看课本的了，对于学习，特别是自学，善于搜索网上的一些资源来辅助，还是非常有必要的，下面我就把这几年私藏的各种资源，网站贡献出来给你们。主要有：电子书搜索、实用工具、在线视频...博文来自：帅地

　　m0_37656037：[reply][/reply]确实不对，z那个向量不是用来进行最大似然估计的，也就是说z所有的取值都要考虑，而不是只考虑概率最大的情况

　　explorer9607：[reply][/reply] 应该是陷入局部极值了吧，我看过几篇文章，提到过em算法会产生这个问题，这个还是和初值有关系

　　：还有就是随机选取PA和PB有什么限制？当我随机选取PA PB时，第一次迭代后PA = 0.6，PB = 0.33，而第二次迭代就和我刚才说的一样，值没有改变，根本无法收敛到真实值，是否你的数据存在问题？

　　：在开头的抛硬币例子中，迭代1次之后PA=0.33，PB=0.6，但是继续迭代后发现PA和PB的值始终无法更新，无法收敛到其真实值，你的这个例子是否存在问题？