概率阅读主题总结已经发表了四篇文章,其中第四篇是针对贝叶斯推理。介绍什么是贝叶斯推理,贝叶斯推理和统计推断的区别,并举了一个例子(前方的穿长裤同学是男生的概率)。
最近快读完了《统计学关我什么事》,这本书第一部分介绍了几个贝叶斯的案例,以及如何使用面积法进行推理计算,面积法是一种非常直观、可视化的贝叶斯计算方法,远比死记硬背和套用公式更有意义; 第一部分后半部分再次对比了贝叶斯同理和统计推断两种推断方法的差异,并使用“摸红球”为例进行了分析。
这篇博文记录我对贝叶斯推理的几个总结,一是为什么贝叶斯很重要,二是进一步汇总书中和文章中的贝叶斯推理案例,这儿暂时不展开说具体每个案例的计算过程。
为什么贝叶斯推理很重要?
最初英国牧师贝叶斯提出的方法,沉浸很多年,之后经过法国数学家拉普拉斯(Laplace)等人的发展,贝叶斯推理变成了一种有用的思考工具。
贝叶斯推理的核心是,对一个初始的先验概率或基础概率,利用新的信息不断更新后验概率。
生活中处处都是贝叶斯推理,只不过我们都没有意识到这一点。
Knowing the exact math of probability calculations is not the key to understanding Bayesian thinking. More critical is your ability and desire to assign probabilities of truth and accuracy to anything you think you know, and then being willing to update those probabilities when new information comes in.
贝叶斯推理是一种思维方式,是观察世界运行方式的放大镜。
Bayes’ theorem is an accessible way of integrating probability thinking into our lives.
贝叶斯概率思维是我们的大脑缺失的一种心智程序(思维模式)。比如我们经常忽略先验概率,这也是经典的重病假阳性事件的原因,容易被眼前的信息蒙蔽的原因。
第10章 心智程序缺陷。作者指出,在概率论思维和科学思维两个领域,大脑缺少两种重要心智程序,一是贝叶斯概率思维,二是可证伪性思维(反向思维)。
另外《思考,快与慢》书中强调概率思维会受到思维定势和问题表达方式不同的影响,从贝叶斯推理的角度看,就是说思维定势会影响人们对基础概率的判断。
贝叶斯推理的教材案例
还有几个其他的例子,比如Facebook筛选恐怖分子,最终的筛选结果大多数是普通人而非恐怖分子。
举例1:贝叶斯推理的黄金案例——医疗诊断事件
99%准确性的检测方法是否能断定一个人肯定得病(而不是假阳性),这是“贝叶斯推理”的经典案例,在《魔鬼数学》第二部份有详细的分析,
罕见疾病筛选的问题,化验误诊率很高而疾病发病率很低(基础概率)。
本质上,对于本身发生概率很低的事件,使用精确度不够高的方法(99.9999%看似很高,但关键还要看数量),结果都会出现很多的假阳性的干扰,导致结果错误,就像很多正常人被检测患有罕见病一样。 【商业性和盈利医院是否利用了假阳性的问题??!】
那那应该怎么做?
Imagine you live in a country with 100 million women under 40. Past trends have revealed that there is a 1.4% chance of a woman under 40 in this country getting breast cancer—so roughly 1.4 million women.
Mammograms will detect breast cancer 75% of the time. They will give out false positives—say a woman has breast cancer when she actually doesn’t—about 10% of the time. At first, you might focus just on the mammogram numbers and think that 75% success rate means that a positive is bad news. Let’s do the math.
If all the women under 40 get mammograms, then the false positive rate will give 10 million women under 40 the news that they have breast cancer. But because you know the first statistic, that only 1.4 women under 40 actually get breast cancer, you know that 8.6 million of the women who tested positive are not actually going to have breast cancer!
That’s a lot of needless worrying, which leads to a lot of needless medical care. In order to remedy this poor understanding and make better decisions about using mammograms, we absolutely must consider prior knowledge when we look at the results, and try to update our beliefs with that knowledge in mind.
举例2: 红色出租车和蓝色出租车的例子,来自《思考,快与慢》第16章
一辆出租车在夜晚肇事后逃逸,(1)这个城市中85%出租车是绿色的,15%是蓝色的;(2)目击证人辨认出那辆肇事出租车是蓝色的,但是目击者正确辨认的概率是80%。问:这场事故中的出租车是蓝色的而不是绿色的概率是多少?
可以将条件(1)换一个表达方式,以提示基础概率的存在:蓝色和绿色出租车数量相同,但是在出租车造成的事故中,绿色占85%
答案:P/(1-P)=0.15/0.85*0.8/0.2,P=0.41
举例3. 检测员工吸毒
维基百科上的另外一个例子:公司检查员工吸毒概率。 吸毒员工的占比很来就很少,检测工具又不能达到100%准确,这就有导致大量的”假阳性“。 这和上面的罕见疾病筛选是一个道理。
举例4:真硬币和老千硬币, 红球与篮球
来自《看穿一切的统计学》的例子
掷骰子或硬币问题。有一枚硬币,可能是“真正的硬币”,也可能是“老千硬币”,前者的正面概率(长期概率)是50%,后者是80%。 现在连续十次都是正面,问这枚硬币是真正的硬币还是老千硬币?
这个问题既可以用统计推断来分析,又可以用贝叶斯推理来分析。
《统计学关我什么事》中提到一个红球和篮球的例子,和这儿的硬币是一样的。 A壶中有9个红球1个蓝球,B壶中有7个红球3个蓝球。 从未知的一个壶中摸出一个球是蓝色的,请问这个壶是A还是B? 这本书也用统计推断和贝叶斯推断两种方法,具体暂且不说。
举例5:恐怖分子筛选。
在《魔鬼数学》中提到了这个例子,facebook是否可以预测谁是恐怖分子?
facebook根据用户的真实姓名、地址、聊天记录等,建立每个人的档案,然后通过数学知识进行分析,通过分析关键词、更新时间等,对每个用户进行打分,然后评估用户是恐怖分子的概率。假设facebook从两亿用户中筛选出了一个十万名潜在的恐怖分子名单,该名单上的用户是恐怖分子的概率是普通用户的两倍。
假如你发现你的邻居在这个名单中,请问你是否应该报警或者平时保持警惕?
这个问题又是和前面的假阳性事件是一样的,关键是基础概率——恐怖分子占人群的百分比极低,导致Facebook筛选得到的后验概率准确性极差,Facebook筛选出的名单中的恐怖分子,并不会比漏网的恐怖分子多。
举例5: 根据衣服判断男女(wikipedia和《暗时间》)
一所学校里面有 60% 的男生,40% 的女生。男生总是穿长裤,女生则一半穿长裤一半穿裙子。有了这些信息之后我们可以容易地计算“随机选取一个学生,他(她)穿长裤的概率和穿裙子的概率是多大”,这个就是前面说的“正向概率”的计算。然而,假设你走在校园中,迎面走来一个穿长裤的学生(很不幸的是你高度近似,你只看得见他(她)穿的是否长裤,而无法确定他(她)的性别),你能够推断出他(她)是男生的概率是多大吗?
这个在统计主题阅读4:两种推理方法之二——贝叶斯推理-1有更细致的介绍。
留下一个重要的问题:如何使用《统计学关我什么事》中的面积法,分析上面的几个案例。
- 2019年4月27日 更新说明和参考文章,组织逻辑。
- 2019.9.22 更新发布,英文摘抄的参考文献,见”统计主题阅读4“的文献列表。