塔荐 | 当我们在谈论准确率99%的时候,我们在谈论什么?

摘要: 医院中,某个患者进行了一个准确率99%的检查呈阳性,那他的真实患病几率是有多少呢?本文将借助借助贝叶斯公式,给您一个大跌眼镜的结果……

12-12 18:38 首页 灯塔大数据

导读:医院中,某个患者进行了一个准确率99%的检查呈阳性,那他的真实患病几率是有多少呢?本文将借助借助贝叶斯公式,给您一个大跌眼镜的结果……

医院里医生对病人说:“这个检查你是阳性,有患病的风险啊~”

病人说:“都是阳性了,为啥还只是有风险很大?”

医生说:“因为这个检查准确率并不是100%啊~还需要再查查~别担心~~~“

病人说:”嗨~那敢情好啊~不过一般来说这个检查准确性有多高啊?“

医生:”99%”

病人吐血


看了上述对话,你会不会想到在医院的很多情景,自己感觉一些99%没跑儿的事儿,被医生们各种反转,以及医生们的各种为了“推脱责任”而“夸大其词”等等。但是种种这些真的只是医生们上下嘴皮子一碰的事情吗?


在这里先给出结论,对于上述情景,虽然检查的准确率有99%,而且病人查出了阳性,但是病人实际患病的几率只有0.9804%。


0.9804%,惊不惊喜?意不意外?


那你一定会问,那就是有什么其它的背景没有交代。确实,有部分背景没有交代,所有的背景如下:

●  该疾病的发病率是0.0001,及10000个人里有1个患该病

●  检查的准确率99%,既患者得病的情况下99%的概率呈阳性

●  误报率1%,既患者没有该疾病的情况下有1%的概率呈阳性


乍看起来数据貌似也很正常,那问题究竟出在了哪里呢?


下面的分析过程涉及了恼人的公式推导,对于没有兴趣的读者可以直接跳过分析过程,直接看分析结论。

分析过程

在分析之前,先让我们引出大名鼎鼎的贝叶斯公式

部分读者一定已经晕了,这是什么鬼?

其实这个公式的含义和推导特别简单

通过上图,可以简单地得到:


P(A∩B)=P(B)P(A|B)=P(A)P(B|A)


其中P(A∩B)指A事件和B事件同时发生的概率,P(A)和P(B)分别代表事件A和事件B发生的概率,P(A|B)指事件B发生后A事件发生的概率,P(B|A) 指事件A发生后B事件发生的概率,P(B)P(A|B)就是“发生B事件的概率”乘以“B事件后再发生A事件的概率”。

简单变形即可得到贝叶斯公式:


看了上面几行字,各位应该已经对贝叶斯公式的含义已经基本了解。


那么让我们回到刚才的案例,其实在查出阳性只是分析中的一个事件,而我们真正想知道的事患者有没有患病,也就是患者查出阳性后的患病概率。套用上述公式,事件A就是患者患病,事件B就是患者查出阳性。

所以,我们更应该关注的事P(A|B)即查出阳性后得病的概率。在案例中,公式中其他部分分别含义如下:


●  P(B|A)是得病患者能被查出阳性的概率,既99%;

●  P(A)是患者得病的概率,既0.0001;

●  P(B)是患者检查出阳性的概率,包括两部分,既患者●  查出阳性和未患病查出阳性,写成公式就是P(B|A)P(A)+P(B|A’)P(A’),其中A’代表未患病;

分析结论

在本案例中,查出阳性,病人患病的概率是0.9804%。

那么问题来了,明明是准确率99%的检查,为什么即使是阳性,患病概率也才0.9804%?答案就在于对于查出患者阳性时,还包含着未患病但也被查出阳性,即前文并不很显眼的误报率。从公式中看误报率导致了分母的增大。当误报率为0时,P(A|B)=1,既只要查出阳性,患者一定是患病患者。


那么问题又来了,这种检查准确率99%的方法岂不没有实际作用了?


解决办法其实很简单,重新再做一次这个测试,如果依然查出是阳性,患者的患病概率将是96.17%。


在生活中,经常会听到90%都没问题,99%都靠谱儿等等说法。但是通过上文的分析,我们可以了解到简单的概率在复杂的现实场景面前通常只是一个美丽的数字陷阱。想要通过概率对真实场景进行模拟,需要全面的考虑事件的因果逻辑,并引用适当的数学模型进行模拟。


同时,本文引入了伟大的贝叶斯公式,通过贝叶斯公式,可以很好地将现实世界模拟成概率事件。同时,贝叶斯相关的方法很丰富,包括朴素贝叶斯分类器、贝叶斯网络等等,广泛应用在垃圾邮件识别、文本挖掘、医疗、工业等等各种场景。有机会再与大家分享~


注:本文只是为了说明表面的概率在实际场景中的颠覆性的结果,所以公式推导没有十分严格的前提假设。

文章来源:KPMG大数据挖掘

文章编辑:秦革

【灯塔大数据】微信公众号介绍:中国电信北京研究院通过整合电信自有数据、互联网数据和线下数据,创建了业内领先的“灯塔”大数据行业应用平台,致力于与行业合作伙伴共同打造大数据行业应用生态圈。


微信公众号【灯塔大数据】关键字信息:


【人工智能】获取人工智能时代的发展思考 ppt


【半月刊】下载大数据瞭望半月刊


【网络安全】获取国民网络安全报告全文


【23个理由】下载《大数据让你兴奋的23个理由》电子书


【思维导图】下载12种工具的获取方式


【 灯塔 】 查看更多关键字回复

点击

阅读原文

了解更多详情


首页 - 灯塔大数据 的更多文章: