统计与判断 · 阅读札记

《统计学关我什么事》

店员怎样从顾客的一次询问更新判断?从这个问题出发,读懂先验、证据和后验之间的关系。

这篇导读依据原书重点章节、各讲小结和结语整理。

从一个人的行为,能知道多少

小岛宽之的《统计学关我什么事:生活中的极简统计学》,主要是一部贝叶斯入门书。它追问的是:看不到顾客的购买意图、别人的心意或事物的真实状态时,我们怎样借助可见的线索,调整对不可见之事的判断?全书先通过有限几种可能性教人更新概率,再把同一种操作扩展到连续的数值和概率分布。版本与目录

开篇的店员面对两类顾客:准备购物的人和随便逛逛的人。作者用教学假设设定:前者占20%,其中90%会询问;后者占80%,其中30%也会询问。顾客开口后,购买意图的概率便是:

20%×90% ÷(20%×90%+80%×30%)≈43%

询问确实支持“想买东西”,却还不足以排除“只是逛逛”。作者用长方形面积展示这个过程:先画出各类情况,观察发生后只保留符合观察的部分,再重新计算所占比例。面积图使读者看清,更新依赖原有比例,也依赖其他类别出现同一行为的可能性。第1讲

这个开头纠正了一个常见跳跃:“想买东西的人通常会问”,不能直接倒转成“问了就很可能想买”。第2讲用检测案例延续这一问题:即使检测很敏感,也必须同时考虑基础发生率和误报。书中数字是教学设定,不能直接用于现实诊断。第2讲

主观的起点,为什么仍然能够计算

第3讲把问题推进到你刚才的疑问:如果连最初的比例都不知道呢?

作者写的是一名男性收到女同事送来的情人节巧克力,想知道对方是否喜欢自己。他暂时把喜欢与不喜欢各设为50%。但接下来的数字没有全部凭空填写:作者介绍了一次委托杂志编辑进行的网络问卷,再把调查结果简化为“喜欢时送巧克力的概率40%,不喜欢时20%”。在这些设定下,收到巧克力后,喜欢的后验概率为2/3。作者也承认可以换一个先验,并让读者练习从40%起步的计算。第3讲

这时“概率”的含义发生了变化。对方的心意可能早已确定;不确定的是观察者知道多少。因此,数字可以表示观察者依据现有信息所持的确信程度。

但这里必须加入一层审视。以下是对这个例子的分析,并非作者另做的调查:仅仅存在两种答案,并不能推出各占50%。没有理由偏向哪一边,也未必意味着已经掌握了足以支持等概率的知识。

保留书中的条件概率,只改变起点,我们可以自行复算:

原先认为她喜欢的概率 收到巧克力后的概率
10% 约18%
50% 约67%
80% 约89%

三行使用了同一条证据,差异来自先验。更稳定的描述是:在这个模型中,收到巧克力让“喜欢与不喜欢的相对可能性”扩大为原来的两倍。它能告诉你该往哪个方向、按多大比例调整,但不能替你证明起点可靠。

同时,问卷描述的人群是否适用于这个人,也需要依据。她是否给所有同事都送了礼物、当地是否有普遍送礼的习惯,都会影响条件概率。公式的严密程度与模型是否贴近这个人,是两个需要分别检查的问题。

从一次判断,走向持续学习

书的中段比较假设检验与贝叶斯推理,随后用垃圾邮件说明多条线索如何共同发挥作用:已有的后验可以成为下一次更新的先验。后半部把“几个候选类别”扩展为连续的未知数,借助概率密度、期待值、贝塔分布和正态分布处理参数与测量的不确定性。结语回到作者对人的预期和决策的兴趣。两部分之间的联系,是把最初的分类更新扩展为更通用的推断工具。全书章节结构

原书用抽球展示修正的方向:A壶有一成黑球,B壶有八成,先验各半。抽到黑球后,B的概率为8/9;放回再抽,若仍为黑球,则升至64/65;若为白球,则降为64%。新信息可以增强,也可以削弱原判断。(原书第7、13讲)

这些方法还可以用我们自己的一个假想例子连接起来。假设你在估计某种产品的故障率,刚开始只认为它大概不高。第一批样本出现故障,判断应当上调;接下来许多样本正常,判断可能回落。这里不仅要保留“故障率大约多少”,还要保留“这个估计有多不确定”。

只写一个20%,会把“仅看过几个样本”和“已经观察过几千个样本”混在一起。概率分布可以区分这两种知识状态:它为不同的故障率分配不同权重。新数据改变整个分布,再由分布形成预测。

所谓“概率的概率”,也就不必觉得玄妙。一层是产品在给定故障率下是否故障;另一层是我们对这个故障率究竟是多少还没有把握。前者描述结果的不确定性,后者描述对参数的未知。第4讲已引入这一区分,后面的分布工具让它可以处理更多可能值。第4讲

在第21讲的水温例子中,先验中心为42℃、标准差为3℃;温度计读出40℃,其误差标准差为2℃。更新后的平均值约40.6℃。因为仪器在模型中更精确,结果更靠近读数。这把“相信谁更多”落实到了不确定性的比较。(原书第21讲)

还要注意,持续更新并不意味着越来越坚持最初的意见。第二批证据可能反对第一批证据,也可能暴露原先忽略的情况。甚至“更有把握”也未必等于“更正确”:如果把转述同一消息的多个来源误当成独立证据,便可能重复计算支持力度。

读这本书时,需要保留的判断

这本书的教学长处,是让读者亲手看见一次推断怎样形成。它把主观概率摆在明处,使你能检查结论依赖哪些设定。与此同时,作者为了入门而作的简化,需要与严格的统计解释区分开。

例如,不能把假设检验的5%显著水平,读成“当前结论有5%的概率是错的”。它控制的是:在原假设为真时,使用这套检验程序错误拒绝它的概率。没有拒绝原假设,也不等于证明它正确。因此,频率学派的程序风险与贝叶斯的后验概率,回答的是不同的问题。NIST统计检验说明

对于“主观概率为什么值得参考”,更进一步的答案还需要模型检查。可以检验先验会产生怎样的预测,再比较拟合后的模型能否重现数据的关键特征。如果预测出来的世界明显不合理,或者与实际观察系统性不符,就要修改模型。这些是补充的现代实践,并非凭一道算式就能完成。Stan预测检查文档

所以,当你看到一个精确的后验数字,可以追问:起点怎样设定,证据在其他解释下是否同样常见,以及更换合理设定后结论是否稳定。书中的更新方法提供计算骨架,这些追问决定它在眼前问题上能承受多大的信任。

读完后留下什么

从顾客的一次询问,到主观心意和未知参数的推断,这本书让“我觉得可能”逐渐变成可以交代依据、接受修正的判断。主观性没有因计算而消失,但原先隐藏在直觉里的起点和证据关系,被摆到了可以检查的位置。

← 返回文章归档