《统计学的世界》第1部分 产生数据 读书笔记 1/2

先读了这本书最重要也是最难的后面两章,重读前面章节,就觉得简单无比,所以读书笔记只写几个要点,简单从klib复制关键摘抄。

本书的第一部分将会告诉你怎样分辨数据的好坏。

统计学是关于数据的学问。
统计学通过数据获取真知灼见并且得出结论,所用的工具是图表和计算。
比较一下两则报道产生的影响:一则是有关历时5年、花费500万美元的调查研究的电视新闻报道,另一则是对一位能说会道的母亲的电视采访,她患有白血病的孩子恰好住在高压电缆附近。在公众心目中,几乎每次都是逸闻胜出。但事实上,我们应该心存疑问,因为数据要比逸闻更可靠,数据可以系统地描绘出整体图景,而不是聚焦于个别事件。
一句,“数据胜过自封的专家。”
“没有比较,就没有结论”,这是判断医学研究好坏的一个很好的依据。

统计的关键是抽样,抽样的核心是随机;分析的本质是比较;具体的统计方法论则是显著性检验。

当有人向你抛来一个数字时,你应该问的第一个问题就是:它来自何处?【数据的来源】
对于任何一个样本,我们要问的第一个问题就是:样本是不是随机抽取的?【抽样过程是否科学,是否具有代表性】

第一章 数据从哪里来

关键词: 变量,变量类型:数值变量,类型变量:数据两种收集方式:观察,实验;
本章提到了数据的两种收集方式,一是抽样,对应于第234这三章,介绍抽样调查的一些基本知识:二是实验,对应于第56这两章。
变量分为两种,一是数值变量,即连续的变化数值,比如身高比如成绩;二是类型变量,即不连续的选择结果,比如是否好坏。

当有人向你抛来一个数字时,你应该问的第一个问题就是:它来自何处?

尽管统计学是和数字打交道,但并非所有的变量都要用数字表示。有些变量代表的是“类别”,只需将个体归入不同的组别或种类即可。在这个例子的三个变量中,只有总分数是用数值表示的,专业和等级都是类别变量。统计类别变量时,我们采用的是计数或者百分比的方式。例如,我们可以给出得到等级A的学生的百分比,或者给出主修心理学的学生的百分比。

抽样调查 有句谚语说:“你不必吃完整头牛,就能知道肉老。”这就是抽样调查的精髓,即通过一部分获知全体的情况。“抽样调查”(sample survey)是一种很重要的观察研究方法。他们只研究目标对象中的一部分人,选中这些人并不是因为实验人员对他们特别感兴趣,而是因为他们具有代表性。

总体(population),样本(sample)

从第2章到第4章,我们将专门讨论抽样调查这门艺术和科学。抽取样本的目的,是为了了解总体的真实情况,而且在搜集信息时应尽量避免受到干扰。
在第5章和第6章中,我们将会说明怎样设计好的实验,在第7章中我们将会讨论相关的伦理问题。

第2章 好样本和坏样本

关键词:样本vs总体,抽样,简单随机抽样,有偏样本,随机数

第一章介绍最基本的统计概念:数据变量,两种数据收集渠道

核心关键词:随机!

拿到一组统计数据,第一个问题是,数据是怎么得来的?
样本需要反映整体,就需要确保抽样过程足够随机。
避免有偏样本,比如电话调查时只询问了有电话的人群,比如收信调查只收到了愿意发回信件的人的信息等等。
随机调查的核心是确保“随机性”,可以使用计算机的随机数,或者打印出来的随机表。
关于随机抽样方法,在本书第三部分第19章“统计模拟”中有更具体的实验设计方法 一般是分为两步.第一步是给总体进行数字编号,比如教师的100名学生从00编号到99;第二步是使用随机数来随机抽取指定数量的样本。

举例:

  • “大家去投票”,商店结账时使用棉糖进行模拟总统投票,为什么结果和实际投票结果不相符

有偏抽样法:如果调查问题的设计使得结果总是往某个方向偏,我们就称这个设计是“有偏的”(biased)….总之,写信回应和电话回应的调查方法,几乎一定会得到有偏的结果。
简单随机抽样只需要两个步骤。
第一步:标签。为总体中的每个个体分配一个数字标签。如果你打算使用随机数字表,那么请确保所有的标签都是同样位数的数字。 第二步:软件或表。使用电脑软件或随机数字表,随机选择样本。[本书后面部分“统计模拟”有详细介绍】
对于任何一个样本,我们要问的第一个问题就是:样本是不是随机抽取的?

第3章

关键词:偏差,置信度,置信区间,误差范围
本章强调的是,对于简单随机抽样,如果重复抽样,结果落在什么区间中。
随机抽样消除偏差,而多次重复抽样则减少变异性。
简单抽样的抽样量大小,影响误差范围的大小。
备注:随机抽样可以减少工作量,但是万一有严重偏离平均值的数值,就会导致样本代表线变差;所以通过多次重复抽样,抵消变异数值的影响,多次重复抽样,不断缩小样本代表整体的区间。

在本章中,我们更详细地探讨了如何通过样本信息获得总体的信息。关键在于如果我们从同一个总体中取出多个样本,会发生什么情况。
随机样本的第一大优点是,随机抽样可以消除偏差。它的第二大优点是,如果我们从同一个总体中重复抽取多个大小一样的随机样本,所有样本统计量的变异情况就会呈现遵循某种可预测的形态(pattern)。
如何处理偏差与变异性? (1)减小偏差:用随机抽样的方法即可。先将总体找出来,再从中抽取简单随机样本,就会得到无偏估计值(unbiased estimate)。也就是说,用简单随机样本的统计量来估计总体的参数值,既不会总是高估,也不会总是低估。 (2)减小变异性:用大一点儿的样本即可。只要样本足够大,变异性就会很小。
首先,要减少偏差,使用随机抽样的方法;其次,抽取的样本数量要足够大,才能减小统计量的变异性。
【【上面这三段,说的是一个事情。抽样的目的,重复抽样的目的】】

20200223备注:对于抽样调查的结果是否反映真值,答案是置信度、置信区间、标准误差。
标准误差的计算公式从略,根据真值、样本量来计算,样本量越大,标准误差越小。
其次考虑可以接受的置信度,然后根据平均值和标准误差,给出该置信度下的置信区间。
最典型的是68%,95%和99.7%,分别对应平均值两侧各1,2,3个标准误差范围,这就是置信区间。

第4章 真实世界的抽样调查

关键词:误差类型,随机抽样误差,无回应等误差,语言措辞, 概率样本
上一章介绍了误差范围,强调我们的给出的是不同置信度比如95%的置信区间,因为还有其他的误差难以控制。
误差范围包含了随机抽样误差,但是不包含很多其他误差,比如无回应,比如语言表述产生的引导性等。

误差范围中不包含什么? 一项抽样调查中所公布的误差范围,只包括随机抽样误差。涵盖不全、无回应以及其他问题也会造成大偏差,但是误差范围中并不包含这些问题。
影响抽样调查结果的因素还有问题的措辞。想把问题完全表述清楚,难度出乎意料。
所有好的样本都是“概率样本”(probability sample)。
在这一章,我们知道了即便选取一个随机样本,我们的结论也会因为涵盖不全、处理误差、回应误差、无回应和问题的措辞而变得不准确。

第5章 好实验和坏实验

关键词:对比,随机对照实验(randomized comparative experiment),实验vs观察,单轨实验vs双盲实验(double blind experiment),实验组vs控制组(control group),统计实验设计的原则

数据来自两个渠道:观察研究和实验。观察研究适合在无干扰的情况下描述某个群体或状况并得出结论。抽样调查是一种观察研究,我们通过观察总体的一部分(样本),得出有关总体的结论。实验适用于判断一种处理是否会产生不同的反应。
观察研究是一种被动的数据搜集方式,实验人员只观察、记录或度量,但不进行干扰。而实验是一种能主动生产数据的方式,实验人员会把某种处理方式加诸实验对象,并观察实验对象有何反应。所有的实验和许多观察研究,其目的都是研究一个变量会对另一个变量产生何种影响。

5.1好的实验设计 【最直接实用的部分】

核心:分析的本质是比较;随机分配排除潜在变量的干扰,尽量大的实验样本

备注:尽量大的样本量,和上面所说的多次重复抽样,都是降低变异性,本质是一样的。

好的实验设计的几个原则:对比,随机,尽可能多的样本

  • 要进行对比,而不是只进行一个实验,需要设置“控制组”和“实验组”,对比实验可以排除其他的干扰影响因素,一个典型就是“双盲实验”,避免避免安慰剂效应,不能只观察给病人吃药看治疗效果。
  • 比较两个或多个控制方法的影响,同时增加一个空白的对照组
  • 随机化:如果有多个样品,就要进行随机分配到不同的组中,而不能手动筛选,比如研究治疗方法时,把病情最终的病人分到实验组中,这是不合适的。 随机可以降低潜在变量的影响
  • 实验样本要尽可能多,以降低试验结果的机会变异性(chance variation),比如恰好把病重的病人选在一组中。 样本数量影响显著性水平,足够多的样本有更小的标准差,更容易判断有差异的结果是否来自随机性。(显著性检验和p值的概念)

随机比较实验是统计学中最重要的概念之一,它的设计旨在让我们能够得到关于明确的因果关系的结论。
在随机比较实验的设计中,我们努力使这些潜在变量对于所有组的作用都是相似的。【尽可能避免潜在变量的影响】

实验对象较多,实验组的“机会变异性”(chance variation)就比较小,实验结果的机会变异性也会比较小。“用足够多的实验对象”、“同时比较多种处理方式”、“随机化”,同为统计实验设计的基本原则。
统计实验设计的原则 统计实验设计的基本原则如下:
• 要控制潜在变量对反应变量的影响,最简单的方法就是同时比较至少两种处理方式。
• 随机化:用随机抽样的方法把实验对象分配成不同的组。
• 每组的实验对象要足够多,以降低实验结果的机会变异性。

“分析的本质是比较”,类似的实验设计在我的工作研究中经常用到,所以这是最基本但也最重要的实验方法论,这样才能获得准确的实验结论。比如要研究膨润土添加到洗发水中的控油功效,不能直接把含有膨润土的洗发水提供给客户测试,而是要同时提供不含膨润土的空白组,其次是要进行盲测,而不能提前告知测试者哪一个样品是含有膨润土添加剂的。 如果只提供一个样品,或者提前告知哪个是实验组,这就不是好的实验设计。
如果实验中设计抽样调查,就需要同时注意这儿提到的“随机抽样,增加样本量”这两个前提,这就是科学的实验设计方法。
以后单独写篇文章再强化理解

5.2好的观察研究是什么?

很多时候,我们无法使用实验设计分析一些因果问题(cause-and-effect question),比如研究打电话知否增加车祸事故,比如很多临床结论都是通过观察统计而来,因为涉及伦理等无法进行对比实验。
此时就需要使用比“实验设计”差一些的“观察研究”。
观察研究的核心依然是比较! 虽然无法设计,可以尽可能的比较和配对(matching), 关键是如何避免干扰因素,比如筛选年龄、抽烟习惯等相同的人,但是经常无法避免,所以要注意。

首先,好的研究不管是不是实验,都一定要是对比研究。

我们可以同时运用比较和“配对”(matching)的方法来建立一个控制组。

好的比较研究,必须能够测量和调整那些“交叉干扰变量”(confounding variable)的影响。如果我们测量体重、抽烟习惯、运动习惯,就可以用统计技巧来减少这些变量对人的寿命的影响,而只剩下宗教信仰的影响。

2019-04-10 地铁 第一章读书笔记done
2019-04-18 地铁 第五章 done
2019-04-21 晚上,从Klib摘抄kindle中的highlight,发表
2020-02-23 家,重读读书笔记,使用< font color=red>red标记红色(font前去掉空格),并补充新备注。 实验设计是工作中非常重要的基本功,以后收集几个实验写篇文章。