六西格玛改进 DMAIC 分析阶段 学习笔记2 对比法核实根因

第一部分学习笔记: 六西格玛改进 DMAIC 分析阶段 学习笔记1, 核心是六字箴言(量化、层别、聚焦); 3.4和3.5合并起来,同样是六字箴言(对比、相关、回归)。

本文整理第二部分学习笔记,主要是“”3.4 运用对比法来核实根本原因“,后续单独整理”3.5 相关与回归“。

重读并整理完学习笔记,回头再简单整理核心观点如下。

Analysis是先用鱼骨图、5WHY、FMEA等筛选根原因,然后用“对比法”验证根原因。

比较法的精髓是“假设检验”,假设检验的精髓是“可证伪性”,通过证伪(推翻零假设)来获得可信的结论。

具体而言,先根据x和y的数据类型(连续、离散)细分具体的类型;重点关注连续性的Y,分别用Z检验、t检验或ANOVA(针对离散的x)和相关与回归(针对连续的y)。

假设检验,又可以分为p值和置信区间两种方法,本质一样。

比较难理解的是α和β的含义、β和抽样量的关系。

具体到工作中,我自己感觉很少有1-对-标准的情况,主要是“1-对-1比较”,以及“多样本比较”

1. 比较法

对比法的目的:验证问题的根本原因!(先筛选根原因,再用对比法验证根原因,核心思维是假设检验)

比较的三个要素:比较类型、比较参数、比较方向。

根据Y(离散 vs 连续)和X(离散 vs 连续)分成4种情况,对应4大类工具。

根据Y的类型(离散,连续)和比较类型(1-标准,1-1,多样本),又可以进一步分类如下。

不同的X和Y类型对应于不同的工具,最常用的,还是聚焦于“均值”和“方差”

根据比较类型分类:

  • 1-标准: 单样本t检验,置信区间法
  • 1-1:双样本t检验,F检验
  • 多重比较:ANOVA,卡方检验

根据比较参数分类:

  • 均值检验(单样本,双样本,Anova),除了特别说明,数据需要都来源于正态整体,少量抽样则用t分布
  • 方差检验(置信区间法,F-检验)

针对最常用的“连续型变量Y的比较”,流程如下:

2. 假设检验 hypothesis test

关键内容:零假设H0,备则假设H1或HA(要“证实”的假设),alpha风险,beta风险,检验功效,中心极限定理

比较法的核心思维是假设检验!

原假设(零假设):不存在差异的假设,或原始状态的假设。

P值是零假设发生的概率!

P<0.05,拒绝零假设,接受备则假设。 (p值很小时,零假设就得消失)

p>0.05, 无法拒绝零假设,此时要么接受备则假设(注意此时的beta风险),要么提高抽样量继续实验(提高抽样量,减少犯beta风险的概率)

推翻真假设时,只需要考虑alpha风险;如果要接受原假设,就必须同时考虑beta风险。

中心极限定理:样本平均值的标准差相对于总体标准差按(样本量n的根号)的比例缩小。

总体方差计算有限抽样量下的样本方差,或者反过来使用。

置信区间法需要使用中心极限定理。因为是从样本推测总体,就要把样本标准差,基于中心极限定理,计算出总体的标准差。

3. 假设检验的前提条件

独立性检验: 假设检验,还可以直接看“运行图”,直观判断数据和抽样顺序之间,是否有特定的规律。

正态性检验:H0是正态成立,p>0.05,H0无法拒绝,数据是正态分布的。

Box-Cox转换,将非正态的数据转换成正态数据。

4. 样本容量问题(beta风险,统计功效)

细节不展开了,直接去回顾蓝皮书。

最重要的是一点是,不能推翻原假设时,根据样本容量判断,是否可以接受原假设!

也就是蓝皮书上说的“推翻零假设是有说服力的,不能推翻是没有说服力的”。

5. 置信区间

假设检验有两种判定方法,一种是p值法,另一种就是置信区间法。两者本质是一样的,固定p值比如为0.05,计算出总体参数的置信区间,判断是否包含在该区间之中。

置信区间:这样一个估计的上下限,即在这上下限中我们有一定的百分比可以相信真值(总体均值或总体标准差)位于其中.

平均值的95%置信区间指的是:如果我们反复地从同一总体中抽取规模为n的样本,所构成的95%置信区间可能含有总体平均的真值。

假设检验与置信区间方法之间的区别:

  • 假设检验法:关注于某一抽样结果的异常程度。(换一个抽样结果,就要重新计算)
  • 置信区间法:关注于估算总体参数,并检验某一提出的标准是否包含在某区间之内。(置信区间适用于任何标准值

6. “1-对-标准”: 比较均值,Z检验,t检验;非参数检验(针对中位数)

Z检验:正态分布,已知标准的均值、标准差,确认样本均值是否属于总体;首先用中心极限定理,计算出样本均值对应的标准差,然后判定实际样本均值在新的正态分布中的p值。可以直接用minitab计算,也可以手动计算z值。

实际很少知道总体的标准差,数量不够,就用t检验。 t分布是Z分布的一个改进,考虑了样本数量对curve的影响(曲线更低胖,即肥尾)

单样本t检验:类似于单样本Z检验。

非参数检验,比较中位数,试用两种非参数检验:符号检验、Wicoxon秩检验,内容略,没复习。

7. “1-对-1”:比较平均值,双样本t检验,配对t检验

双样本t检验:已知两个样本的均值、标准差,判定两个样本的均值差异是否显著,这个工作中稍微常用一些。

核心方法是将1对1检验,转换成1对标准检验,利用两个样本的均值和标准差,计算出差值的均值和标准差,然后判定0是否落在置信区间中。 核心是如何计算样本差的标准差,蓝皮书有公式,直接用minitab更方便。

配对t检验:可以转化成“1-对-标准的t检验”,略。

1-对-1比较中位数,同样是非参数检验,略。

8. 方差对比:卡方分布,F检验

卡方分布:Z分布的变种,即方差的分布。

使用minitab的“basic statistic –> graphical summary”,可以快速计算出单样本的方差的置信区间,即“95% confidence interval for StDev”,从而进行“1-对-标准”的方差比较。

对于1对1的方差比较,使用F分布;零假设是“两个样本的方差相等”。

对应minitab工具:basic statistic –> 2 variances –> F test

9. 多重比较:ANOVA

使用ANOVA比较多样本的均值,零假设是“所有样本之间的均值都不显著”,备择假设:至少有两个样本之间的均值存在显著差异。(但是ANOVA本身不能告诉是具体哪两组有差异)。

多样本比较的一个关键点是总体alpha水平,如何定义,一般选择Turkey error rate为95%,即总体alpha风险为5%。

Minitab工具:ANOVA-one way

如何解释残差图:

多重比较:中位数,同样是非参数检验,略。

10. 属性数据的比较,Y为比例的检验,略

3.5 相关与回归,单独整理

2024-4-26 花了大约三天的实践,过完对比法内容。

2024-6-30 重读,发布