试验设计DoE的步骤

试验设计(DoE)的步骤体现了系统性的问题分析和解决方法论,并贯穿了六西格玛思维。通过DoE,我们能够有效地识别和解决问题,优化流程。有些教材将DoE简化为“计划-实施-分析”三个阶段,分别对应实验的前、中、后三个步骤:

  1. 计划试验:确定试验目的、问题定义、Y和X
  2. 实施试验
  3. 统计分析:使用方差分析(ANOVA)“找出最佳关键因子”,使用回归分析(regression)“设置取值”

《试验设计与分析》一书,将DoE具体分成如下图所示的七个步骤:

为了便于理解和掌握,我们可以将DoE的步骤视为六西格玛DMAIC步骤的微缩版:

  1. Define:定义阶段,问题的清晰描述
  2. Measure:测量阶段,定义和量化响应变量Y,以及响应变量的测量系统分析
  3. Analysis:分析阶段,明确要研究的因子x、水平及控制范围
  4. Improve:改进阶段,试验和统计分析,确定试验结论
  5. Control:控制阶段,保持实验结论,监控导致系统性偏差的特殊原因

我以最常见的七步法为例,简单介绍每个步骤
1. 问题的识别与表述万事开头难,第一步往往是最具挑战性的,也是许多项目失败的主要原因。首先,切忌目标定得太大,相比于执行一个大的综合性试验,不如拆解成一系列小的试验,序贯地进行试验。其次,强调团队协作,邀请所有相关方参与讨论,对于生产工艺问题,则特别是一线工人的参与。最后,要清晰地定义问题,而不是模糊笼统的描述。“把难题清清楚楚地写出来,便已经解决了一半”(A question well defined is a question half-solved),美国通用汽车公司管理顾问查尔斯·吉德林的这句话,最能体现这一步的重要性。
2. 响应变量的定义和量化第二步可以视为第一步的延续和细化,强调明确定义和量化响应变量y。首先,要明确用哪些指标,响应变量可以分为属性变量和连续变量,最好使用连续变量,这背后的核心是抽样量和测试精度的区别。如果是属性变量,要尽可能转换成连续变量,这就涉及到响应的测试方法和设备;如果Y是二值数据(例如通过/不通过)且无法转换成连续变量,能否转换成刻画更详细的属性变量,比如从1到10,1是最差,10是最佳。其次,要明确量化的精度,即测试系统的精度是否足够;关于“仪表性能(或测量误差)”的好坏,具体参考DMAIC第二步“测量系统的分析”,也就是五性一力(偏倚,重复性,再现性,稳定性,线性,分辨力);对于分辨力,有一条需要掌握的经验法则:如果一个量具的测量单位,最多只等于过程总变异六个西格玛范围的十分之一,它就是拥有足够的分辨力。有的指南规定4:1到6:1为适宜范围。[2] 在Design-expert中,需要试验者提前输入每个响应变量的signal和noise,软件会计算相应的power,然后告知试验者,当前的精度是否支足够后续的DoE试验。如果仪表精度无法改进,还有一种提高精度的方法,即通过多次重复测量取平均值减少测量误差,其原理是中心极限定理。> 许多DoE项目正是由于未精确的定义、量化或从头到尾的思考过而失败。[2]
3. 因子、水平和范围的选择在第三步,首先要梳理清楚,试验中涉及到哪些因子;因子可以分为潜在设计因子和讨厌因子,前者是实验者希望在实验中改变的因子,也是DoE的研究重点;后者是对试验有较大的影响但我们并不感兴趣的因子,比如材料。次、环境温湿度,我们可以通过区组化、随机化等方法进行控制。不论是选择研究哪些因子,还是设定因子的变化范围,都非常考验试验者(团队)的实践经验和专业知识(Knowhow)。从这个角度讲,虽然DoE是一种标准化方法,但同样需要很强的知识背景。要确定试验因子,需要团队做头脑风暴,进行流程或产品的剖析等,需要运用一些“线索生成工具”[2],比如“变异源分析”。
以上三步,合并成为“试验的计划阶段”,具体操作时,可以参考Design-Expert培训资料的表格,如下所示。

4.  实验设计的选择:完成了前面最重要且最困难的三步(计划试验或设计试验),第四步就相对容易了,特别是借助专业的DoE软件。试验选择,要基于试验的目标,比如筛选试验、优化试验、还是响应曲面分析等。更重要的是,实验是迭代式地(Iterative)逐步深化的,有可能试验之后需要调整试验目标,或调整因子水平。另外一个注意事项是,试验设计是否遵循DoE的三大原则(重复、区组化、随机),以及如何灵活使用这些原则减少试验次数,提高试验精度。如果遇到特殊的情况,比如一天最多可以处理3个试验单元,但我们有5个处理;此时就要考虑更特殊的试验设计,或者从前三步入手将试验改成更基础的试验设计。
5.  进行实验动手操作时,要胆大心细,时刻思考可能的试验误差来源(统计思维),操作是否违背DoE的三大原则,是否有影响试验误差的重要因子未被识别和控制等。在这一步,做少数试验或尝试性试验通常是有帮助的。这也精益中的Gemba的体现——现场观察,初步试验,之后在进行正式的DoE。
6.  数据的统计分析在这一步,首先是理解相关统计工具的原理,DoE最核心的两个统计分析工具,一是方差分析(ANOVA),帮助“找出最佳关键因子”;二是回归分析(regression),帮助设置和优化取值。其次是学会阅读和理解分析结果,比如因子的显著性、模型的显著性等,具体分析过程则交给专业DoE软件。
7.  结论和建议,验证试验统计结果是客观的,需要结合团队的实践经验和专业知识,得出正确的结论。如果结果表明,AB之间存在非常显著的交互作用,我们就要尝试从机理上去解释,并做试验去验证相应结论,进而应用到后续的试验中。只有这样,DoE的结论才能转换成知识,进而运用于更广泛的试验中。


最后,引用书中的一段话来,以强调DoE背后的探索学习、假设思维、迭代与序贯。> 通贯整个过程,要牢记实验是学习过程的一个重要部分,在学习过程中,我们暂时提出了关于系统的假设,进行实验来研究这些假设,根据实验的结果再提出新的假设,如此等等。这表明,实验是迭代式地(Iterative)逐步深化的。通常一种错误的做法,是在研究一开始,就去设计一个单一、庞大和内容广泛的实验。一个成功的实验需要先弄清其中的重要因子,这些因子可能变化的整个范围,使用合适的水平个数,以及度量这些变量的合适单位。一般说来,我们不可能完全知道这些问题的答案,但是,当我们不断实验下去就会获得对于它们的更多认识。随着实验的进展,我们经常会抛弃一些输入变量,而加进一些其他变量,改变某些因子的研究范围,或者加进新的响应变量。因此,我们通常序贯地(Sequentially)进行试验。作为一般法则,在第一次试验中,投入的可用资源不要超过约25%。这样可以确保有足够的资源用来进行确认试验并最终完成实验的最后目的。[1]
参考资料:
[1] 《试验设计与分析》[2] 《世界级质量管理工具》[3] 《试验设计》