马红亮的帖子

理论原理

一、实验设计中常用术语

1. 因素、因素水平。实验研究中的自变量也称因素；因素水平是指因素的不同取值与类型。如一项两因素实验设计，有A和B两个因素，A因素有a₁和a₂两个水平；B因素有b₁和b₂两个水平，这是就有四个因素水平的结合。（杜晓新,2013:7）

2. 被试间变量与被试内变量。自变量可分为被试间变量与被试内变量。在完全随机实验设计中，自变量是被试间变量，每个被试只接受一次因素的一个水平或一次因素水平结合的实验处理。在重复测量的实验设计中，自变量是被试内变量，每个被试必须接受因素所有水平或所有因素水平的实验处理。（杜晓新,2013:7）

3. 主效应与交互效应。实验中一个因素的不同水平所引起的变异称为该因素的主效应。它是通过忽略实验中其他因素不同水平引起的变异，而仅单纯计算某一个因素引起的效应而得到的。在多因素实验设计中，有几个因素就有几个主效应。在多因素实验设计中，自变量之间往往互相影响，共同对因变量产生作用。当一个因素的不同水平在另一个因素的不同水平变化趋势不一致是，称这两个因素之间有交互效应。（杜晓新,2013:7-8）

4. 简单效应。一个因素的各水平在另一个因素的某个水平的变异叫简单效应。如在“学习能力与教学方法对学生学习成绩影响”的实验研究中，如果学习能力(A)和教学方法（B）有交互效应，则还需要进行简单效应的检验。（杜晓新,2013:8-9）

二、实验设计的类型

可以从不同的维度对实验进行分类。从被试分组的数量看，可分为单组实验设计、双组实验设计及多组实验设计。从实验中包含的因素数量看，可分为单因素实验设计与多因素实验设计。从自变量的性质看，可分为被试间设计、被试内设计（重复测量实验设计）与混合实验设计。从实验中的因变量数量来看，可分为单因变量与多因变量的实验设计。（杜晓新,2013:9-10）

实验（真实验）要求从总体中随机抽取被试，并随机分配到实验组和控制组，因此，两组在理论上是同质的。实验设计模式有：等组后测设计、等组前后测设计、所罗门三组设计、所罗门四组设计。（辛自强,2018: 133-134）

参考文献

杜晓新. 心理与教育研究中实验设计与SPSS数据处理[M]. 北京: 北京大学出版社，2013.
辛自强. 心理学研究方法（第2版）[M]. 北京：北京师范大学出版社，2018。

在场景中看此帖

一、等组后测单因素实验设计

Qin, C., et al. (2023) . Scratch versus LEGO robots: Which engages undergraduates more in programming education? Journal of Computer Assisted Learning, 39(3), 935-953. https://doi.org/10.1111/jcal.12778 （在28名大学生中进行实验干预，按奇数和偶数随机分成两组，每组14人。之后进行不同序列的编程教学干预。在为期14周的干预后，进行学习投入和心流体验的测量。同时对28名被试进行3次半结构化的焦点小组访谈。对量化数据分别采用Mann–Whitney U 检验和Wilcoxon signed-rank检验）
Cheng, G., Zou, D., Xie, H., & Wang, F. L. (2023). Exploring differences in self-regulated learning strategy use between high-and low-performing students in introductory programming: An analysis of eye-tracking and retrospective think-aloud data from program comprehension. Computers & Education, 104948. https://doi.org/10.1016/j.compedu.2023.104948（使用非参数Mann-Whitney U检验比较特定兴趣上高、低水平学习者的注视次数和平均注视时间的差异，进而评估这两组学习者在程序理解任务中对各个区域的视觉注意程度。并将学习者的一系列眼动数据通过算法转化为区域视觉转换和趋势扫描路径的可视化图示结果，再将进一步的区域转换模式与学习者的自我调节策略相对应，分析高、低水平的学生在程序理解任务中对自我调节策略使用的差异。）

二、等组前后测单因素实验设计

Elkomy,M. M.,& Elkhaial,N.H. (2022). The lesson study approach to professional development: Promoting teachers' peer mentoring and communities of practice and students'learning in Egypt. Teaching and Teacher Education,109. （将21名幼儿园教师随机分为实验组和对照组，进行专业发展干预，对21名教师在同伴指导和实践共同体的感知方面进行前后测，前测数据没有显著性差异，并用Wilcoxon signed-rank test对实验组分别检验了在同伴指导和实践共同体的感知方面的前后测差异）

在场景中看此帖

一、理论原理

方差分析分单因素方差分析（One-way ANOVA）、多因素方差分析（Factorial ANOVA）、协方差分析（ANCOVA）、多重因变量方差分析（MANOVA）。常用于单因素实验设计、两因素实验设计、三因素实验设计、多元方差分析实验设计的数据处理。

（一）方差分析的概念

如果类别变量的内容超过两种水平，统计检验的总体超过两个，此时一次只能比较两个平均数的Z检验或t检验即不适用，而需要一种能同时对两个以上的样本平均数差异进行检验的方法，称为方差分析（analysis of variance），简称ANOVA. 【1】

Z检验和t检验虽可以比较两个平均数的差异，但是无法处理三个或三个以上平均数的比较。当我们有三个以上的平均数需要比较时，可计算这些平均数的方差，然后利用F检验来验证该“平均数的方差”的统计显著性，此即方差分析。

在单因素实验设计中，如果自变量有两个水平，即实验中有两组被试，则F检验与两组Z检验和t检验等效。换句话说，两个独立样本差异的显著性水平可以看作是因素完全随机实验设计的特例。【4】

1. 单因素方差分析（one-way ANOVA）

当研究者所使用的自变量只有一个时，称为单因素方差分析，研究者所关心的是一个自变量对于因变量平均数的影响。单因素方差分析分为独立样本（如三组不同运动量-轻/中/高-对睡眠时间的影响）的方差分析，以及相关或配对样本（同一组不同阶段运动量对睡眠时间的影响）的方差分析。【1】

独立样本设计，1个自变量，One-way ANOVA
相关样本设计，1个自变量，One-way ANOVA（配对样本或重复测量设计）
相关样本设计，1个自变量（具有顺序或时间性），Trend（趋势分析：探讨平均数的变动趋势）

2. 多因素方差分析（factorial analysis of variance）

如果研究者想同时考虑多个类别变量（多个自变量），同时检测多个平均数的差异，此时即需要使用多因素方差分析。教育现象的发生或变化都是由多因素共同作用的结果。多因素方差分析，不仅可以检验各个因素对因变量作用的显著性，而且还可以检验因素与因素间共同结合对因变量发生交互作用的显著性。如一个实验有A、B两个因素，A因素有a₁和a₂两种水平，B因素有b₁和b₂两种水平，双因素方差分析可以检验A因素、B因素以及A与B因素交互作用对实验结果影响的显著性。[2]

完全独立样本设计，2个自变量独立，two-way ANOVA
完全相关样本设计，2个自变量相关，two-way ANOVA
相关与独立样本混合设计，1个自变量独立、1个自变量相关，two-way ANOVA mixed desgin（配对样本或重复测量设计）

3. 协方差分析（analysis of covariance，ANCOVA）

有时，研究必须针对某一个连续变量进行统计控制，去除第三变量的混淆效果，而需要使用协方差分析的概念。

单因素协方差设计（独立或相关样本），1个自变量、1个或多个共变量， one-way ANCOVA
多因素协方差设计（完全独立或混合设计），1个或多个共变量、多个自变量，factorial ANCOVA

4. 多元方差分析（multivariate analysis of variance，MANOVA）

因变量数目的增加，也使得方差分析有不同的应用，称之为多元方差分析（multivariate analysis of variance，MANOVA，多变量方差分析）。【1】MANOVA是统计分析的一般线性模型的推广，适用于存在多个因变量的情况。自变量是类别变量，因变量是连续的。因变量之间可能存在一定程度的相关性。分析结果是对自变量进行F检验统计值，表明该自变量的不同值是否对因变量水平或因变量之间的关系产生统计显著影响。因此，MANOVA对因变量的属性和大小都很敏感。【3】

单因素多变量设计，1个自变量，One-way MANOVA
多因素多变量设计，多个自变量，Factorial MANOVA
单因素多变量协方差分析，1个自变量、1个或多个共变量，One-way MANOVA with covariates
多因素多变量协方差分析，多个自变量、1个或多个共变量，Factorial MANOVA with covariates

（二）方差分析的统计假设与效应量

1. 方差分析的统计假设

方差分析需要满足三个重要假设：正态性假设、可加性假设以及方差同质性（homogeneity of variance，即方差齐性）假设。

2. 实务显著性：效应量

效应量（effect size）是指自变量对因变量的影响力强度。在方差分析中，F检验作为一个整体检验，目的是检验自变量效果的统计显著性（statistiacl significance）。然而，F检验却无法说明自变量效果在实务上的意义与价值。此时，需要依赖效果量来反映自变量在真实世界的强度意义，亦即实务显著性（practical significance）或临床显著性（clinical significance）。最直观的效果量指标，是取平均数的差异量。平均数间差异越大，表示自变量的强度越强，称为D量数（Cohen，1988）。

（三）协方差的基本原理

对无关的干扰变量的控制，有两种，其一是过程控制（procedural control），如随机抽样、使研究程序标准化等；其二是实验控制（experimental control），即针对有可能造成干扰的变量加以测量，再利用实验设计的操作与统计的方法，将该因素的效果以“自变量”的角色纳入分析。【1】

实验控制的操作，是将控制变量与自变量共处一室，去讨论与因变量的关系，也就是一种多因子设计研究。……在统计学领域，为了处理干扰变量的影响，发展出协方差分析（ANCOVA），以数学原理进行统计控制，来处理控制变量与其它自变量共同影响因变量的情形。在实验研究中，协方差分析多用于具有前后测设计的研究中。由前测所测得变量可以作为控制变量，因变量则为实验之后针对同一个变量再次测量所得到的后测分数。【1】

回归同质性假设（assumption of homogeneity of regression）是ANCOVA的一项重要假设。为了确保协方差的控制效果在各组等同，在进行ANCOVA之前，必须针对此一假设进行检验。如果虚无假设被接受，表示协方差造成的调整效果在各组内具有一致的作业，组间的差异在不同的协方差数值之下具有一致性。【1】

（四）单因变量分析（Univariate Tests）

单因变量统计检验是指涉及一个因变量（one dependent variable）的检验。案例包括均值t检验、方差分析（ANOVA）、协方差分析、线性回归和广义线性模型，如二元逻辑回归。在所有这些情况下，只有一个因变量。相比之下，多元方差分析（MANOVA）、多元协方差分析（MANCOVA）和典型相关等方法都是多元统计分析中使用的多元检验（multivariate tests）的例子。【5】

参考文献

【1】邱皓政著 . 量化研究与统计分析：SPSS（PASW）数据分析范例解析[M]. 重庆大学出版社,2019:156-172.

【2】王孝玲. 教育统计学[M]. 上海：华东师范大学出版社, 2014：152-158.

【3】Franzen M.D. (2011) Multivariate Analysis of Variance. In: Kreutzer J.S., DeLuca J., Caplan B. (eds) Encyclopedia of Clinical Neuropsychology. Springer, New York, NY. https://doi.org/10.1007/978-0-387-79948-3_1869

【4】杜晓新. 心理与教育研究中实验设计与SPSS数据处理. 北京: 北京大学出版社, 2013:32.

【5】Zumbo B.D. (2014) Univariate Tests. In: Michalos A.C. (eds) Encyclopedia of Quality of Life and Well-Being Research. Springer, Dordrecht. https://doi.org/10.1007/978-94-007-0753-5_3110

在场景中看此帖

Hallström, J., Norström, P. & Schönborn, K.J. (2023). Authentic STEM education through modelling: an international Delphi study. International Journal of STEM Education, 10, 62. https://doi.org/10.1186/s40594-023-00453-4

在场景中看此帖

二、数据分析实例

Sisman,B., Kucuk, S., & Ozcan, N. (2022). Collaborative behavioural patterns of elementary school students working on a robotics project. Journal of Computer Assisted Learning, （以18名小学生为对象，实施基于问题的机器人竞赛课程设计，对所有机器人设计过程和竞赛进行录像，采用量化的内容分析和滞后序列分析方法分析学生的协作行为。）
Hsiao, HS., Chen, JC., Chen, JH. et al. (2023). A study on the effects of using gamification with the 6E model on high school students’ computer programming self-efficacy, IoT knowledge, hands-on skills, and behavioral patterns. Educational technology research and development, 71, 1821–1849. （对高中生的工程实践活动进行录像，分析了学生的小组行为。依据行为模式编码表，由2名评判者对录像进行编码，比较了2个实验组和1个对照组之间的行为模式的异同。）

Chien, YH., Liu, CY., Chan, SC. et al. （(2023). Engineering design learning for high school and college first-year students in a STEM battlebot design project. International Journal of STEM Education, 10. (在8周的工程实践项目结束后，以小组的方式对学生进行访谈，聚焦于反思性的实践。之后，运用LSA进行合作性工程行为的分析，具体步骤包括建立编码类目、定义行为编码以及分析时间序列数据。)

Yang, FY. & Wang, HY. (2022). Tracking visual attention during learning of complex science concepts with augmented 3D visualizations. Computers & Education, 104659. (用Unity 3D开发了分子结构的AR学习app，32名10年级学生参与了实验，采集了学生的眼动数据、学习成就前后测测验数据，应用滞后序列分析探讨不同成就组学生眼睛感兴趣区域的视觉转换。）

Tsaia, M., Wu, A., et al. (2022). What do critical reading strategies look like? Eye-tracking and lag sequential analysis reveal attention to data and reasoning when reading conflicting information. Computers & Education, 187, 104544.
准实验研究（大学Python课）：Tan, J., Wu, L., & Ma,S. (2023). Collaborative dialogue patterns of pair programming and their impact on programming self-efficacy and coding performance. British Journal of Educational Technology, https://doi.org/10.1111/bjet.13412 (滞后序列、聚类分析和配对样本t检验)

在场景中看此帖

马红亮