围绕着博士和硕士研究生以往研读的国际Top期刊发表的STEM教育文章,汇总整理文章中所用的数据分析方法等,供写学习和写作参照。    

    目录
 推荐书目:

媒体话语分析(Media Discourse Analysis)

敬滨 -

  • Nam, B. H., & Bai, Q. (2023). ChatGPT and its ethical implications for STEM research and higher education: a media discourse analysisInternational Journal of STEM Education10(1), 1-24. https://doi.org/10.1186/s40594-023-00452-5 (本研究采用比较媒体话语分析方法,分析了来自四个媒体的 72 篇文章:(a) Springer Nature; (b) The Chronicle of Higher Education; (c) Inside Higher Ed; and (d) Times Higher Education. 本研究通过阐明与STEM研究和高等教育中伦理写作相关的最主要政策问题,以及不同利益相关者对作者身份和学术诚信的盲目性的限制,总结了学术界对ChatGPT和人工智能伦理未来研究的一些政策启示和建议。)

课堂观察

马红亮 -

课堂观察

  • Malone,K.L. (2023). The effects of modeling-based pedagogy on conceptual understanding, scientific reasoning skills, and attitudes towards science of English learners. Science Education, https://doi.org/10.1002/sce.21805 (使用变革型教师观察量规RTOP,对科学教师的课堂教学实践进行了观察。两个观察者对该量规进行了试用。计算了Cohen's Kappa一致性,最后对两个观察者的评分进行了平均。)
  • Greenwood.C.R. et al.(2023). Children's exposure to STEM instruction in preschool and how they respond to it. Science Education, DOI:10.1002/sce.21846(针对幼儿STEM教育,研发了CIRCLE课堂观察系统,包括课堂情境、教师行为、儿童行为等)
  • Gao, S. et al. (2021). Mapping and reflecting on integration of the components of pedagogical content knowledge (PCK) for teaching natural selection: A case study of an experienced middle-school science teacher. Teaching and Teacher Education,107https://doi.org/10.1016/j.tate.2021.103473  使用PCK五角星模型对2节生物教师整合PCK的跨学科教学视频片段进行内容分析

方差分析、协方差分析以及事后比较-ANOVA,ANCOVA & Post Hoc

马红亮 -

一、理论原理

     方差分析分单因素方差分析(One-way ANOVA)、多因素方差分析(Factorial ANOVA)、协方差分析(ANCOVA)、多重因变量方差分析(MANOVA)。常用于单因素实验设计、两因素实验设计、三因素实验设计、多元方差分析实验设计的数据处理。

(一)方差分析的概念

        如果类别变量的内容超过两种水平,统计检验的总体超过两个,此时一次只能比较两个平均数的Z检验或t检验即不适用,而需要一种能同时对两个以上的样本平均数差异进行检验的方法,称为方差分析(analysis of variance),简称ANOVA. 【1】

      Z检验和t检验虽可以比较两个平均数的差异,但是无法处理三个或三个以上平均数的比较。当我们有三个以上的平均数需要比较时,可计算这些平均数的方差,然后利用F检验来验证该“平均数的方差”的统计显著性,此即方差分析。

      在单因素实验设计中,如果自变量有两个水平,即实验中有两组被试,则F检验与两组Z检验和t检验等效。换句话说,两个独立样本差异的显著性水平可以看作是因素完全随机实验设计的特例。【4】

   1. 单因素方差分析(one-way ANOVA)  

    当研究者所使用的自变量只有一个时,称为单因素方差分析研究者所关心的是一个自变量对于因变量平均数的影响。单因素方差分析分为独立样本(如三组不同运动量-轻/中/高-对睡眠时间的影响)的方差分析,以及相关或配对样本(同一组不同阶段运动量对睡眠时间的影响)的方差分析。【1】

  • 独立样本设计,1个自变量,One-way ANOVA
  • 相关样本设计,1个自变量,One-way ANOVA(配对样本或重复测量设计)
  • 相关样本设计,1个自变量(具有顺序或时间性),Trend(趋势分析:探讨平均数的变动趋势)

     2. 多因素方差分析(factorial analysis of variance)

     如果研究者想同时考虑多个类别变量(多个自变量),同时检测多个平均数的差异,此时即需要使用多因素方差分析。教育现象的发生或变化都是由多因素共同作用的结果。多因素方差分析,不仅可以检验各个因素对因变量作用的显著性,而且还可以检验因素与因素间共同结合对因变量发生交互作用的显著性。如一个实验有A、B两个因素,A因素有a1和a2两种水平,B因素有b1和b2两种水平,双因素方差分析可以检验A因素、B因素以及A与B因素交互作用对实验结果影响的显著性。[2]

  • 完全独立样本设计,2个自变量独立,two-way ANOVA
  • 完全相关样本设计,2个自变量相关,two-way ANOVA
  • 相关与独立样本混合设计,1个自变量独立、1个自变量相关,two-way ANOVA mixed desgin(配对样本或重复测量设计)

    3. 协方差分析(analysis of covariance,ANCOVA)

    有时,研究必须针对某一个连续变量进行统计控制,去除第三变量的混淆效果,而需要使用协方差分析的概念。

  • 单因素协方差设计(独立或相关样本),1个自变量、1个或多个共变量, one-way ANCOVA
  • 多因素协方差设计(完全独立或混合设计),1个或多个共变量、多个自变量,factorial ANCOVA

    4. 多元方差分析(multivariate analysis of variance,MANOVA)

     因变量数目的增加,也使得方差分析有不同的应用,称之为多元方差分析(multivariate analysis of variance,MANOVA,多变量方差分析)。【1】MANOVA是统计分析的一般线性模型的推广,适用于存在多个因变量的情况。自变量是类别变量,因变量是连续的。因变量之间可能存在一定程度的相关性。分析结果是对自变量进行F检验统计值,表明该自变量的不同值是否对因变量水平或因变量之间的关系产生统计显著影响。因此,MANOVA对因变量的属性和大小都很敏感。【3】

  • 单因素多变量设计,1个自变量,One-way MANOVA
  • 多因素多变量设计,多个自变量,Factorial MANOVA
  • 单因素多变量协方差分析,1个自变量、1个或多个共变量,One-way MANOVA with covariates
  • 多因素多变量协方差分析,多个自变量、1个或多个共变量,Factorial MANOVA with covariates

(二)方差分析的统计假设与效应量

    1. 方差分析的统计假设

     方差分析需要满足三个重要假设:正态性假设、可加性假设以及方差同质性(homogeneity of variance,即方差齐性)假设。

    2. 实务显著性:效应量

     效应量(effect size)是指自变量对因变量的影响力强度。在方差分析中,F检验作为一个整体检验,目的是检验自变量效果的统计显著性(statistiacl significance)。然而,F检验却无法说明自变量效果在实务上的意义与价值。此时,需要依赖效果量来反映自变量在真实世界的强度意义,亦即实务显著性(practical significance)或临床显著性(clinical significance)。最直观的效果量指标,是取平均数的差异量。平均数间差异越大,表示自变量的强度越强,称为D量数(Cohen,1988)

(三)协方差的基本原理

      对无关的干扰变量的控制,有两种,其一是过程控制(procedural control),如随机抽样、使研究程序标准化等;其二是实验控制(experimental control),即针对有可能造成干扰的变量加以测量,再利用实验设计的操作与统计的方法,将该因素的效果以“自变量”的角色纳入分析。【1】
      实验控制的操作,是将控制变量与自变量共处一室,去讨论与因变量的关系,也就是一种多因子设计研究。……在统计学领域,为了处理干扰变量的影响,发展出协方差分析(ANCOVA),以数学原理进行统计控制,来处理控制变量与其它自变量共同影响因变量的情形。 在实验研究中,协方差分析多用于具有前后测设计的研究中。由前测所测得变量可以作为控制变量,因变量则为实验之后针对同一个变量再次测量所得到的后测分数。【1】  
    回归同质性假设(assumption of homogeneity of regression)是ANCOVA的一项重要假设。为了确保协方差的控制效果在各组等同,在进行ANCOVA之前,必须针对此一假设进行检验。如果虚无假设被接受,表示协方差造成的调整效果在各组内具有一致的作业,组间的差异在不同的协方差数值之下具有一致性。【1】
  

(四)单因变量分析(Univariate Tests)

      单因变量统计检验是指涉及一个因变量(one dependent variable)的检验。案例包括均值t检验、方差分析(ANOVA)、协方差分析、线性回归和广义线性模型,如二元逻辑回归。在所有这些情况下,只有一个因变量。相比之下,多元方差分析(MANOVA)、多元协方差分析(MANCOVA)和典型相关等方法都是多元统计分析中使用的多元检验(multivariate tests)的例子。【5】 


参考文献
【1】邱皓政 著 . 量化研究与统计分析:SPSS(PASW)数据分析范例解析[M]. 重庆大学出版社,2019:156-172.
【2】王孝玲. 教育统计学[M]. 上海:华东师范大学出版社, 2014:152-158.
【3】Franzen M.D. (2011) Multivariate Analysis of Variance. In: Kreutzer J.S., DeLuca J., Caplan B. (eds) Encyclopedia of Clinical Neuropsychology. Springer, New York, NY. https://doi.org/10.1007/978-0-387-79948-3_1869
【4】杜晓新. 心理与教育研究中实验设计与SPSS数据处理. 北京: 北京大学出版社, 2013:32.
【5】Zumbo B.D. (2014) Univariate Tests. In: Michalos A.C. (eds) Encyclopedia of Quality of Life and Well-Being Research. Springer, Dordrecht. https://doi.org/10.1007/978-94-007-0753-5_3110

中介调节效应分析

马红亮 -

控制、调节和中介

      回归分析关心两种变量,自变量(X)和因变量(Y)的解释与预测,以X→Y表示。但如果存在一个第三变量(M),可能影响X→Y的关系时,即形成一个第三变量效果。通常,第三变量有中介(mediation)调节(moderation)控制变量(control variable)等类型。【1】
理论模型中的变量类型【4】

(一)调节效应

      调节变量影响自变量与因变量之间关系的方向(正或负)和强弱,调节变量不必是自变量的因果关系。调节作用是研究X对Y的影响时,是否会受到调节变量Z的干扰;比如开车速度(X)会对车祸可能性(Y)产生影响,这种影响关系受到是否喝酒(Z)的干扰,即喝酒时的影响幅度,与不喝酒时的影响幅度是否有着明显的不一样。【2】

  • 模型1:自变量为X,因变量为Y;其意义相对较小(有时候直接忽略此项);
  • 模型2:自变量为X和Z,因变量为Y;模型2仅在模型1的基础上加入调节变量Z;此模型的意义也较小(有时候也可直接忽略此项);
  • 模型3:自变量为X,Z和X*Z,因变量为Y;模型3在模型2的基础上加入交互项;此为核心模型,如果交互项(X*Z)呈现出显著性,则说明具有调节作用。

(二)中介效应

    中介变量则必须是自变量的果,同时也是因变量的因。中介作用是研究X对Y的影响时,是否会先通过中介变量M,再去影响Y;即是否有X->M->Y这样的关系,如果存在此种关系,则说明具有中介效应。比如工作满意度(X)会影响到创新氛围(M),再影响最终工作绩效(Y),此时创新氛围就成为了这一因果链中的中介变量。【3】


  •  模型1:自变量X和因变量Y的回归分析;目的为得到总效应c值;
  •  模型2:自变量X,中介变量M和因变量Y的回归分析;目的是得到直接效应c’值,以及中间效应过程值b;
  •  模型3:自变量X和中介变量M的回归分析;目的是得到中间效应过程值a。
  •  模型1和模型2的区别在于,模型2在模型1的基础上加入了中介变量M。

参考文献:
【1】邱皓政 著 . 量化研究与统计分析:SPSS(PASW)数据分析范例解析[M]. 重庆大学出版社,2013: 268-291.
【2】调节作用分析.  https://spssau.com/helps/questionnaire/rmoderator.html
【3】中介作用分析.  https://spssau.com/helps/questionnaire/advancedMediator.html
【4】陈晓萍,徐淑英,樊景立.  组织与管理研究的实证方法[M].  北京大学出版社,2008.

系统综述,元分析/元聚合分析-systematic review,meta analysis & meta-aggregation

马红亮 -

一、理论原理

       传统文献综述通常用于回顾、讨论已有研究及存在的不足(current gaps)、新研究的原理等,特点是没有对文献如何辨别、选取以及评价的具体方法进行描述。系统性文献综述的特点是研究问题事先确定,全面检索所有相关文献,有明确纳入和排除文献的标准,有批判性分析研究质量的标准,有明确的提炼和综合研究发现的方法(定性或定量)。[1]

  1.    文献综述分类
    系统综述(systematic review)被定义为“对一个明确表述的问题的证据进行综述,使用系统和明确的方法来识别、选择和批判性评价相关的初步研究,并从综述包括的研究中提取和分析数据。”所用方法必须是可复制和透明的。[2]

    元分析(meta-analysis)与元聚合分析(meta-aggregation)都是文献综述的一种方法,都是对相关研究进行分析、评价以及综合的方法。其中,元分析专门用于对定量研究文献中的数据进行统计处理,以探索新的发现。元聚合分析,也称为meta-synthesis,是针对定性研究文献中的数据或主题编码、归类和整合,并给出行动建议。[3]

2. 文献综述操作步骤

     系统性文献综述的7个步骤:[1]

  • 组建小组(至少两名评审员,第三名评审员作为仲裁者)
  • 提问(定义一个狭窄的问题,可以使用PICO)
  • 计划(制定方案、设计方法和策略)
  • 检索/筛选(彻底、透明和可重复搜索证据/选择研究)
  • 文献管理和报告
  • 数据提取/综合相关证据
  • 总结、写作和出版

     PRISMA网站很重要,有详细的系统综述和元分析的原理声明、操作步骤、流程图等。顶级期刊Computers & Education只接受PRISMA流程的文献综述研究。[4]


二、元分析

    元分析(Meta-analysisi)是对有关同一个主题的多项独立的定量研究进行再次分析,进而得出一般性的结论。
(一)元分析的文献编码
      收集完文献之后,要逐一检查,从如下几个方面进行编码:【5】
  1. 有关文献的实质性方面。包括样本来源,人口统计学特征、个人特征,自变量、理论取向、所描述的层次、干预实施的模式等等。
  2. 量化研究的方法和步骤。包括抽样步骤或方法,调查设计,统计功效,测量的性质,数据分析形式,自变量,实验条件,控制组的性质等。
  3. 对文献的来源进行描述。
(二)资料的综合
    由于研究的目的各不相同,各项研究的指标不尽相同,因此元分析首先要将各项研究的指标转化为统一的指标,即效应量(effect sizes),它是元分析的核心概念。元分析收集的定量信息有很多类,对应每一类也存在不同的效应值。给出各个效应值之后,应该分析其分布,计算其均值,计算置信区间,对同质性进行评价(homogeneity test)。【5】
  1. 平均效应值。对这些值进行综合加权,计算合并后的平均统计量。
  2. 计算置信区间。一个平均效应值的置信区间以均值的标准误和z分布的一个临界值为基础的。
  3. 同质性检验。元分析的前提条件,即多个独立研究之间应该相似。如果各个独立的研究之间具有同质性,便可以将多个统计量进行加权合并;若不一致,可以考虑剔除特大、特小或方向相反的统计量后再综合。如果经过这一步仍然达不到要求,就不能用元分析的方法了。同质性检验的方法有图示法(直方图、茎叶图、散点图等),Q检验。【5】
    对于在研究方法存在较大差异的诸多单项研究来说,一个较好的元分析法应将这种差异考虑在内,设置必要的调节变量。另外,当代的元分析法越来越专注于效应值分布的方差,而不是这些分布的均值。也就是说关注的主要问题常常与区分出各项研究结果之间的差异的根源有关,而不是把各个结果聚焦在一起得出一个总的均值。这个关注点针对性质不同的研究结果的子群进行认真的处理,因而较少收到批评。【5】
    另外,由于元分析关注的是不同研究结果的聚集和比较,因而有必要保证对这些研究结果的比较是有意义的。这意味着这些结果必须:(1)在概念上具有可比性,即处理的是相同的因子和关系;(2)以相似的统计形式呈现。【5】

参考文献

[1] Cochrane. Background to Systematic Reviews
[2] 美国Temple大学图书馆网站:What is a Systematic Review? (详细解释了其中的7个步骤).
[3] Florczak K L . (2019). Meta-Aggregation: Just What Is It?. Nursing Science Quarterly, 32(1):11-11.
[4] PRISMA. Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA)
[5] 马克·W·利普西、戴维·B·威尔逊著,刘军,吴春莺译. 元分析(Meta-analysis)方法应用指导[M]. 重庆:重庆大学出版社出版, 2019: 前言-2。