由 马红亮 发起的话题

STEM教育研究设计与方法 -> 巜研究设计与方法》目录 -> 调查研究

马红亮 -

一、问卷调查实例分析

  • Rosenzweig, E.Q., & Chen, XY. (2023). Which STEM careers are most appealing? Examining high school students’ preferences and motivational beliefs for different STEM career choices. IJ STEM Ed 10, 40. https://doi.org/10.1186/s40594-023-00427-6 (使用在线问卷的方式调查了美国东南地区一个公立学校的778名高中学生，剔除无法使用和无效问卷后，对剩余526名高中生的STEM职业倾向和隐含动机进行了分析)
  • Rosenzweig, E. Q., Chen, X. Y., Song, Y., Baldwin, A., Barger, M. M., Cotterell, M. E., ... & Lemons, P. P. (2024). Beyond STEM attrition: changing career plans within STEM fields in college is associated with lower motivation, certainty, and satisfaction about one’s career. International Journal of STEM Education, 11(1), 1-18. https://doi.org/10.1186/s40594-024-00475-6（使用在线问卷的方式调查了美国一个大型研究型公立大学的1727（剔除后的样本量）名本科生，涵盖了42门课程和所有主要的STEM学科，对学生们的职业计划，计划的改变，计划的动机，以及对这些计划的满意度和坚持计划的确定性进行了分析）
  • Castle, S. D., Byrd, W. C., Koester, B. P., Pearson, M. I., Bonem, E., Caporale, N., ... & Matz, R. L. (2024). Systemic advantage has a meaningful relationship with grade outcomes in students' early STEM courses at six research universities. International Journal of STEM Education, 11(1), 1-20.

    https://doi.org/10.1186/s40594-024-00474-7 (研究了美国六所大型公立研究型大学的早期STEM课程的成绩。样本选择了所有在至少一门STEM课程中获得数字分数的本科生，本研究发现了他们在性别、种族/民族、收入和第一代地位方面的系统性不平等，并调查了它们在同行机构之间的相似程度)

二、访谈研究实例分析

  • Dancy, M., Hodari, A.K. (2023). How well-intentioned white male physicists maintain ignorance of inequity and justify inaction. IJ STEM Ed 10, 45.  https://doi.org/10.1186/s40594-023-00433-8（对27名物理学专家进行半结构化访谈，之后以扎根理论为主进行归纳编码，并釆用批评性话语分析进行意义建构）
  • Zhang, E. Y., Hundley, C., Watson, Z., Farah, F., Bunnell, S., & Kristensen, T. (2023). Learning by doing: A multi‐level analysis of the impact of citizen science education. Science Education. 1-28. https://doi.org/10.1002/sce.21810 （在乡村学校开展持续三年的科学教育，对本科生教师、乡村教师以及学生进行半结构访谈、反思性问卷调查等）

三、媒体话语实例分析

  • Nam, B. H., & Bai, Q. (2023). ChatGPT and its ethical implications for STEM research and higher education: a media discourse analysis. International Journal of STEM Education, 10(1), 1-24. https://doi.org/10.1186/s40594-023-00452-5 （本研究采用比较媒体话语分析方法，分析了来自四个媒体的 72 篇文章：(a) Springer Nature; (b) The Chronicle of Higher Education; (c) Inside Higher Ed; and (d) Times Higher Education. 本研究通过阐明与STEM研究和高等教育中伦理写作相关的最主要政策问题，以及不同利益相关者对作者身份和学术诚信的盲目性的限制，总结了学术界对ChatGPT和人工智能伦理未来研究的一些政策启示和建议。）


(由 李晓斐 编辑 - 原提交时间 2023年06月13日 星期二 08:48)


STEM教育研究设计与方法 -> 巜研究设计与方法》目录 -> 准实验研究

马红亮 -

一、重复测量设计

  • Kong, S. C. , Lai, M. , & Sun, D. . (2020). Teacher development in computational thinking: design and learning outcomes of programming concepts, practices and pedagogy. Computers & Education, 151, 103872. https://doi.org/10.1016/j.compedu.2020.103872 【以76名小学教师为对象，设计开发了2门课程，1门侧重于CT知识和教学法，1门侧重于教学实践和反思，结果提升了教师计算思维的概念和教学实践】


二、2*2因素设计

  • Tsai, C-W. , et al. (2023). The effects of online peer-facilitated learning and distributed pair programming on students’learning.  Computers & Education  https://doi.org/10.1016/j.compedu.2023.104849(采用2*2因素设计，以四个班的学生为对象，研究了在线同伴促进学习和分布式编程对学生在线学习效果的影响，包括编程技能、学习喜悦度和学习意愿)


STEM教育研究设计与方法 -> 巜研究设计与方法》目录 -> 实验研究

马红亮 -

理论原理

一、实验设计中常用术语
      1. 因素、因素水平。实验研究中的自变量也称因素；因素水平是指因素的不同取值与类型。如一项两因素实验设计，有A和B两个因素，A因素有a1和a2两个水平；B因素有b1和b2两个水平，这是就有四个因素水平的结合。（杜晓新,2013:7）
      2. 被试间变量与被试内变量。自变量可分为被试间变量与被试内变量。在完全随机实验设计中，自变量是被试间变量，每个被试只接受一次因素的一个水平或一次因素水平结合的实验处理。在重复测量的实验设计中，自变量是被试内变量，每个被试必须接受因素所有水平或所有因素水平的实验处理。（杜晓新,2013:7）
      3. 主效应与交互效应。实验中一个因素的不同水平所引起的变异称为该因素的主效应。它是通过忽略实验中其他因素不同水平引起的变异，而仅单纯计算某一个因素引起的效应而得到的。在多因素实验设计中，有几个因素就有几个主效应。在多因素实验设计中，自变量之间往往互相影响，共同对因变量产生作用。当一个因素的不同水平在另一个因素的不同水平变化趋势不一致是，称这两个因素之间有交互效应。（杜晓新,2013:7-8）
    4. 简单效应。一个因素的各水平在另一个因素的某个水平的变异叫简单效应。如在“学习能力与教学方法对学生学习成绩影响”的实验研究中，如果学习能力(A)和教学方法（B）有交互效应，则还需要进行简单效应的检验。（杜晓新,2013:8-9）
    
二、实验设计的类型
      可以从不同的维度对实验进行分类。从被试分组的数量看，可分为单组实验设计、双组实验设计及多组实验设计。从实验中包含的因素数量看，可分为单因素实验设计与多因素实验设计。从自变量的性质看，可分为被试间设计、被试内设计（重复测量实验设计）与混合实验设计。从实验中的因变量数量来看，可分为单因变量与多因变量的实验设计。（杜晓新,2013:9-10）     
      实验（真实验）要求从总体中随机抽取被试，并随机分配到实验组和控制组，因此，两组在理论上是同质的。实验设计模式有：等组后测设计、等组前后测设计、所罗门三组设计、所罗门四组设计。（辛自强,2018: 133-134）


参考文献
  • 杜晓新. 心理与教育研究中实验设计与SPSS数据处理[M]. 北京: 北京大学出版社，2013.
  • 辛自强. 心理学研究方法（第2版）[M]. 北京：北京师范大学出版社，2018。

数据分析实例 -> 数据分析实例目录 -> 方差分析、协方差分析以及事后比较-ANOVA，ANCOVA & Post Hoc

马红亮 -

一、理论原理

     方差分析分单因素方差分析（One-way ANOVA）、多因素方差分析（Factorial ANOVA）、协方差分析（ANCOVA）、多重因变量方差分析（MANOVA）。常用于单因素实验设计、两因素实验设计、三因素实验设计、多元方差分析实验设计的数据处理。

（一）方差分析的概念

        如果类别变量的内容超过两种水平，统计检验的总体超过两个，此时一次只能比较两个平均数的Z检验或t检验即不适用，而需要一种能同时对两个以上的样本平均数差异进行检验的方法，称为方差分析（analysis of variance），简称ANOVA. 【1】

      Z检验和t检验虽可以比较两个平均数的差异，但是无法处理三个或三个以上平均数的比较。当我们有三个以上的平均数需要比较时，可计算这些平均数的方差，然后利用F检验来验证该“平均数的方差”的统计显著性，此即方差分析。

      在单因素实验设计中，如果自变量有两个水平，即实验中有两组被试，则F检验与两组Z检验和t检验等效。换句话说，两个独立样本差异的显著性水平可以看作是因素完全随机实验设计的特例。【4】

   1. 单因素方差分析（one-way ANOVA）  

    当研究者所使用的自变量只有一个时，称为单因素方差分析，研究者所关心的是一个自变量对于因变量平均数的影响。单因素方差分析分为独立样本（如三组不同运动量-轻/中/高-对睡眠时间的影响）的方差分析，以及相关或配对样本（同一组不同阶段运动量对睡眠时间的影响）的方差分析。【1】

  • 独立样本设计，1个自变量，One-way ANOVA
  • 相关样本设计，1个自变量，One-way ANOVA（配对样本或重复测量设计）
  • 相关样本设计，1个自变量（具有顺序或时间性），Trend（趋势分析：探讨平均数的变动趋势）

     2. 多因素方差分析（factorial analysis of variance）

     如果研究者想同时考虑多个类别变量（多个自变量），同时检测多个平均数的差异，此时即需要使用多因素方差分析。教育现象的发生或变化都是由多因素共同作用的结果。多因素方差分析，不仅可以检验各个因素对因变量作用的显著性，而且还可以检验因素与因素间共同结合对因变量发生交互作用的显著性。如一个实验有A、B两个因素，A因素有a1和a2两种水平，B因素有b1和b2两种水平，双因素方差分析可以检验A因素、B因素以及A与B因素交互作用对实验结果影响的显著性。[2]

  • 完全独立样本设计，2个自变量独立，two-way ANOVA
  • 完全相关样本设计，2个自变量相关，two-way ANOVA
  • 相关与独立样本混合设计，1个自变量独立、1个自变量相关，two-way ANOVA mixed desgin（配对样本或重复测量设计）

    3. 协方差分析（analysis of covariance，ANCOVA）

    有时，研究必须针对某一个连续变量进行统计控制，去除第三变量的混淆效果，而需要使用协方差分析的概念。

  • 单因素协方差设计（独立或相关样本），1个自变量、1个或多个共变量， one-way ANCOVA
  • 多因素协方差设计（完全独立或混合设计），1个或多个共变量、多个自变量，factorial ANCOVA

    4. 多元方差分析（multivariate analysis of variance，MANOVA）

     因变量数目的增加，也使得方差分析有不同的应用，称之为多元方差分析（multivariate analysis of variance，MANOVA，多变量方差分析）。【1】MANOVA是统计分析的一般线性模型的推广，适用于存在多个因变量的情况。自变量是类别变量，因变量是连续的。因变量之间可能存在一定程度的相关性。分析结果是对自变量进行F检验统计值，表明该自变量的不同值是否对因变量水平或因变量之间的关系产生统计显著影响。因此，MANOVA对因变量的属性和大小都很敏感。【3】

  • 单因素多变量设计，1个自变量，One-way MANOVA
  • 多因素多变量设计，多个自变量，Factorial MANOVA
  • 单因素多变量协方差分析，1个自变量、1个或多个共变量，One-way MANOVA with covariates
  • 多因素多变量协方差分析，多个自变量、1个或多个共变量，Factorial MANOVA with covariates

（二）方差分析的统计假设与效应量

    1. 方差分析的统计假设

     方差分析需要满足三个重要假设：正态性假设、可加性假设以及方差同质性（homogeneity of variance，即方差齐性）假设。

    2. 实务显著性：效应量

     效应量（effect size）是指自变量对因变量的影响力强度。在方差分析中，F检验作为一个整体检验，目的是检验自变量效果的统计显著性（statistiacl significance）。然而，F检验却无法说明自变量效果在实务上的意义与价值。此时，需要依赖效果量来反映自变量在真实世界的强度意义，亦即实务显著性（practical significance）或临床显著性（clinical significance）。最直观的效果量指标，是取平均数的差异量。平均数间差异越大，表示自变量的强度越强，称为D量数（Cohen，1988）。

（三）协方差的基本原理

      对无关的干扰变量的控制，有两种，其一是过程控制（procedural control），如随机抽样、使研究程序标准化等；其二是实验控制（experimental control），即针对有可能造成干扰的变量加以测量，再利用实验设计的操作与统计的方法，将该因素的效果以“自变量”的角色纳入分析。【1】
      实验控制的操作，是将控制变量与自变量共处一室，去讨论与因变量的关系，也就是一种多因子设计研究。……在统计学领域，为了处理干扰变量的影响，发展出协方差分析（ANCOVA），以数学原理进行统计控制，来处理控制变量与其它自变量共同影响因变量的情形。 在实验研究中，协方差分析多用于具有前后测设计的研究中。由前测所测得变量可以作为控制变量，因变量则为实验之后针对同一个变量再次测量所得到的后测分数。【1】  
    回归同质性假设（assumption of homogeneity of regression）是ANCOVA的一项重要假设。为了确保协方差的控制效果在各组等同，在进行ANCOVA之前，必须针对此一假设进行检验。如果虚无假设被接受，表示协方差造成的调整效果在各组内具有一致的作业，组间的差异在不同的协方差数值之下具有一致性。【1】
  

（四）单因变量分析（Univariate Tests）

      单因变量统计检验是指涉及一个因变量（one dependent variable）的检验。案例包括均值t检验、方差分析（ANOVA）、协方差分析、线性回归和广义线性模型，如二元逻辑回归。在所有这些情况下，只有一个因变量。相比之下，多元方差分析（MANOVA）、多元协方差分析（MANCOVA）和典型相关等方法都是多元统计分析中使用的多元检验（multivariate tests）的例子。【5】 


参考文献
【1】邱皓政 著 . 量化研究与统计分析：SPSS（PASW）数据分析范例解析[M]. 重庆大学出版社,2019:156-172.
【2】王孝玲. 教育统计学[M]. 上海：华东师范大学出版社, 2014：152-158.
【3】Franzen M.D. (2011) Multivariate Analysis of Variance. In: Kreutzer J.S., DeLuca J., Caplan B. (eds) Encyclopedia of Clinical Neuropsychology. Springer, New York, NY. https://doi.org/10.1007/978-0-387-79948-3_1869
【4】杜晓新. 心理与教育研究中实验设计与SPSS数据处理. 北京: 北京大学出版社, 2013:32.
【5】Zumbo B.D. (2014) Univariate Tests. In: Michalos A.C. (eds) Encyclopedia of Quality of Life and Well-Being Research. Springer, Dordrecht. https://doi.org/10.1007/978-94-007-0753-5_3110