- Nam, B. H., & Bai, Q. (2023). ChatGPT and its ethical implications for STEM research and higher education: a media discourse analysis. International Journal of STEM Education, 10(1), 1-24. https://doi.org/10.1186/s40594-023-00452-5 (本研究采用比较媒体话语分析方法,分析了来自四个媒体的 72 篇文章:(a) Springer Nature; (b) The Chronicle of Higher Education; (c) Inside Higher Ed; and (d) Times Higher Education. 本研究通过阐明与STEM研究和高等教育中伦理写作相关的最主要政策问题,以及不同利益相关者对作者身份和学术诚信的盲目性的限制,总结了学术界对ChatGPT和人工智能伦理未来研究的一些政策启示和建议。)
目录
- 系统性文献综述(元分析、元聚合分析)
- 量表信效度检验(Validity & Reliability)
- 卡方检验(X2 test )
- 参数t检验(配对和独立样本t检验)
- 非参数检验(Wilcoxon检验、Mann-Whitney检验)
- 方差与协方差分析(ANOVA、ANCOVA、MANOVA)
- 相关分析
- 回归分析
- 中介调节分析
- 结构方程模型
- 聚类分析
- 滞后序列分析
- 访谈和开放问题分析
- 作品内容分析
- 认知网络分析
- 平台日志分析
- 课堂观察
- 媒体话语分析
- 邱皓政 著 . 量化研究与统计分析:SPSS(PASW)数据分析范例解析[M]. 重庆大学出版社,2019.
- 王孝玲. 教育统计学[M]. 上海:华东师范大学出版社, 2014.
- [美] 伯克·约翰逊,[美] 拉里·克里斯滕森 著,马健生 等译. 教育研究:定量、定性和混合方法(第4版)[M]. 重庆大学出版社, 2018.
- 杜晓新. 心理与教育研究中实验设计与SPSS数据处理. 北京: 北京大学出版社, 2013.
- SPSSAU帮助. https://spssau.com/help.html
- Fein, E. C. et al. (2022). Statistics for Research Students. University of Southern Queensland.
课堂观察
课堂观察
- Malone,K.L. (2023). The effects of modeling-based pedagogy on conceptual understanding, scientific reasoning skills, and attitudes towards science of English learners. Science Education, https://doi.org/10.1002/sce.21805 (使用变革型教师观察量规RTOP,对科学教师的课堂教学实践进行了观察。两个观察者对该量规进行了试用。计算了Cohen's Kappa一致性,最后对两个观察者的评分进行了平均。)
- Greenwood.C.R. et al.(2023). Children's exposure to STEM instruction in preschool and how they respond to it. Science Education, DOI:10.1002/sce.21846(针对幼儿STEM教育,研发了CIRCLE课堂观察系统,包括课堂情境、教师行为、儿童行为等)
- Gao, S. et al. (2021). Mapping
and reflecting on integration of the components of pedagogical content
knowledge (PCK) for teaching natural selection: A case study of an
experienced middle-school science teacher. Teaching and Teacher Education,107. https://doi.org/10.1016/j.tate.2021.103473 (使用PCK五角星模型对2节生物教师整合PCK的跨学科教学视频片段进行内容分析)
方差分析、协方差分析以及事后比较-ANOVA,ANCOVA & Post Hoc
一、理论原理
(一)方差分析的概念
如果类别变量的内容超过两种水平,统计检验的总体超过两个,此时一次只能比较两个平均数的Z检验或t检验即不适用,而需要一种能同时对两个以上的样本平均数差异进行检验的方法,称为方差分析(analysis of variance),简称ANOVA. 【1】
Z检验和t检验虽可以比较两个平均数的差异,但是无法处理三个或三个以上平均数的比较。当我们有三个以上的平均数需要比较时,可计算这些平均数的方差,然后利用F检验来验证该“平均数的方差”的统计显著性,此即方差分析。
在单因素实验设计中,如果自变量有两个水平,即实验中有两组被试,则F检验与两组Z检验和t检验等效。换句话说,两个独立样本差异的显著性水平可以看作是因素完全随机实验设计的特例。【4】
1. 单因素方差分析(one-way ANOVA)
当研究者所使用的自变量只有一个时,称为单因素方差分析,研究者所关心的是一个自变量对于因变量平均数的影响。单因素方差分析分为独立样本(如三组不同运动量-轻/中/高-对睡眠时间的影响)的方差分析,以及相关或配对样本(同一组不同阶段运动量对睡眠时间的影响)的方差分析。【1】
- 独立样本设计,1个自变量,One-way ANOVA
- 相关样本设计,1个自变量,One-way ANOVA(配对样本或重复测量设计)
- 相关样本设计,1个自变量(具有顺序或时间性),Trend(趋势分析:探讨平均数的变动趋势)
2. 多因素方差分析(factorial analysis of variance)
如果研究者想同时考虑多个类别变量(多个自变量),同时检测多个平均数的差异,此时即需要使用多因素方差分析。教育现象的发生或变化都是由多因素共同作用的结果。多因素方差分析,不仅可以检验各个因素对因变量作用的显著性,而且还可以检验因素与因素间共同结合对因变量发生交互作用的显著性。如一个实验有A、B两个因素,A因素有a1和a2两种水平,B因素有b1和b2两种水平,双因素方差分析可以检验A因素、B因素以及A与B因素交互作用对实验结果影响的显著性。[2]
- 完全独立样本设计,2个自变量独立,two-way ANOVA
- 完全相关样本设计,2个自变量相关,two-way ANOVA
- 相关与独立样本混合设计,1个自变量独立、1个自变量相关,two-way ANOVA mixed desgin(配对样本或重复测量设计)
3. 协方差分析(analysis of covariance,ANCOVA)
有时,研究必须针对某一个连续变量进行统计控制,去除第三变量的混淆效果,而需要使用协方差分析的概念。
- 单因素协方差设计(独立或相关样本),1个自变量、1个或多个共变量, one-way ANCOVA
- 多因素协方差设计(完全独立或混合设计),1个或多个共变量、多个自变量,factorial ANCOVA
4. 多元方差分析(multivariate analysis of variance,MANOVA)
因变量数目的增加,也使得方差分析有不同的应用,称之为多元方差分析(multivariate analysis of variance,MANOVA,多变量方差分析)。【1】MANOVA是统计分析的一般线性模型的推广,适用于存在多个因变量的情况。自变量是类别变量,因变量是连续的。因变量之间可能存在一定程度的相关性。分析结果是对自变量进行F检验统计值,表明该自变量的不同值是否对因变量水平或因变量之间的关系产生统计显著影响。因此,MANOVA对因变量的属性和大小都很敏感。【3】
- 单因素多变量设计,1个自变量,One-way MANOVA
- 多因素多变量设计,多个自变量,Factorial MANOVA
- 单因素多变量协方差分析,1个自变量、1个或多个共变量,One-way MANOVA with covariates
- 多因素多变量协方差分析,多个自变量、1个或多个共变量,Factorial MANOVA with covariates
(二)方差分析的统计假设与效应量
1. 方差分析的统计假设
方差分析需要满足三个重要假设:正态性假设、可加性假设以及方差同质性(homogeneity of variance,即方差齐性)假设。
2. 实务显著性:效应量
效应量(effect size)是指自变量对因变量的影响力强度。在方差分析中,F检验作为一个整体检验,目的是检验自变量效果的统计显著性(statistiacl significance)。然而,F检验却无法说明自变量效果在实务上的意义与价值。此时,需要依赖效果量来反映自变量在真实世界的强度意义,亦即实务显著性(practical significance)或临床显著性(clinical significance)。最直观的效果量指标,是取平均数的差异量。平均数间差异越大,表示自变量的强度越强,称为D量数(Cohen,1988)。
(三)协方差的基本原理
(四)单因变量分析(Univariate Tests)
单因变量统计检验是指涉及一个因变量(one dependent variable)的检验。案例包括均值t检验、方差分析(ANOVA)、协方差分析、线性回归和广义线性模型,如二元逻辑回归。在所有这些情况下,只有一个因变量。相比之下,多元方差分析(MANOVA)、多元协方差分析(MANCOVA)和典型相关等方法都是多元统计分析中使用的多元检验(multivariate tests)的例子。【5】中介调节效应分析
控制、调节和中介
(一)调节效应
- 模型1:自变量为X,因变量为Y;其意义相对较小(有时候直接忽略此项);
- 模型2:自变量为X和Z,因变量为Y;模型2仅在模型1的基础上加入调节变量Z;此模型的意义也较小(有时候也可直接忽略此项);
- 模型3:自变量为X,Z和X*Z,因变量为Y;模型3在模型2的基础上加入交互项;此为核心模型,如果交互项(X*Z)呈现出显著性,则说明具有调节作用。
(二)中介效应
- 模型1:自变量X和因变量Y的回归分析;目的为得到总效应c值;
- 模型2:自变量X,中介变量M和因变量Y的回归分析;目的是得到直接效应c’值,以及中间效应过程值b;
- 模型3:自变量X和中介变量M的回归分析;目的是得到中间效应过程值a。
- 模型1和模型2的区别在于,模型2在模型1的基础上加入了中介变量M。
参考文献:
系统综述,元分析/元聚合分析-systematic review,meta analysis & meta-aggregation
一、理论原理
1. 文献综述分类
2. 文献综述操作步骤
系统性文献综述的7个步骤:[1]
- 组建小组(至少两名评审员,第三名评审员作为仲裁者)
- 提问(定义一个狭窄的问题,可以使用PICO)
- 计划(制定方案、设计方法和策略)
- 检索/筛选(彻底、透明和可重复搜索证据/选择研究)
- 文献管理和报告
- 数据提取/综合相关证据
- 总结、写作和出版
PRISMA网站很重要,有详细的系统综述和元分析的原理声明、操作步骤、流程图等。顶级期刊Computers & Education只接受PRISMA流程的文献综述研究。[4]
二、元分析
(一)元分析的文献编码
- 有关文献的实质性方面。包括样本来源,人口统计学特征、个人特征,自变量、理论取向、所描述的层次、干预实施的模式等等。
- 量化研究的方法和步骤。包括抽样步骤或方法,调查设计,统计功效,测量的性质,数据分析形式,自变量,实验条件,控制组的性质等。
- 对文献的来源进行描述。
(二)资料的综合
- 平均效应值。对这些值进行综合加权,计算合并后的平均统计量。
- 计算置信区间。一个平均效应值的置信区间以均值的标准误和z分布的一个临界值为基础的。
- 同质性检验。元分析的前提条件,即多个独立研究之间应该相似。如果各个独立的研究之间具有同质性,便可以将多个统计量进行加权合并;若不一致,可以考虑剔除特大、特小或方向相反的统计量后再综合。如果经过这一步仍然达不到要求,就不能用元分析的方法了。同质性检验的方法有图示法(直方图、茎叶图、散点图等),Q检验。【5】
[1] Cochrane. Background to Systematic Reviews
[2] 美国Temple大学图书馆网站:What is a Systematic Review? (详细解释了其中的7个步骤).
[3] Florczak K L . (2019). Meta-Aggregation: Just What Is It?. Nursing Science Quarterly, 32(1):11-11.
[4] PRISMA. Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA)
[5] 马克·W·利普西、戴维·B·威尔逊著,刘军,吴春莺译. 元分析(Meta-analysis)方法应用指导[M]. 重庆:重庆大学出版社出版, 2019: 前言-2。