囫囵智能辅导系统的有效性：一项元分析综述
英文原题：Effectiveness of Intelligent Tutoring Systems: A Meta-Analytic Review｜作者：James A. Kulik（密歇根大学）、J. D. Fletcher（美国国防分析研究所，Institute for Defense Analyses）｜发表出处：Review of Educational Research，2016 年 3 月，第 86 卷第 1 期，第 42–78 页；DOI: 10.3102/0034654315581420；© 2015 AERA。本译文所据文本为国防分析研究所 2017 年 2 月公开发布的报告版本（IDA Document NS D-8391，Log: H 17-000173；批准公开发布，分发无限制）。
摘要
本综述描述了对 50 项智能计算机辅导系统受控评估结果所作的一项元分析（meta-analysis）。在这 50 项评估中，智能辅导（intelligent tutoring）的中位效应是使测验成绩比常规水平提高 0.66 个标准差，即从第 50 百分位数提高到第 75 百分位数。然而，一项评估所发现的改进幅度在很大程度上取决于改进是用本地编制的测验还是标准化测验来测量的，这表明测验与教学目标的匹配程度是评估结果的一个关键决定因素。本综述还描述了两组未满足该元分析全部遴选要求的评估的结果：六项使用非常规控制组的评估，以及四项智能辅导系统实施有缺陷的评估。这些评估中智能辅导的效应很小，说明评估结果还受到控制处理的性质和项目实施充分程度的影响。
关键词：智能辅导系统、计算机辅助教学、辅导、元分析
引言（原文此处无标题）
计算机辅导是教育领域源远流长的辅导传统中的后来者。人类辅导在学校中的应用已有 2500 年历史——与学校存在的历史一样长——而计算机辅导基本上只是过去半个世纪的产物。最早进入学校课堂的计算机辅导系统（如 R. C. Atkinson, 1968; Suppes & Morningstar, 1969）带有当时程序教学（programmed instruction）运动的影响印记：它们以短小的片段或框面（frame）呈现教学，在教学过程中频繁提问，并对答案提供即时反馈（Crowder, 1959; Skinner, 1958）。20 世纪 70 年代和 80 年代，另一种类型的计算机辅导系统出现在研究实验室和课堂之中（如 Carbonell, 1970; Fletcher, 1985; Sleeman & Brown, 1982）。这些较新的系统以人工智能概念和认知理论为基础，通过按需从专家知识库中生成提示与反馈，引导学习者完成问题解决的每一步。第一代计算机辅导系统被回溯性地命名为 CAI 辅导系统（CAI tutors，即计算机辅助教学〔computer-assisted instruction，CAI〕辅导系统）；第二代系统通常称为智能辅导系统（Intelligent Tutoring System，ITS）（VanLehn, 2011）。
VanLehn (2011) 总结了关于不同类型辅导有效性的通行看法。按照 VanLehn 的说法，人们普遍认为 CAI 辅导系统通常能使考试分数比通常水平提高 0.3 个标准差，即从第 50 百分位数提高到第 62 百分位数。ITS 被认为更为有效，可使测验成绩提高约 1 个标准差，即从第 50 百分位数提高到第 84 百分位数。人类辅导则被认为最为有效，可使测验成绩提高 2 个标准差，即从第 50 百分位数提高到第 98 百分位数。
关于辅导有效性的这些通行看法建立在几十年前的研究之上。VanLehn (2011) 把”CAI 辅导系统产生约 0.3 个标准差增益”的信念归因于对 165 项研究的一项元分析综述（C.-L. C. Kulik & Kulik, 1991）；把”ITS 产生 1 个标准差增益”的信念归因于一篇被广泛引用的文章（Anderson, Corbett, Koedinger, & Pelletier, 1995），该文总结了若干项有影响的研究的结果。而”人类辅导可将学生学业水平提高 2 个标准差”的信念则源自 Bloom (1984) 的一篇有影响力的文章，他在文中创造了”两个标准差问题”（two-sigma problem）一词，用以指代对与人类辅导同样有效的其他教学方法的探寻。
较新的综述支持关于 CAI 辅导效应的通行看法。例如，1994 年的一项综述汇总了在八个不同研究中心完成的 12 项关于计算机本位教学的独立元分析的结果（J. A. Kulik, 1994）。每一项分析都得出了计算机本位教学能在中等程度上提升学生学习的结论。这 12 项元分析中，计算机本位教学的中位效应是测验成绩提高 0.38 个标准差，即从第 50 百分位数提高到第 64 百分位数。较近的 Tamim、Bernard、Borokhovski、Abrami 和 Schmid (2011) 综述了 25 项关于教学技术与学习的元分析的结果，其中没有任何一项涵盖 ITS。全部 25 项元分析中，教学技术的中位效应是测验成绩提高 0.35 个标准差；专注于 CAI 或计算机本位教学的 14 项分析中，中位效应为提高 0.26 个标准差。综合来看，Tamim 等 (2011) 与 J. A. Kulik (1994) 的综述表明，约三分之一标准差的成绩提升对 CAI 辅导研究而言是典型水平。
要找到支持人类辅导效应通行看法的证据则困难得多。Bloom (1984) 的”两个标准差”辅导效应主张，基于他的两名研究生完成的两项研究（Anania, 1981; Burke, 1980）。每项研究都将常规教学控制组的表现与两个掌握学习（mastery learning）组的表现进行比较，其中一个掌握学习组有受过训练的本科生辅导员协助，另一个没有。在没有辅导的情况下，掌握学习法使测验成绩比控制组成绩高出 1.2 个标准差；在掌握学习项目中加入本科生辅导员后，测验成绩又额外提高了 0.8 个标准差，总提升达 2.0 个标准差。因此，这一提升是辅导协助与特殊的掌握学习材料和程序相结合的效应。Anania (1981) 和 Burke (1980) 都没有单独评估辅导本身的效应。由于这两项研究把掌握学习处理与辅导处理混在一起，因此必须越过它们去寻找关于辅导效应的直接证据。
一项早期的元分析综述（Hartley, 1977）考察了中小学数学中的 29 项同伴辅导（peer tutoring）研究，报告辅导项目平均使数学测验成绩提高 0.60 个标准差。P. A. Cohen、Kulik 和 Kulik (1982) 报告，在 65 项中小学同伴辅导项目研究中，平均改进为 0.40 个标准差。Mathes 和 Fuchs (1994) 在 11 项针对轻度残障学生的阅读同伴辅导研究中发现 0.36 个标准差的改进。G. W. Ritter、Barnett、Denny 和 Albin (2009) 考察了小学成人辅导员的有效性，报告在 24 项研究中辅导使学生表现提高 0.30 个标准差。最后，VanLehn (2011) 总结了 10 项人类辅导研究的结果，其中包括 Anania (1981) 的研究。这 10 项研究中人类辅导的中位效应是测验成绩提高 0.79 个标准差；去掉 Anania 的研究后，中位提升为 0.68 个标准差。五项元分析中人类辅导的中位效应是表现提高 0.40，与 Bloom (1984) 的两个标准差效应相去甚远。
关于 ITS 对学生学习的效应大小，综述者尚未达成共识。最有利的结论来自对 Cognitive Tutor 的早期评估，它是所有 ITS 中使用最广的一个。例如，Corbett、Koedinger 和 Anderson (1997) 报告，早期版本的 Cognitive Tutor 平均使测验成绩提高 1 个标准差。这一平均值由三个来源计算得出：Anderson、Boyle、Corbett 和 Lewis (1990) 以及 Corbett 和 Anderson (1991) 报告的总体结果；Koedinger、Anderson、Hadley 和 Mark (1997) 的研究中所发现的本地编制测验上的改进；以及 Koedinger 和 Anderson (1993) 的研究中所发现的一名智能辅导程序熟练用户取得的改进。
近期有四篇综述报告了智能辅导的中等效应（Ma, Adesope, Nesbit, & Liu, 2014; Steenbergen-Hu & Cooper, 2014; U.S. Department of Education, Institute of Education Sciences, What Works Clearinghouse, 2009; VanLehn, 2011）。四者中最早的是”有效教育策略资料库”（What Works Clearinghouse，WWC）的综述，聚焦于 Cognitive Tutor 在初中数学中的使用。WWC 的评估者发现，在他们审查的 14 项研究中只有 1 项符合其可接受评估的标准。这项研究（S. Ritter, Kulikowich, Lei, McGuire, & Morgan, 2007）报告 Cognitive Tutor 使学生测验成绩提高 0.38 个标准差。由于 WWC 认为 0.25 个标准差及以上的效应具有实质重要性，他们将这一效应归类为潜在重要效应。
VanLehn (2011) 的元分析了 ITS 与无辅导组之间学习结果的 54 项比较。这 54 项比较来自 28 项独立的评估研究。54 项比较中 ITS 的平均效应是测验成绩提高 0.58 个标准差。VanLehn 将这 54 项比较中使用的 ITS 分为基于步骤的（step-based）或基于子步骤的（substep-based）两类。基于步骤的辅导就学生解题通常采取的步骤提供提示和解释；基于子步骤的辅导是一种更新、更精细的方法，在更细的层面上提供支架和反馈。然而，基于步骤的辅导使测验成绩提高了 0.76 个标准差，而基于子步骤的辅导仅使测验成绩提高 0.40 个标准差。VanLehn 的发现隐含着一个悖论：较旧、较简单的 ITS 对学生表现有强烈影响，而更新、更精密的 ITS 似乎并不比”非智能”的 CAI 辅导系统更有效。
Steenbergen-Hu 和 Cooper (2014) 的元分析综述考察了 35 项 ITS 在高校中有效性的评估。研究者发现 ITS 总体上使测验成绩提高约 0.35 个标准差，但他们也报告控制组的类型强烈影响评估结果。在控制组不接受任何教学的评估中，ITS 成绩比控制组高 0.86 个标准差；在控制组接受常规教学的评估中高 0.37 个标准差；在控制组接受人类辅导的评估中，则比控制组低 0.25 个标准差。最后，Ma 等 (2014) 的元分析了来自 73 份独立报告的 107 项结果。107 项比较中 ITS 的平均效应是测验成绩提高 0.43 个标准差。此外，Ma 等报告 ITS 效应随所用 ITS 的类型、研究中控制组的性质、所采用的结果测量等因素而变化。
近期另有三篇综述报告 ITS 的使用并未带来学业表现的真实改进（Slavin, Lake, & Groff, 2009; Steenbergen-Hu & Cooper, 2013; U.S. Department of Education, Institute of Education Sciences, What Works Clearinghouse, 2009）。WWC 与 Slavin 等 (2009) 的综述聚焦于 Cognitive Tutor 的评估。WWC 的审查者审查了 27 项高中 Cognitive Tutor Algebra I 的评估，其中只有 3 项符合其全部分析标准，另有 3 项附保留地符合标准。六项评估的结果并不一致，但平均效应非常接近零，相当于测验成绩从第 50 百分位数降到第 49 百分位数。Slavin 等分析了初中和高中数学课程中开展的评估。他们找到 13 项评估，但其中只有 7 项符合其对可接受研究的要求。在这 7 项评估中，Cognitive Tutor 平均使学生测验成绩提高 0.12 个标准差。Slavin 等认为这一效应微不足道——低于其设定的实质重要性效应门槛（0.20 个标准差）。
Steenbergen-Hu 和 Cooper (2013) 的元分析考察了 26 份关于 K–12 数学学习的报告。基于报告中描述的 34 项比较，Steenbergen-Hu 和 Cooper 得出结论：ITS 对这些年级的学习几乎没有或完全没有总体效应。ITS 学生与控制组学生的测验成绩总体上仅相差约 0.05 个标准差，微不足道。研究者注意到，在持续时间不足 1 年的研究中，ITS 效应为正且略大；然而，在两项专门旨在帮助被归类为低成就学生的研究中，效应明显为负。
关于 ITS 有效性的共识如此缺乏，令人瞩目。疑问从四面八方涌来。ITS 究竟有多有效？它们是大幅、中度、小幅提升学生表现，还是毫无提升？如果 ITS 确有正效应，其有效性是否随着近年来系统的精细调优而下降了？如何解释各综述关于 ITS 有效性的结论之间的显著差异？本综述使用元分析方法回答这些问题。
方法
Glass、McGaw 和 Smith (1981) 确定了元分析的四个步骤：(a) 检索研究，(b) 为研究特征编码，(c) 测量研究效应，(d) 对研究结果进行统计分析和合并。
检索研究
我们采用两阶段程序为本次分析检索研究。首先，通过电子图书馆数据库的计算机检索汇集大量候选报告；然后逐份审查候选报告，以确定其中是否包含可用于元分析的相关数据。
候选报告
为此，我们对来自四个来源的数据库进行了计算机检索：(a) 教育资源信息中心（Educational Resources Information Clearinghouse，ERIC），(b) 国家技术信息服务局（National Technical Information Service），(c) ProQuest 学位论文数据库（ProQuest Dissertations and Theses），(d) Google 学术搜索。我们针对各数据库的特点设计了检索策略：
- ERIC 检索聚焦于带有”intelligent tutoring system”（智能辅导系统）叙词以及”instructional effectiveness”（教学有效性）、“comparative analyses”（比较分析）、“computer software evaluation”（计算机软件评估）三个叙词中一个或多个的文献。ERIC 检索得到 104 份报告。
- 国家技术信息服务局检索聚焦于主题字段含有文本串”intelligent tutoring systems”的文献。该检索得到 120 份文献。
- ProQuest 学位论文检索针对标题、摘要或关键词字段同时含有文本串”intelligent tutoring”和某种形式的”evaluate”（评估）一词的记录。该检索得到 98 篇学位论文。
- Google 学术搜索聚焦于全文含有”intelligent tutoring”（智能辅导）、“evaluation”（评估）、“control group”（控制组）、“learning”（学习）等字符串的报告，得到 1570 份报告，由 Google 学术按与检索词的相关度排序。我们在其列出的最前面的文献中发现许多有用的报告，但收益迅速递减；在大约 200 份文献之后，Google 学术不再提供有用的新线索。因此我们只把前 250 份报告加入候选报告清单。
我们还从上述四个数据库检索所得综述的参考文献列表出发追溯，找到了更多候选报告。有两篇综述特别有用：VanLehn (2011) 的综述（考察了 28 项 ITS 评估的结果）和 Carnegie Learning (2011) 的参考文献清单（列有 30 项对其 Cognitive Tutor 的评估）。考虑到这些检索所得文献之间的重叠，我们估计检索共为本次分析产生了约 550 份互不重复的候选报告。
最终数据集
在审查了一小部分候选报告样本之后，我们拟定了一份要求清单，评估必须满足这些要求才能被本元分析接受。最重要的要求是：处理组确实接受了 ITS 教学。CAI 辅导系统至今仍在被开发、使用和评估，它们有可能与 ITS 混淆。
Carbonell (1970) 是最早明确区分这两类辅导系统的人之一。按照 Carbonell 的说法，计算机辅导系统要么是框面导向的（frame oriented），要么是信息结构导向的（information structure oriented）。我们现在把 Carbonell 所说的框面导向辅导系统称为 CAI 辅导系统；他所说的信息结构导向辅导系统如今被称为 ITS。框面导向的系统依靠框面——预先编写的材料块——来引导教学；信息结构导向的系统依靠有条理的知识库或信息结构（information structure），由计算工具和对话生成工具从这些结构中提取相关信息，与学习者进行辅导交互。Carbonell 因此强调了智能辅导的两个关键界定特征：(a) 一个信息结构，即知识库；(b) 从这些结构中提取相关信息的计算工具和对话生成工具。
Fletcher (1982, 1985) 扩展了 ITS（当时常被称为智能计算机辅助教学〔intelligent computer-assisted instruction，ICAI〕）的定义，使之包含三个关键特征：(a) 显式的领域知识模型，包含专家在解决该领域问题时理解并运用的基石、概念和规则；(b) 动态的学生模型，跟踪学生在该领域上的知识状态；(c) 教学模块，针对特定学生选择在特定情境中适用的辅导策略与行动。Anderson 及其同事（Anderson et al., 1990; Anderson & Reiser, 1985）补充了第四个界定特征：供学生与系统灵活通信的用户界面。多年来，这四个结构特征被公认为 ITS 教学的界定特征。
VanLehn (2006) 指出，今天的 ITS 形态、规模和设计各异，但无论其结构如何，它们都具有共同的行为特征。为区分 CAI 辅导系统与 ITS，VanLehn 首先描述了两类辅导行为：(a) 外层循环（outer loop）行为，为学习者提供题目层面的支持，包括对其解题结果的适当反馈和适当的新题目；(b) 内层循环（inner loop）行为，包括提示、暗示以及学生在解题过程中获得的其他支持。在 VanLehn 看来，ITS 同时表现出内层与外层循环行为，而 CAI 辅导系统只表现出外层循环行为。
尽管专家们在如何定义智能辅导上可能存在分歧，但对于某个具体辅导系统是否智能，他们通常意见一致。因此，我们对识别 ITS 采取了务实的做法。在做出最终决定之前，我们考察三个因素。第一，评估者是否把该计算机辅导系统归类为 ITS？第二，该领域的专家是否也将其归类为 ITS？第三，该计算机辅导系统是否像人类辅导员一样，在学生解题的过程中为其提供帮助，而不只是在其记录解答之后才提供帮助？
除聚焦于智能辅导之外，评估还须满足另外七项要求：
- 纳入元分析的评估既可以是现场评估（field evaluation），也可以是实验室研究，但所有评估必须采用实验设计或准实验设计（quasi-experimental design）。计算机检索所得的 550 份候选报告中，大多数未达到这一基本要求。候选报告库中包括规划文件、软件开发报告、印象式评估、个案研究、综述文献和单组研究。这些报告没有一份能提供可用于我们分析的结果。
- 控制组必须接受常规教学。控制组既可以是常规班级，也可以是接受与常规教学十分相近的教学的特别组建小组。控制组使用从 ITS 计算机交互中提取的材料的评估不可接受，例如”现成文本”组，以及研读由 ITS 对话记录改写材料的替代学习（vicarious-learning）组（如 Craig, Sullins, Witherspoon, & Gholson, 2006; Graesser et al., 2004; VanLehn et al., 2007）。控制组由人类辅导员或 CAI 辅导系统施教、或不接受任何相关教学的评估同样不可接受。
- 学业成就结果必须量化测量，且在处理组与控制组中以相同的方式测量。本地编制的后测和标准化测验的结果均可接受。标准化测验包括学区、州和全国性评估以及已出版的测验。学校课程成绩不是可接受的结果测量，因为处理班与控制班的不同教师往往按不同标准给分。在本元分析中同样不可接受的，还有在处理进行期间所做的过程测量。
- 处理必须覆盖至少一个习题集或作业，且处理持续时间至少为 30 分钟。现场评估的持续时间通常长得多，很容易满足这一要求；实验室研究通常只覆盖少量作业或习题集，持续时间通常很短。
- 处理的实施必须在计算机系统或项目管理上没有重大故障。凡被软件或硬件故障实质性干扰的实施，其结果被排除在本元分析之外。
- 处理组与控制组在评估开始时必须相似。凡前测差异达到 0.5 个标准差及以上的评估，一律从数据集中剔除。这一量级的差异太大，无法用增益分数（gain score）分析或协方差分析（covariance analysis）等技术加以调整。实验组与控制组取自不同总体的评估（如处理组为志愿者而控制组为非志愿者）同样被剔除。
- 研究的结果测量与处理教学或控制教学过度匹配（overalignment）也是将评估排除出分析的原因。例如，当结果测量所用的测题包含在处理组或控制组的教学材料之中时，就发生了过度匹配。
550 份候选报告中只有 50 份所描述的评估满足上述全部要求，从而有资格用于本元分析。除了可接受比较的结果之外，这 50 份报告中有少数几份还包含不可接受比较的结果，例如与实施不佳的 ITS 或不充分控制组的比较。只有充分比较的结果才被纳入元分析。
描述评估特征
我们用 15 个变量描述评估的特征（表 1）。这 15 个变量及编码类别的选择，既以我们对评估的初步审查为指引，也参考了我们对其他智能辅导与 CAI 辅导综述的考察。我们最初把某些观测编码为连续测量（如研究年份、样本量、研究时长），后来又将其重新编码为有序类别。分类化有助于解决连续测量中的偏态、非正态和离群值（outlier）给分析带来的问题。
表 1｜15 项研究特征及相应的编码类别
| 研究特征 | 编码类别 |
|---|---|
| 国家 | 1 = 美国；2 = 其他 |
| 发表年份 | 1 = 2000 年及以前；2 = 2001–2005 年；3 = 2006 年及以后 |
| 年级层次 | 1 = K–12；2 = 高等教育 |
| 学科 | 1 = 数学；2 = 其他 |
| 研究类型 | 1 = 实验：处理组与控制组在有无智能辅导的条件下完成相同作业的短期研究；2 = 现场评估：比较常规教学班与智能辅导班表现的研究 |
| 样本量 | 1 = 80 人及以下；2 = 81–250 人；3 = 251 人及以上 |
| 研究时长 | 1 = 4 周及以内；2 = 5–16 周；3 = 17 周及以上 |
| 智能辅导系统类型 | 1 = 基于步骤；2 = 基于子步骤 |
| 是否 Cognitive Tutor 研究 | 1 = 否：非对 Carnegie Learning 公司 Cognitive Tutor 项目现行或早期版本的评估；2 = 是：对此类软件的评估 |
| 分组方式 | 1 = 自然组：以既有班级或小组分配至处理与控制条件；2 = 随机：参与者被随机分配至各条件 |
| 教师效应 | 1 = 不同教师：由不同教师教处理组与控制组；2 = 同一教师：由同一位或同几位教师教处理组与比较组 |
| 前处理差异 | 1 = 未调整后测：后测均值未就前测差异作调整；2 = 调整后测：增益分数或经协方差、回归调整的后测均值 |
| 发表偏倚 | 1 = 已发表：研究以期刊文章、已出版会议论文集或著作形式报告；2 = 未发表：研究以学位论文或技术报告形式报告 |
| 测验类型 | 1 = 本地：后测为本地编制；2 = 标准化：后测为商业、州或学区测验 |
| 测验题型 | 1 = 仅建构反应题：后测为问题解决测验、作文考试等；2 = 兼有建构反应题与客观题：后测兼含建构反应题与客观题；3 = 客观题：后测为多项选择题或其他固定备选格式测验 |
计算效应量的大小
实验效应量（effect size）定义为实验总体与控制总体后测均值之差除以组内总体标准差（Glass et al., 1981）。元分析者根据研究报告中的样本统计量来估计总体均值和标准差。我们制定了具体准则，帮助自己选择最合适的样本统计量来估计这些总体值。
均值差异
只要有可能，我们就从经协方差分析或回归分析调整了前处理差异的后测均值来估计均值差异。当研究未报告协方差或回归分析结果时，我们从处理组与控制组的前后测增益分数估计均值差异。对于既未提供调整均值也未提供增益分数均值的研究，我们从原始后测均值估计均值差异。制定这些准则，是为了最大限度地提高我们处理效应估计的精度。
标准差
我们在计算效应量大小时使用原始标准差，而非调整后的标准差。调整后的标准差包括增益分数标准差、协变量调整标准差，以及多因素实验设计中由组内方差导出的标准差。专家通常告诫不要用这类标准差计算效应量（如 Borenstein, 2009; Glass et al., 1981）。对于只报告了调整后标准差的报告，我们使用标准公式、并假定前测与后测之间的相关为 .60 来估计原始标准差。这一相关值是我们数据集中五项研究的中位数相关——这些研究或报告了前后测相关，或提供了可据以导出这一相关的数据（Arnott, Hastings, & Allbritton, 2008; Fletcher, 2011; Pek & Poh, 2005; Suraweera & Mitrovic, 2002; VanLehn et al., 2007）。
Glass 的 ES 与 Hedges 的 g
Tamim 等 (2011) 报告，在过去四十年间开展的 25 项教学技术元分析中，Hedges 的 g（Hedges’s g）与 Glass 的 ES（Glass’s ES）是最常用的两种效应量估计量。25 项元分析中有 10 项（共涵盖 239 项研究）只使用 Hedges 的 g 报告效应量，而 6 项元分析（涵盖 505 项研究）只使用 Glass 的 ES。其余元分析或使用别的效应量估计量（如相关系数），或使用未加说明的估计量，或混合使用多种估计量。
Glass 的 ES 与 Hedges 的 g 以不同的方式测量处理效应。Glass 的 ES 以控制组标准差为单位测量效应（Glass et al., 1981）；Hedges 的 g 使用合并的处理组与控制组标准差（Hedges & Olkin, 1985）。只要有可能，我们就为数据集中的研究同时计算 Hedges 的 g 与 Glass 的 ES，发现两个估计量之间相关极高（.97）。然而，在我们能够同时作出两种估计的 36 项研究中，Hedges 的 g 的平均值比 Glass 的 ES 的平均值低 0.05 个标准差；g 的中位数比 ES 的中位数低 0.08 个标准差。此外，在处理组与控制组标准差差异显著的情形中，两个估计量的数值分歧更大（如 Fletcher, 2011; Fletcher & Morrison, 2012; Gott, Lesgold, & Kane, 1996; Hastings, Arnott-Hill, & Allbritton, 2010; Le, Menzel, & Pinkwart, 2009; Naser, 2009; Reif & Scott, 1999）。
当可以假定处理组与控制组标准差相等时，使用合并标准差很有道理；而当两个标准差差异显著时，合并标准差的依据就不那么充分。例如，当一项高效的处理使一个异质总体的全部或几乎全部成员都达到一致的较高后测水平时，合并很可能就是错误的选择——这类高效处理会把标准差显著压低到正常水平之下。当一项处理对不同学生的影响差别极大时——例如大幅提高一些人的成绩而妨碍另一些人的成绩——合并标准差同样很可能是错误的选择；这类处理会把标准差抬高到正常水平之上。
我们同时用 Glass 的 ES 和 Hedges 的 g 报告结果，但以 Glass 的 ES 为主要重点，把 Hedges 的 g 作为重要的补充测量。我们偏好 Glass 的 ES，主要在于不愿一概假定各研究中控制组方差与处理组方差相等——而当标准差被合并时，通常正是要作这一假定。处理方差与控制方差不相等的例子实在太多，使我们无法安然接受”处理对方差没有影响”的假定。
统计分析
任何元分析都面临一个根本抉择：在合并效应量估计量时，使用加权均值还是未加权均值。Glass 等 (1981) 建议使用未加权均值；Hedges 和 Olkin (1985) 建议使用加权均值。Hedges 和 Olkin 所指派的权重，在固定效应（fixed-effect）分析与随机效应（random-effects）分析中有所不同。在固定效应分析中——所有研究可被假定共享一个共同的总体效应——他们以效应量观测估计量之标准误的倒数加权，这大体相当于按样本量加权。在随机效应分析中——共同潜在总体效应的假定站不住脚——他们使用一套更复杂的加权系统。
我们数据集中样本量与其他重要变量之间的高相关，使我们对完全或部分按样本量加权持谨慎态度。例如，数据集中几乎所有的大型研究评估的都是同一个软件程序 Cognitive Tutor，并且用现成的标准化测验、而非针对本地课程编制的本地测验来测量学习增益。此外，数据集中的大型研究历时更长，实施质量可能低于小型研究。如果我们在分析中只使用加权均值，结论就会在很大程度上受少数几项大型 Cognitive Tutor 评估的左右。举例来说，如果我们采用固定效应分析的权重，数据集中规模最大的评估（9840 名学生）所获权重将接近规模最小的评估（24 名学生）的 750 倍；按随机效应分析所分配的权重，最大评估所获权重大约是最小评估的 5 倍；不加权时，每项评估研究所获权重相同。
我们为初步分析计算未加权均值，但为补充分析也计算了加权均值。加权均值采用 Hedges 及其同事为随机效应分析开发的程序计算（Comprehensive Meta-Analysis，版本 2.2.064）。我们不报告任何固定效应分析的结果，因为固定效应模型不符合我们的数据集。固定效应模型无法准确刻画各评估所用的个别处理与测量的独特性和多样性。以我们的经验，对教育与社会科学的元分析数据集而言，固定效应模型几乎从来都不适用。
元分析的另一项决定，涉及如何处理包含多项结果的评估报告。有些元分析者为每项评估研究报告单一的效应量数值；有些则按研究中有多少独立组就报告多少数值。我们两种方法都用。初步分析中，每项研究以单一的效应量数值代表；补充分析中，每份评估报告以其所含独立组的数目代表。
结果
为本次元分析找到的 50 份报告是一个异质性很强的群体（表 2）。它们描述了近三十年间在四大洲开展的评估。所教内容从三年级减法中的”借位”一直到法学院入学考试（Law School Admissions Test，LSAT）中的分析推理题。评估发生在小学、高中、高校和军事训练机构。最短的评估提供不足 1 小时的智能辅导；最长的提供了三个学期（48 周）的智能辅导。
表 2｜50 项 ITS 评估的描述性信息与效应量（ES）。本表为 50 项纳入研究的逐项清单，列为：发表文献、学科与情境、参与者、处理（辅导系统）、步骤类型（SBT = 基于步骤的辅导；SSBT = 基于子步骤的辅导）、持续时间、后测、ES（ES = Glass 的效应量估计量；T = 处理组；C = 控制组）。各研究的 ES 从 3.18（Fletcher & Morrison, 2012，DARPA Digital Tutor）到 −0.34（Hategekimana, Gilbert, & Blessing, 2008）不等（完整数据见原文）。
原表在原文中跨多页排布，上图仅示首页（表头及前 10 项研究）；完整 50 项数据见原文。
总体效应
我们的初步分析以 Glass 的 ES 为效应量估计量，以评估研究为分析单位，以未加权均值代表合并效应。补充分析以 Hedges 的 g 为效应量估计量，同时以评估研究和评估结果为分析单位，并以加权均值和未加权均值代表总体效应。
主分析
在 50 项研究中，接受智能辅导的学生有 46 项（即 92%）在后测中优于控制组学生。在 50 项研究中的 39 项（即 78%）里，辅导增益大于 0.25 个标准差——按 WWC（U.S. Department of Education, Institute of Education Sciences, What Works Clearinghouse, 2013）的标准，这足以被认为具有实质重要性。因此，绝大多数研究发现的 ITS 效应不仅为正，而且大到足以对教学具有重要性。
50 项评估中最强的效应由 DARPA Digital Tutor 产生——这是一个为教导美国海军人员掌握信息系统技术员在值勤岗位环境下所需知识与技能而开发的 ITS。DARPA Digital Tutor 在两次独立的总括性评估中得到评估（Fletcher, 2011; Fletcher & Morrison, 2012）。每次评估都比较 Digital Tutor 课程与标准课堂课程的结课测验成绩。第一次评估中，Digital Tutor 课程历时 8 周，课堂课程历时 17 周；第二次评估中，Digital Tutor 课程历时 16 周，课堂课程历时 35 周。两次评估都以本地编制的第三方测验测量结果：一次 4 小时的笔试和一次由评审委员会主持的半小时口试。第一次评估还包括两项个人问题解决测验；第二次评估还包括对三人小组排除故障技能的测量，小组须响应实际的岸基支援请求。第一次评估的平均 ES 为 1.97（Fletcher, 2011）；第二次评估的平均 ES 为 3.18（Fletcher & Morrison, 2012）。
这两个 ES 都是离群值，而且是数据集中仅有的两个离群值——离群值在此定义为：至少比第 75 百分位数高出 1.5 个四分位距（interquartile range）的高值，或至少比第 25 百分位数低 1.5 个四分位距的低值。为防止这些极端值对结果产生不当影响，我们以第 95 百分位数值替代这两个离群值，并以第 5 百分位数值替代两个最低观测值，构建了一个 90% 缩尾处理（Winsorized）数据集。下文同时报告原始数据集与缩尾数据集的平均值。
原始数据集的 ES 中位数为 0.66，ES 均值为 0.65，标准差为 0.56。缩尾数据集中，中位数为 0.66，均值为 0.61，标准差为 0.38。测验成绩比常规水平提高 0.66 个标准差，相当于从第 50 百分位数提高到第 75 百分位数。按照 J. Cohen (1988) 的标准，0.20 个标准差的效应为小，0.50 个标准差为中等，0.8 个标准差为大。按这些标准，智能辅导的平均 ES 属于中等到大的范围。
补充分析
我们对 50 项研究中所含的 63 项独立比较计算了同样的统计量。分析单位的这一改变对结果影响甚微。例如，在 63 项独立比较的数据集中，ES 中位数为 0.63；ES 均值在不缩尾时为 0.62，缩尾后为 0.59。63 项比较中有 58 项（即 92%）ITS 组得分高于控制组；有 49 项（即 78%）比较中因使用 ITS 带来的改进具有实质重要性，即大于 0.25 个标准差。
在不加权均值的情况下用 Hedges 的 g 计算同样的统计量，结果只有细微差异。以评估研究为分析单位时，50 个案例的 g 中位数为 0.64；g 均值不缩尾时为 0.62，缩尾后为 0.60。以独立比较为分析单位时，63 项比较的 g 中位数为 0.61；g 均值不缩尾时为 0.59，缩尾后为 0.57。然而，当我们在分析中使用加权均值时，结果有所变化。以评估报告为分析单位、按随机效应模型加权时，平均 g = 0.50，95% CI [0.40, 0.59]，p < .001；以评估结果为分析单位、按随机效应模型加权时，平均 g = 0.49，95% CI [0.40, 0.58]，p < .001。
评估特征与总体效应的关系
尽管 ITS 大多以中等到较大的幅度改进学习，但其效应在有些研究中非常大，在另一些研究中则接近于零。为确定研究特征是否与结果的变异有关，我们以研究特征为自变量、效应量为因变量，进行了一系列单因素方差分析（analysis of variance，ANOVA）。
主分析
主分析的因变量为 Glass 的 ES，分析单位为评估研究，并使用缩尾数据集，以防离群值对分析产生过大影响。结果显示，测验类型是与 ES 关系最密切的研究特征（表 3）。以本地测验为结果测量的评估中 ES 大（平均 ES = 0.73），以标准化测验的评估中 ES 小（平均 ES = 0.13），兼用两者的评估中 ES 居中（平均 ES = 0.45）。另有五项研究特征也与 ES 强烈相关：样本量、参与者的年级层次、所教学科、测验题型，以及评估中所用的辅导系统。具体而言，当 (a) 结果以标准化测验而非本地测验测量，(b) 样本量大，(c) 参与者年级层次较低，(d) 所教学科为数学，(e) 用多项选择测验测量结果，以及 (f) 评估所用的 ITS 为 Cognitive Tutor 时，研究效应较小。
表 3｜研究特征与研究效应的关系
| 研究特征 | 与 ES 的 r | 类别 | N | M | SD |
|---|---|---|---|---|---|
| 测验类型 | −.63*** | 1 = 本地 | 38 | 0.73 | 0.32 |
| 2 = 本地与标准化兼用 | 3 | 0.45 | 0.24 | ||
| 3 = 标准化 | 9 | 0.13 | 0.17 | ||
| 样本量 | −.55*** | 1 = 80 名参与者及以下 | 26 | 0.78 | 0.34 |
| 2 = 81 至 250 名参与者 | 10 | 0.53 | 0.31 | ||
| 3 = 250 名以上参与者 | 13 | 0.30 | 0.30 | ||
| 年级层次 | .41** | 1 = 小学与高中 | 23 | 0.44 | 0.33 |
| 2 = 高等教育 | 27 | 0.75 | 0.36 | ||
| 学科 | .41** | 1 = 数学 | 18 | 0.40 | 0.34 |
| 2 = 其他 | 32 | 0.72 | 0.35 | ||
| 测验题型 | −.33* | 1 = 仅建构反应题 | 15 | 0.84 | 0.26 |
| 2 = 建构反应题与客观题兼有 | 14 | 0.47 | 0.36 | ||
| 3 = 仅客观题 | 17 | 0.53 | 0.44 | ||
| 是否 Cognitive Tutor 研究 | −.28* | 1 = 否 | 35 | 0.68 | 0.34 |
| 2 = 是 | 15 | 0.45 | 0.42 | ||
| 国家 | .26 | 1 = 美国 | 39 | 0.56 | 0.38 |
| 2 = 其他 | 11 | 0.79 | 0.31 | ||
| 发表偏倚 | −.25 | 1 = 已发表 | 35 | 0.67 | 0.35 |
| 2 = 未发表 | 15 | 0.46 | 0.42 | ||
| 发表年份 | −.21 | 1 = 2000 年及以前 | 12 | 0.78 | 0.21 |
| 2 = 2001 至 2005 年 | 14 | 0.55 | 0.40 | ||
| 3 = 2006 年以后 | 24 | 0.56 | 0.41 | ||
| 前处理差异 | −.17 | 1 = 未调整后测 | 14 | 0.72 | 0.39 |
| 2 = 调整后测 | 35 | 0.58 | 0.37 | ||
| 分组方式 | −.15 | 1 = 自然组 | 32 | 0.67 | 0.38 |
| 2 = 随机分配 | 13 | 0.55 | 0.38 | ||
| 研究时长 | −.13* | 1 = 7 周及以内 | 22 | 0.64 | 0.33 |
| 2 = 8 周及以上 | 25 | 0.54 | 0.42 | ||
| 教师效应 | .10 | 1 = 不同教师 | 16 | 0.55 | 0.43 |
| 2 = 同一教师 | 30 | 0.63 | 0.37 | ||
| 辅导步骤 | .02 | 1 = 基于步骤 | 41 | 0.60 | 0.39 |
| 2 = 基于子步骤 | 9 | 0.63 | 0.31 | ||
| 研究类型 | .01 | 1 = 实验研究 | 15 | 0.60 | 0.33 |
| 2 = 现场评估 | 35 | 0.61 | 0.40 |
注：ES = Glass 的效应量估计量。*p < .05。**p < .01。***p < .001。
补充分析
我们以下列效应量估计量与分析单位平行进行了三个系列的方差分析：(a) 以 Glass 的 ES 为估计量、以评估结果为分析单位；(b) 以 Hedges 的 g 为估计量、以评估研究为分析单位；(c) 以 Hedges 的 g 为估计量、以评估结果为分析单位。每次分析都使用 90% 缩尾数据集，以防离群值对结果产生过大影响。这些方差分析的结果与表 3 的结果相似。每一组分析都显示，测验类型是与效应量关系最密切的研究特征，也都发现上述另外五项研究特征与效应量强烈相关。
我们还以 Hedges 的 g 为效应量估计量、以 Hedges 的同质性程序（homogeneity procedures）为分析方法，对 90% 缩尾数据集进行了两项补充分析：一项以评估研究为单位，另一项以评估结果为单位。总体而言，这些分析证实了方差分析的主要发现。与其他分析一样，测验类型是与研究结果关系最密切的研究特征。例如，在以评估研究结果为分析对象的同质性分析中，结果以本地测验测量时平均 g 为 0.62，以标准化测验测量时为 0.09，兼用两者时为 0.46。此外，方差分析中与 ES 显著相关的另外五项研究特征，在这些同质性分析中也与 g 显著相关。不过，同质性分析还检测到 Hedges 的 g 与另外五项研究特征之间存在显著但较小的关系，包括：参与者分配到处理组与控制组的方法、评估开展所在的国家、评估开展的年份、以周计的评估时长，以及评估报告是否发表。
关键研究特征
值得注意的是，与效应量显著相关的许多特征（表 3）彼此高度相关。例如，标准化测验几乎只用于对美国初高中 Cognitive Tutor Algebra 的大规模评估，因此测验类型与样本量、所教学科、年级层次高度相关：测验类型与样本量的相关为 .60，与所教学科的相关为 .62，与年级层次的相关为 −.59。
少数几个深层影响——也许是一个单一因素——很可能就能解释表 3 中研究特征与效应量之间的许多显著关系。为识别这些根本影响，我们不仅考察了不同类别研究之间的效应，还考察了研究内部不同条件下的效应。此外，我们还考察了若干无法用于主元分析的研究的发现。我们发现，至少有三个因素对评估结果有实质性影响：(a) 研究所用后测的类型，(b) 研究中控制组的类型，(c) ITS 实施的保真度。
测验类型
在我们的初步分析和补充分析中，这是把大效应研究与小效应研究区分得最清楚的研究特征。Koedinger 等 (1997) 的一项早期研究揭示了测验类型影响评估结果的方式。该研究考察了实用代数辅导系统（Practical Algebra Tutor，Cognitive Tutor 的早期版本）对两类后测的效应：与该程序所强调的问题解决目标相匹配的本地编制测验，以及不强调问题解决的标准化多项选择测验。研究者发现，本地编制测验上的效应很大（平均 ES = 0.99），标准化测验上的效应较小（平均 ES = 0.36）。他们得出的结论是：Practical Algebra Tutor 在教授其旨在教授的高阶技能方面非常有效，而且并未对标准化测验上的表现产生负面影响。
后来对 Cognitive Tutor 的研究发现了同样的结果模式。例如，Corbett (2001b, 2002) 考察了 Cognitive Tutor 对本地编制的问题解决测验，以及由国际、全国和州评估公开题组成的多项选择测验的效应。对七年级学生而言，本地问题解决测验上的效应大（平均 ES = 0.71），多项选择题上的效应微不足道（平均 ES = 0.18）；对八年级学生而言，本地问题解决测验上的效应小（平均 ES = 0.28），多项选择题上的效应更小（平均 ES = 0.13）。
这一模式在全部 15 项 Cognitive Tutor 研究中依然成立（表 4）。总体而言，Cognitive Tutor 显著且大幅度地提高了学生在本地测验上的表现，但对学生标准化测验上的表现既无帮助也无妨碍。Cognitive Tutor 评估中标准化测验的平均 ES 为 0.12，而本地测验的平均 ES 为 0.76；标准化测验的 ES 中位数为 0.16，本地测验的 ES 中位数为 0.86。也就是说，Cognitive Tutor 提高了学生在与其课程目标高度匹配的本地编制问题解决测验上的表现，却没有提高学生在强调再认技能的多项选择标准化测验上的表现。
表 4｜15 项 Cognitive Tutor 研究中按测验类型划分的效应（ES）
| 文献 | 本地 | 标准化 | 总体 |
|---|---|---|---|
| Anderson, Boyle, Corbett, and Lewis (1990) | 1.00 | 1.00 | |
| Arbuckle (2005) | 0.74 | 0.74 | |
| Cabalo and Vu (2007) | 0.03 | 0.03 | |
| Campuzano, Dynarski, Agodini, and Rall (2009) | −0.10 | −0.10 | |
| Corbett (2001b) | 0.71 | 0.18 | 0.45 |
| Corbett (2002) | 0.28 | 0.13 | 0.21 |
| Corbett and Anderson (2001) | 1.00 | 1.00 | |
| Koedinger and Anderson (1993) | 0.35 | 0.35 | |
| Koedinger, Anderson, Hadley, and Mark (1997) | 0.99 | 0.36 | 0.68 |
| Pane, McCaffrey, Slaughter, Steele, and Ikemoto (2010) | −0.19 | −0.19 | |
| Pane, Griffin, McCaffrey, and Karam (2013) | 0.20 | 0.20 | |
| Reiser, Anderson, and Farrell (1985) | 1.00 | 1.00 | |
| S. Ritter, Kulikowich, Lei, McGuire, and Morgan (2007) | 0.40 | 0.40 | |
| Shneyderman (2001) | 0.22 | 0.22 | |
| Smith (2001) | −0.07 | −0.07 | |
| Mdn（中位数） | 0.86 | 0.16 | 0.35 |
注：ES = Glass 的效应量估计量。
我们还进行了几项分析，以确定在测验类型保持恒定的条件下，研究特征是否仍与效应量相关。这些分析使用 90% 缩尾样本，以防离群值产生不当影响。我们发现，在测验类型保持恒定时，研究特征与效应量无关。在以本地测验测量结果的 38 份评估报告中，研究特征与效应量大小之间没有任何显著关系；在以标准化测验测量结果的 9 项评估中也没有。无论效应量估计量是 Glass 的 ES 还是 Hedges 的 g，情况都是如此；无论用标准方差分析、相关分析还是 Hedges 的同质性程序来研究这些关系，结果也都没有差别。
控制条件
除考察采用常规控制组的研究之外，我们还考察了 6 份使用非常规控制组的报告的结果，共涵盖 11 项独立实验（表 5）。非常规控制组有两类。第一类实验中，控制组学生阅读从 ITS 计算机交互中派生的特殊材料，因此控制组所用的教学材料与 ITS 材料有所重叠。Graesser 等 (2004) 把这类控制材料称为”精简课本式”（textbook-reduced）；VanLehn 等 (2007) 称之为”现成文本”（canned text）。第二类实验中，控制组学生只是观看其他学生受辅导过程的录像。因此，这些控制组学生接受了与 ITS 学生相同的解释和反馈，但只针对与其配对（yoked）的 ITS 组学生做错的题目。
这些研究中的效应大多很小。六份报告中辅导的最强正效应是后测成绩提高 0.50 个标准差；最大负效应为降低 −0.36 个标准差。六个 ES 的中位数为 0.24，均值为 0.18。这一平均 ES 大大低于采用常规控制组的评估中的平均 ES（0.60）。我们对这些数据进行了若干补充分析，改变分析单位和效应量估计量，所得结果与初步分析相似。
表 5｜六项无常规控制组的 ITS 研究的描述性信息与效应量（ES）
| 文献 | 学科与情境 | 参与者 | 处理 | 步骤 | 持续时间 | 后测 | ES |
|---|---|---|---|---|---|---|---|
| Craig, Driscoll, and Gholson (2004)，实验 1 与 2 | 计算机素养，孟菲斯大学 | 230 名学生（88 T，142 C） | AutoTutor，对比配对控制组与替代辅导控制组 | SSBT | 1 次课，37 分钟 | 本地 | 0.46 |
| Craig, Sullins, Witherspoon, and Gholson (2006)，实验 1 与 2 | 计算机素养，孟菲斯大学 | 267 名学生（61 T，206 C） | AutoTutor，对比替代学习条件 | SSBT | 1 次课，37 分钟 | 本地 | 0.50 |
| Gholson et al. (2009) | 计算机素养（8、10 年级）；牛顿物理（9、11 年级） | 342 名学生（112 T，230 C） | AutoTutor，对比 2 个替代学习条件 | SSBT | 1 次课，37 分钟 | 本地 | 0.04 |
| Lane and VanLehn (2005) | 计算机编程，匹兹堡大学，2004 年春 | 25 名学生（12 T，13 C） | ProPl，对比阅读相同内容 | SSBT | 6 周 | 本地 | 0.33 |
| VanLehn et al. (2007)，实验 1、3、5、6 | 物理，孟菲斯大学及其他数所大学 | 290 名学生（188 T，102 C） | Atlas 与 AutoTutor，对比现成文本 | SSBT | 1 或 2 次课，总计 2–4 小时 | 本地 | 0.14 |
| Weerasinghe and Mitrovic (2006) | 数据库设计，新西兰克赖斯特彻奇坎特伯雷大学，2002 年 7 月 | 94 名学生（35 T，59 C） | KERMIT-SE，对比削减式 KERMIT（cutback KERMIT） | SSBT | 2 周（T 组 99 分钟，C 组 105 分钟） | 本地 | −0.36 |
注：T = 处理组；C = 控制组；SBT = 基于步骤的辅导；SSBT = 基于子步骤的辅导；ES = Glass 的效应量估计量。
应当指出，所有六项采用非常规控制条件的研究评估的都是基于子步骤的辅导，没有一项考察基于步骤的辅导。因此，这六项研究中有两个变量混淆在一起：控制条件的类型与智能辅导的类型。这些研究中 ES 偏低究竟应由哪一个负责？这六项研究本身无法给出答案，但我们可以回过头来看采用常规控制组的基于步骤与基于子步骤的研究（见表 3），从而回答这一问题。41 项采用常规控制组的基于步骤辅导研究的平均 ES 为 0.60，9 项采用常规控制组的基于子步骤辅导研究的平均 ES 为 0.63。因此，较为稳妥的结论是：表 5 所列六项研究中较低的 ES 应归因于研究中的控制条件，而非所评估 ITS 的类型。
实施充分性
智能辅导实施的充分程度也影响评估结果的力度。这方面的证据来自四项同时报告了较弱实施与较强实施数据的研究。较强实施的 ES 中位数为 0.44；较弱实施的 ES 中位数为 −0.01。开展这些评估的评估者并未在研究中直接操纵实施充分程度；实施充分程度的变化，反而源于只波及部分实验的技术或培训弱点。评估者对结果的报告足够详细，因而可以将实验中较弱部分与较强部分的效应加以对比。
例如，Koedinger 和 Anderson (1993) 比较了一名经验丰富的 ITS 教师与两名初次接触 ITS 教学的教师所取得的结果。在经验丰富的教师手中，ITS 使表现提高 0.96 个标准差；而在缺乏智能辅导经验的教师手中，ITS 对学生表现产生了负效应，ES 为 −0.23。经验有限的教师把 ITS 当作教师的替代品，当学生在计算机上学习时，他们批改试卷、处理类似事务。相反，那位经验丰富的教师认为 ITS 为他提供了给学生更多个别化帮助的机会：当学生与 ITS 互动时，他在教室里巡视，给需要帮助的学生额外辅导，并用追加问题向其他学生提出挑战。经验有限的教师即使与学生互动，也往往聚焦于教学技术的设计特性，而经验丰富的教师则迅速引导学生越过技术界面，把他们的注意力引向几何内容本身。
Le 等 (2009) 考察了一次 1 小时的智能辅导课对学生逻辑编程技能的效应。这次智能辅导课分两个不同日期进行。第一天，智能辅导的实施很差：技术问题造成计算机辅导系统响应的长延迟（如 1 分钟的延迟）。第一天智能辅导的平均 ES 为 0.01。到实验第二天，技术问题得到解决，智能辅导的平均 ES 升至 0.31。
Pane、Griffin、McCaffrey 和 Karam (2013) 发现，Cognitive Tutor Algebra I 实施的第一年与第二年的效应显著不同。在 Cognitive Tutor 项目实施的第一年，评估纳入了近 1 万名代数 I 学生，第二年又纳入了另外 1 万名学生。Pane 等报告，教师初次使用 Cognitive Tutor 时，它对学生测验成绩没有显著效应（平均 ES = −0.06）；而当教师第二次使用时，它产生了幅度虽小但高度显著的正效应（平均 ES = 0.20）。
最后，VanLehn 等 (2005) 报告了 Andes 辅导系统在美国海军学院使用 5 年的结果。第一年，Andes 系统呈现给学生的物理问题相对较少，程序中包含的错误也相对较多。项目第一年，小时考试的 ES 为 0.21。项目第二至第五年，物理问题的数量有所增加，错误得到修复。这 5 年小时考试的平均 ES 为 0.57。
讨论
这项元分析表明，ITS 可以是非常有效的教学工具。在 50 项受控评估中，有 46 项（即 92%）接受智能辅导的学生表现优于常规班级的学生；在 50 项研究中有 39 项（即 78%）的表现改进大到足以被认为具有实质重要性。50 项研究的 ES 中位数为 0.66，按社会科学研究的标准属于中到大效应，大致相当于测验表现从第 50 百分位数提高到第 75 百分位数。
这一效应强于其他辅导形式的典型效应。例如，C.-L. C. Kulik 和 Kulik (1991) 的元分析在 165 项 CAI 辅导研究中发现平均 ES 为 0.31——ITS 的增益约为此数两倍。ITS 效应也大于人类辅导的典型效应。如前所述，人类辅导项目通常使学生测验成绩比控制水平提高约 0.4 个标准差。ITS 的开发者很久以前就立志超越 CAI 辅导的成功、并比肩人类辅导的成功。我们的结果表明，ITS 开发者已经同时实现了这两个目标。
ITS 效应也是稳健的。我们综述的 50 项受控评估发生在不同时间、不同地点、不同教育情境。尽管情境多样，中到强的 ITS 效应是常态。例如，本元分析的 50 项评估在四大洲的九个国家进行。其中 39 项（即 78%）在 ITS 的诞生地美国完成，11 项（即 22%）在美国之外完成。在美国境内开展的研究的平均 ES 为 0.56；在美国之外开展的研究的平均 ES 为 0.79。因此，ITS 不仅远离其起源国而广为传播，而且传播良好——它们在国外似乎与在国内同样有效。
在 50 项受控评估中，我们发现”中到强正效应”的规律存在一个重要例外。虽然在以本地测验测量结果的评估中效应为中到强，但在以标准化测验测量结果的评估中效应要小得多：采用本地测验的研究的平均 ES 为 0.73；采用标准化测验的研究的平均 ES 为 0.13。对同时包含本地测验和标准化测验的元分析而言，这种差异并不罕见。例如，Rosenshine 和 Meister (1994) 的元分析发现，相互教学（reciprocal teaching）系统使学生在本地测验上的表现提高 0.88 个标准差，但在标准化测验上只提高 0.32 个标准差。C.-L. C. Kulik、Kulik 和 Bangert-Drowns (1990) 的元分析发现，掌握学习系统使学生在本地测验上的表现提高 0.57 个标准差，但在标准化测验上只提高 0.29 个标准差。
我们应当相信哪一种测验？本地测验与标准化测验各有拥趸。一些评估者偏好本地测验，因为本地测验往往与特定教学项目的目标高度匹配，而现成的标准化测验匹配较松。偏好标准化测验的评估者则通常称赞其无偏。与可能由实验项目的开发者或支持者编写的本地测验不同，标准化测验几乎总是第三方事务——标准化测验的编制者很难在未来的评估研究中偏向这一方或那一方。
我们自己的看法是：本地测验和标准化测验都提供关于教学有效性的重要信息；只要可能，评估研究就应当同时包含这两类测验。我们认为 Koedinger 等 (1997) 在其开创性的 ITS 评估中同时纳入标准化测验与本地测验的做法是正确的。他们发现，ITS 在与课程匹配的本地测验上效应强，在未匹配的标准化测验上效应较小。这样，ITS 提高了它旨在教授的问题解决技能，而问题解决的提高并未以标准化测验所强调的再认技能为代价。我们猜想，同样的结论可能适用于一般 ITS。只有同时更广泛地把标准化测验与本地测验用于 ITS 评估，才能提供决定性的证据。
影响 ITS 评估结果的另一个因素，是研究使用的控制组类型。具体而言，采用常规控制组与非常规控制组的研究结果不同。采用常规控制组的研究中 ES 中位数为 0.66；用从 ITS 交互中派生的材料施教的非常规控制组研究中，ES 中位数为 0.28。采用非常规控制组的研究有助于确定 ITS 如何起作用，但对于 ITS 总体有效性这一问题，它们给不出有用的答案。
能够影响智能辅导项目结果的第三个因素，是项目实施的充分程度。直接测量实施充分程度的 ITS 评估极少，但四项研究表明：项目实施细致时，智能辅导效应较强；项目实施不精或技术问题波及实施时，效应较弱。实施充分程度是否影响了数据集中这四项之外的其他研究，尚不清楚。一方面，我们没有把报告了实施缺陷的实施结果纳入主分析，因此效应可能很小；另一方面，在我们纳入分析的某些大型研究中，ITS 对教师而言尚属新事物，教师有限的 ITS 经验可能影响了其课堂中的结果。
我们的元分析发现，为其他 ITS 综述所得出的一些原本令人费解的结论提供了线索。例如，对 Cognitive Tutor 评估的综述就其有效性得出了相互矛盾的结论。早期综述报告 Cognitive Tutor 大幅改进学生表现（如 Corbett et al., 1997），而晚近综述报告 Cognitive Tutor 对学生学习没有什么一致效应（如 Slavin et al., 2009; U.S. Department of Education, Institute of Education Sciences, What Works Clearinghouse, 2013）。我们发现，综述的结论取决于被综述研究中使用本地编制测验的比例。报告强正效应的早期综述，其结论完全基于本地测验的结果；报告 Cognitive Tutor 收效甚微或没有正效应的晚近综述，其结论完全基于标准化测验的结果。我们发现，Cognitive Tutor 评估中本地测验的 ES 中位数为 0.86，标准化测验的 ES 中位数为 0.16，全部测验的 ES 中位数为 0.35。
我们的分析还阐明了 VanLehn (2011) 辅导效应综述中一个出人意料的发现。具体而言，VanLehn 发现一种较旧、要求较低的 ITS 形式——他称之为基于步骤的辅导——的平均效应量为 0.76；而基于子步骤的 ITS——一种更新、更严格的方法——的平均效应量只有 0.40。在采用常规控制组的研究中，我们发现基于步骤与基于子步骤的 ITS 效应相近；但在采用非常规控制组的基于子步骤辅导研究中，我们发现的效应较小。我们把非常规控制组的研究排除出元分析，而 VanLehn 把它们纳入了分析。因此，他报告的基于子步骤辅导的低平均效应量，似乎更多应归因于其研究中的控制组类型，而非基于子步骤的辅导本身。
我们的发现与 Steenbergen-Hu 和 Cooper (2013) 的结论明显不同，后者报告 ITS 对 K–12 数学表现没有真实效应。在其元分析所含的 26 项研究中，他们发现平均效应约为 0.05 个标准差。与此相对，我们在 18 项关于中小学数学 ITS 有效性的研究中发现平均 ES 为 0.40：在 7 项以本地测验测量结果的研究中平均 ES 为 0.72，在 3 项兼以标准化测验和本地测验测量结果的研究中为 0.45，在 8 项仅以标准化测验测量结果的研究中为 0.10。
我们的元分析与 Steenbergen-Hu 和 Cooper (2013) 的发现之间的差异并非由单一因素造成，但必须指出，这两项元分析对 ITS 的界定不同。Steenbergen-Hu 和 Cooper 把 ITS 定义为”通过计算机运行的、自定步调、由学习者主导、高度自适应的交互式学习环境”（p. 983）。这一宽泛的定义，使他们把许多通常不被视为 ITS 的计算机系统纳入了元分析。具体来说，他们的元分析包含了对 iLearnMath、Larson Pre-Algebra、Larson Algebra、Plato Algebra、Plato Achieve Now 等 CAI 系统，以及 Biesinger 和 Crippen (2008) 研究中使用的一个在线补习系统的评估。这些系统未被其开发者归类为 ITS，大多数智能辅导专家也不会把它们视为 ITS。用 VanLehn 的术语来说，这些系统是基于答案的 CAI 辅导系统：它们能对学生的答案提供反馈，却不能对得出答案的思维提供反馈。因此，我们把对这些系统及其他 CAI 系统的评估排除出我们的元分析。
同样必须指出，Steenbergen-Hu 和 Cooper (2013) 对可接受控制组的要求比我们宽松，他们把多项缺乏充分控制组的评估纳入了元分析。例如，他们的元分析包含 Beal、Walles、Arroyo 和 Woolf (2007)、Plano (2004) 以及 Walles (2005) 的评估，其中处理组与控制组的前测分数差异巨大：Beal 的研究中相当于 0.81 个标准差，Plano 的研究中相当于 1.09 个标准差，Walles 的研究中相当于 0.76 个标准差。Steenbergen-Hu 和 Cooper 的综述还包含无教学控制组的研究（Beal, Arroyo, Cohen, & Woolf, 2010; Biesinger & Crippen, 2008; Radwan, 1997），以及未提供组间基线等价证据的研究（Carnegie Learning Inc., 2001; Corbett, 2002; Koedinger, 2002; Sarkis, 2004）。我们把上述研究排除出分析，因为它们似乎未能为评估 ITS 可能作出的贡献提供公平的基线。
总体而言，来自我们判定为公平的 ITS 与常规教学比较的信息是明确的。这些评估表明，ITS 通常能把学生表现提高到远超常规班级的水平，甚至超过接受其他形式计算机辅导或人类辅导的学生所达到的水平。尽管少数 ITS 研究未发现 ITS 学生与控制组学生的表现有显著差异，但这些研究大多在设计或执行上存在弱点：有的仅用与 ITS 项目所强调的高阶课程目标匹配不佳的现成测验测量结果；有的使用了研读从 ITS 交互中派生的特殊材料的非常规控制组；还有的 ITS 处理实施不佳。当把这些可疑比较的结果剔除之后，ITS 评估给出的信息是明确、一致而积极的。
很难预测计算机辅导未来将呈现何种形态。可以说，我们或许正处于”无线电报”阶段，收音机尚待发明。计算机硬件、软件、网络和认知科学等诸多领域肯定会不断取得进展，这些进展很可能同时影响未来辅导系统的外观与结构。明天的计算机辅导系统能否产生迄今大多数 ITS 开发者仍未能企及的两个标准差的改进，仍有待观察；但现有证据表明，今天的 ITS 可以作为未来工作的坚实基础。
注
本研究的开展得到了海军研究办公室（Office of Naval Research）的支持。
（参考文献共 104 条，此处从略。）
作者简介
JAMES A. KULIK，博士，密歇根大学评估与考试办公室（Office of Evaluation and Examinations）荣休研究科学家，地址：500 S. State Street, Ann Arbor, MI 48109；电子邮件：[email protected]。其研究兴趣包括研究综合、教学方法与教学评估。
J. D. FLETCHER，博士，国防分析研究所（Institute for Defense Analyses）高级研究员，地址：4850 Mark Center Drive, Alexandria, VA 22311；电子邮件：[email protected]。国防分析研究所为国防部长办公厅（Office of the Secretary of Defense）开展科学技术事务方面的研究与分析。Fletcher 的工作包括对人类绩效的评估，以及对先进技术用于教育与训练的价值（包括其货币与运营上的投资回报）的评估。
附录｜报告文档页（Standard Form 298）要点
原文末页为美国政府标准表格 298”报告文档页”（Report Documentation Page），属行政性元数据，要点如下：报告日期 2017 年 2 月；报告类型：最终报告；覆盖期间：2016 年 3 月–2016 年 3 月；标题与副标题：《智能辅导系统的有效性：一项元分析综述》；合同编号 HQ0034-14-D-0001；项目编号 AI-2-3370；作者：James A. Kulik、J. D. Fletcher；执行机构：国防分析研究所（Institute for Defense Analyses），4850 Mark Center Drive, Alexandria, VA 22311-1882；执行机构报告编号：IDA Document NS D-8391，登录号 H 17-000173；资助/监督机构：国防部负责研究与工程的助理部长（Assistant Secretary of Defense for Research and Engineering），4800 Mark Center Drive, Alexandria, VA 22350-3600；监督机构缩写：ASD(R&E)；发布与可用性声明：2013 年 3 月 4 日批准公开发布，分发无限制；主题词：智能辅导系统、计算机辅助教学、辅导、元分析；页数：81；负责人：Buckley, Leonard J.，电话 (703) 578-2800；密级：报告、摘要、本页均为非密（Uncl.）；摘要限定：SAR。该表第 14 栏所载摘要与本译文开头所引论文摘要内容相同。
译注：(1) 原文 PDF 为美国国防分析研究所（IDA）发布的报告版本，首页为 IDA 封面页，末页为标准表格 298 行政文档页，二者已分别于题头信息与附录中如实译出。(2) 原文为期刊版式，第 53 页末原有”（正文接第 60 页）“的排版提示，系版面衔接说明，非正文内容，未译出。(3) 原文每页页脚带有”2016 年 3 月 8 日自 UCLA 下载自 http://rer.aera.net”的下载水印及论文编号水印，系数据库检索痕迹，未译出。(4) 原文无插图，共有 5 个表格；表 2 为 50 项纳入研究的逐项清单，篇幅甚大，本译文按要求只译出表头与表注并概括其范围，完整数据见原文第 54–59 页。(5) 原文正文各比较中的效应量数值均照录原文；表 3 中”研究时长”的分类（7 周及以内／8 周及以上）与表 1 的编码类别（4 周及以内／5–16 周／17 周及以上）不一致，此为原文如此，照录未改。