助力教师为学生选择最优内容的探索

Towards Helping Teachers Select Optimal Content for Students ｜ Xiaotian Zou, Wei Ma, Zhenjun Ma, Ryan S. Baker ｜ AIED 2019（第 20 届国际人工智能教育会议）

作者： Xiaotian Zou¹, Wei Ma², Zhenjun Ma¹, Ryan S. Baker³

¹ Learnta Inc（Learnta 公司），美国纽约州纽约市百老汇大道 1460 号，NY 10036 ² 中国人民大学统计与大数据研究院，中国北京市中关村大街 59 号，100872 ³ 宾夕法尼亚大学（University of Pennsylvania），美国宾夕法尼亚州费城 Walnut 街 3700 号，PA 19104

邮箱：[email protected], [email protected], [email protected], [email protected]

摘要

在个性化学习（personalized learning）情境中，教师依据数据来决定给学生分配哪些内容。然而，仅仅向教师提供数据是否足以促成良好的教学决策，这一点并不明确。在本文中，我们研究来自一个在线学习平台的数据：该平台向教师提供学生测验表现的数据，然后允许教师决定学生接下来应当学习哪些新技能。随后，我们应用知识图谱（knowledge graph）算法来推断教师分配给学生的内容，究竟属于学生已经”准备好学习”的技能（即该技能处于学生的最近发展区之内）、学生尚未准备好学习的技能，还是学生已经学会的技能。在本文中，我们研究教师关于学生应当学习哪些技能或主题的决策，与学生学业结果之间的相关关系。我们采用逻辑回归来比较：依据知识图谱，被分配”准备好学习”技能的学生，是否比被分配”未准备好学习”技能的学生掌握更多技能。结果表明，在数学和英语两种学习情境中，如果教师所选择的技能经算法评估为学生已准备好学习，那么学生所获得的掌握程度就会高于被分配尚未准备好学习的技能的情形。最后，我们提出了一种能够把知识图谱的预测更清晰地呈现给教师的可视化方案。

关键词： 教学决策（Instructional decision），学习结果（Learning outcomes），掌握（Mastery），知识图谱（Knowledge graph），准备好学习（Ready-to-learn），未准备好学习（Unready-to-learn），最近发展区（Zone of Proximal Development）

1 引言

过去几十年间，人们一直对为学生提供自适应、个性化的学习体验以及灵活的内容编排抱有浓厚兴趣。然而，人工智能教育（Artificial Intelligence in Education，AIED）系统的潜力远不止自动化的自适应。AIED 系统还日益为教师决策提供信息支持 [5]，这是支持教师开展数据驱动决策这一更宏观趋势的一部分。

然而，在技术丰富的媒介中，数据驱动的决策只有在正确的数据被清晰地呈现给教师、并且教师能够据此做出正确教学决策时，才会真正有效。尽管在 AIED 系统情境中支持教师认知与元认知的兴趣与日俱增 [10]，也出现了向教师通报信息的更好方法 [5,7]，但教师在使用其获得的信息方面究竟有多有效，仍属未知。正如 Earl 和 Katz [4] 所指出的，尽管许多学区已经建立了大型数据库，但教师在如何有效利用数据开展差异化教学（differentiated instruction）方面通常极少得到指导。尤其值得追问的是：当拿到学生表现报告时，教师在选择学习材料方面的成效究竟如何？换言之，即便教师能够获取数据，他们在决定学生下一步需要什么时仍然存在困难——换一种说法，就是难以衡量哪些内容落在学习者的最近发展区（Zone of Proximal Development，ZPD）之内。

我们是在”为学习者选择处于其最近发展区（ZPD）内的内容”这一具体情境中考虑上述问题的。学习者的 ZPD 指的是：学习者在帮助下能够学会的内容，与其无需帮助即已掌握的内容之间的差距 [14]。正如 Vygotsky [14] 所指出的，“近”（proximal）一词指的是学习者”即将”掌握的那些技能；被分配到这一区域之内的学习任务很可能被有效地学会，而 ZPD 之外的内容对学生而言则要么太难、要么太易。在其原始表述中，如果没有密集的一对一支架式支持，ZPD 是难以测量的，这使得教师很难将其作为教学决策的依据。不过，Murray 和 Arroyo [13] 提出，ZPD 可以由自适应学习系统来测量。作为首批研究 AIED 系统中 ZPD 如何测量的研究者，他们提出将学习者的学习过程划分为若干状态，所用数据包括任务表现以及所需动作的数量等。当学习者的数据表明其所受挑战恰到好处、而非过于无聊或过于困惑时，即认定其处于 ZPD 之中。受他们工作的启发，我们当前的研究提出把知识图谱用作在自适应学习系统中判定学生 ZPD 的另一种潜在工具。

在本文中，我们用知识图谱来测量 ZPD，进而利用这一测量来考察教师是否基于学生表现数据做出了良好的教学决策。具体而言，我们考察当学生被分配的内容处于其经评估的 ZPD 之内或之外时，对学生表现和掌握的影响。我们的假设是：与教师分配”未准备好学习”（unready-to-learn，UtL）技能相比，学生被分配”准备好学习”（ready-to-learn，RtL）技能时会获得更多的掌握。文末，我们就如何向教师传达 ZPD 提出构想。

2 方法

2.1 平台

在本研究中，我们使用来自在线学习平台 Learnta 的数据。该平台向教师提供学生测验表现的数据，并允许教师决定学生应当学习哪些内容 [1]。Learnta 的知识图谱将内容映射到一种先修结构（prerequisite structure）之中，用以表示要学会某项内容需要先知道哪些内容。学生每一项技能的掌握程度由贝叶斯知识追踪（Bayesian Knowledge Tracing，BKT）[3] 来评估：它通过预测学生的潜在知识状态，来判断学生是否已掌握某项特定技能。BKT 有四个参数：起始时已知晓该技能的概率 P(L0)；每次接触该技能时的学习概率 P(T)；虽已掌握该技能却仍出错（失误）的概率 P(S)；以及对尚未掌握的技能猜对的概率 P(G)。随后，系统利用先修结构来评估哪些内容属于学生准备好学习的（RtL）——其定义为：学生尚未掌握该技能，但已掌握其全部先修技能（即该技能处于学生的 ZPD 之内）；与之相对，哪些内容属于学生未准备好学习的（UtL）——即并非全部先修技能都已掌握。我们通过考察拿到测评数据的教师是否会分配落在学生 ZPD 之内的材料、以及这些决策对学习产生了怎样的结果，来研究教师是否做出了有效的教学决策。

2.2 数据收集

在英语语法学习中，我们采用随机抽取的方式，从主题池中选出被 49 名 Learnta 学生使用的”代词与名词”（Pronoun and Noun）主题。数学/微积分主题”积分表达式”（Integral Expression）则是从同一组学生注册的主题池中随机抽取的。在教学过程中，教师可以查看学生表现数据，并据此做出决策。每当教师做出确定下一步教学内容的动作——例如分配一项新技能——系统就会检测到该动作并将其记录为一次教学决策。我们收集关于该技能在学习期结束时依据 BKT 被学习系统评估为已掌握或未掌握的数据。若 BKT 求得的掌握概率大于 95%，则该技能被视为已掌握，否则视为未掌握。随后，教师再为学生选择另一项技能进行学习。Learnta 的知识图谱会在每次遇到并评估一项新技能时发生更新。

2.3 统计分析

我们比较学生掌握技能的程度，依据是教师选择的是 RtL 技能、UtL 技能，还是已掌握的技能。分析分别针对英语和数学进行。所关注的结果变量是学生是否依据 BKT 掌握了该技能。我们对每一种教学决策类型下被掌握技能的数量和百分比进行列表统计。我们评估教学决策与学生掌握之间的关联，考察学生是否更有可能掌握 RtL 技能而非 UtL 技能。主模型是以教学决策作为唯一预测变量的逻辑回归（logistic regression）模型。作为评估主模型稳健性的敏感性分析，我们还进行了混合效应逻辑回归，以分别或同时校正学生与技能带来的混杂效应。在这些混合效应模型中，教学决策是一个三分类变量（RtL、UtL、已掌握），被视为固定效应，而学生层面和技能层面的变量被视为随机效应。优势比（odds ratio，OR）及相应的 P 值在 R 3.0.2 版中计算 [5]，其中逻辑回归使用 glm() 函数，带混合效应的逻辑回归使用 lme4 包 [6] 的 glmer() 函数。

3 结果

在数学学习（“积分表达式”）中，教师共做出 619 次教学决策。在这些决策中，教师讲授 RtL 技能 238 次，学生掌握的比例为 63%。教师讲授 UtL 技能 208 次，掌握率仅为 46%。已掌握的技能被讲授 173 次，掌握率为 80%。值得注意的是，这些已掌握技能的掌握率远低于 95%，尽管算法此前曾以超过 95% 的置信度评估该技能已被掌握。这可能是由失误（slipping）概率所致，也可能是学生在学会该技能之后又将其遗忘。

在英语语法学习（“代词与名词”）中，教师共做出 721 次教学决策。在这些决策中，教师讲授 RtL 技能 86 次，学生掌握的比例为 64%。教师讲授 UtL 技能 497 次，掌握率仅为 39%。已掌握的技能被讲授 138 次，掌握率为 79%。如上所述，遗忘或失误可能使实际掌握率低于 95%。

逻辑回归分析与敏感性分析证实，教学决策与学生的学习结果显著相关，两个主题的 p 值均小于 0.001。被讲授了”准备好学习”技能的学生，其掌握英语语法技能的可能性高出 4.34 倍，掌握数学技能的可能性高出 2.78 倍。

4 讨论与结论

在教师主导的个性化学习环境中，教师依据学生的表现数据来决定给学生分配哪些内容。然而，仅仅向教师提供数据并不总能支撑良好的教学决策。本文考察了知识图谱能否在一个在线学习平台中，依据 Vygotsky 的最近发展区理论，为教师的教学决策提供信息并加以改进。我们应用知识图谱算法来评估教师分配的内容属于学生准备好学习的（RtL）、未准备好学习的（UtL），还是已经掌握的内容。我们发现，教师分配 RtL 技能时学生的掌握率高于 UtL 技能，尽管尚不及教师决定重新讲授学生已掌握技能时的掌握率。这些发现在英语和数学两个学科中均成立，提示我们可以采取若干步骤来优化学生的学习结果与教师的决策。优化学习结果需要正确的教学决策，即基于学生的 ZPD 引领学生走上正确的路径。因此，创建一个界面向教师传达学生已准备好学习什么、以及这一建议基于何种证据，将会大有裨益。这可以通过展示知识图谱来实现：呈现系统的技能建议是如何基于学生在先修技能上的表现而生成的。教师培训可以强调利用 ZPD 实现个性化学习的重要性，以及如何在教学设计中使用知识图谱推荐。虽然知识图谱未必是 Vygotsky 之 ZPD 的完美操作化，但它可以为教师提供有助于更好地支持学生学习的信息。

参考文献

（参考文献共 14 条，此处从略。）

译注：1. 原文正文未标明发表会议与页码，出处”AIED 2019”系依据文件命名信息补注；2. 原文引言中 “to phrase it in affective terms” 一句表述存疑（疑为 “in effect” 之误），译文按上下文意译；3. 原文 2.3 节中 R 3.0.2 版标注引用 [5]、lme4 包标注引用 [6]，与文末参考文献编号（[5] 为 Feng & Heffernan 2006，[6] 为 Gilbert 2000）似不对应，疑为原文排版之误，译文按原文保留；4. 原文无图表与编号公式，全文 5 页（第 5 页为参考文献）。