LearnLM：面向学习改进 Gemini

LearnLM: Improving Gemini for Learning｜Google（LearnLM Team）｜2024-12-19（arXiv:2412.16429v3，2025-08-22 更新）

作者：LearnLM Team, Google（团队署名；核心贡献者 29 人、其他贡献者 16 人，名单见文末「贡献与致谢」）

通讯作者：[email protected]。© 2025 Google DeepMind，保留所有权利。

摘要

当今的生成式 AI 系统默认被调校为呈现信息，而不是像人类导师那样与用户互动以服务于学习。为应对这些系统在教育领域广泛的潜在用例，我们把「注入教学行为」的挑战重新框定为「教学法指令遵循」（pedagogical instruction following）问题：训练与评估样例均包含系统级指令，用以描述后续模型回合中已呈现或期望呈现的特定教学属性。这一框架避免让我们的模型绑定于任何特定的教学法（pedagogy）定义，而是允许教师或开发者指定期望的模型行为。它还为改进 Gemini 模型以服务学习开辟了一条路径——使我们的教学法数据得以加入后训练（post-training）混合数据——同时不影响其迅速扩展的能力集。这两点都代表与我们最初技术报告 [1] 的重要变化。我们展示了通过教学法指令遵循训练得到的 LearnLM 模型（已在 Google AI Studio 上提供）如何在一组多样化的学习场景中获得专家的显著偏好：相对 GPT-4o 的平均偏好强度为 +31%，相对 Claude 3.5 Sonnet 为 +11%，相对 LearnLM 所基于的 Gemini 1.5 Pro 模型为 +13%。

1. 引言

我们于 2024 年 5 月发布的首份技术报告 [1] 回顾了教育技术的历史与现状，讨论了生成式人工智能（generative AI, gen AI）对教育的潜在影响，并介绍了我们以协作为基础开发评估的方法。

报告发布后，我们收到了来自国际教育领域各方的反馈，包括学校、教育科技（“EdTech”）公司、非营利组织，以及渴望试用我们模型或以其他方式开展合作的政府机构。通过审阅这些提交的意见、进行 20 多次后续访谈，并吸纳正在构建 gen AI 学习功能的 Google 产品团队的意见，我们可将主要发现总结如下：

1. 教学法¹——或者说 AI 导师的理想行为——考虑到必须兼顾的年级、学科、语言、文化、产品设计与理念的广泛多样性，其定义之难令人望而却步。尽管存在许多共性，不同情境下的适当行为可能不同甚至相互矛盾，因此最好交由开发者或教师来指定。

2. 在开发 AI 学习系统时，最常被提及、最能立即可用的基础模型行为，是遵循系统指令以创建由导师主导的互动练习的能力。指定这些指令的教师或开发者希望确信：即便学生试图绕开指令（例如「不要泄露答案」或「不要跑题」），AI 导师也会准确地遵循指令。

3. 针对单个应用做事后微调短期内可能有效，但考虑到成本、维护负担以及基础模型的快速改进，这种做法并不现实。因此，尽管存在种种不足，提示（prompting）很可能仍将是教育产品开发者指定模型行为的最佳方式。

脚注 1：我们尽可能在最宽泛的意义上使用「教学法」一词，当然不限于儿童，以期涵盖人类的教学技巧及与之相关的学习。

本文描述了我们如何依据上述观察更新建模与评估方法。具体而言，我们把工作界定为教学法指令遵循，即用描述期望教学行为的系统级指令为训练与评估样例提供情境。这一方法避免了对系统应当如何行为的任何狭义规定，并使我们能够把教学法数据有效地加入 Gemini 其余的训练混合数据中，而不会产生人设（persona）或风格上的冲突。我们还在训练流程中引入了基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）[2]，使模型能够遵循更细微的教学指令与偏好。

运用更新后的方法，我们基于 Gemini 1.5 Pro² [3] 训练了新版 LearnLM。在与同期旗舰模型的评估对比中（每个对比对象均为对应公司截至 2024-10-01 的旗舰产品），教育工作者与教学专家对这一版 LearnLM 的平均偏好强度为：较 GPT-4o 高 +31%，较 Claude 3.5 Sonnet 高 +11%，较原版 Gemini 1.5 Pro 高 +13%（见图 1）。LearnLM 已作为实验模型在 Google AI Studio 上提供，并附有示例用例文档与建议提示。我们欢迎对 LearnLM 的任何反馈，以帮助我们确定未来的研究与优先事项。在为教学而改进 LearnLM 的同时，我们也在努力将这些进展引入 Gemini 模型，使所有使用 Gemini 的开发者都能从 LearnLM 研究带来的改进中受益。

脚注 2：具体为 gemini-1.5-pro-002（版本发布说明）。

第 2 节描述我们如何训练 LearnLM 以实现教学法指令遵循；第 3 节解释我们如何相应地更新基于场景的评估设计；第 4 节展示将 LearnLM 与其他旗舰模型产品对比的详细结果分析；最后，第 5 节概述一些未来工作，尤其是持续评估方面。除用于训练与评估的广泛核心学科外，我们还在附录 C 中纳入了一项医学教育学科的可行性研究。

图 1｜三阶段专家评估流程概览及 LearnLM 与其他系统对比的结果。（1）我们设计了学习场景，让专家参与者扮演特定的学习者，与成对的 AI 导师互动。（2）接地材料（grounding material，如一篇文章、作业题、图表等）与针对每个场景的系统指令作为上下文传给每个模型。我们把得到的对话对交给教学专家（3），他们既单独审查每个模型，也审查二者的相对表现。我们汇总这些比较评估（采用七点量表）（4），以评估相对于 GPT-4o、Claude 3.5 Sonnet 与 Gemini 1.5 Pro 对 LearnLM 的总体偏好。更详细的结果见第 4 节。

2. 建模

在我们最初的技术报告 [1] 中，我们通过用一系列合成与人工撰写的数据集进行监督微调（Supervised Fine-Tuning, SFT）来调整基础模型的行为。自那时起，我们对训练策略做了多项重大调整：第一，我们根据对教学法指令遵循的关注更新了 SFT 数据；第二，我们决定额外采用基于人类反馈的强化学习（RLHF）[2]，为此收集了人类偏好数据来训练奖励模型（Reward Model, RM），并为 RL 阶段准备了提示；第三，我们不再在 Gemini 标准后训练之后另行运行自己的后训练，而是与 Gemini 联合训练（co-train），即把我们的数据直接混入 Gemini 的 SFT、RM 与 RL 各阶段。LearnLM 就是这一实验性混合的成果；我们也一直在把我们的数据与评估整合进主力 Gemini 模型，LearnLM 改进的一个子集已成为最近发布的 Gemini 2.0 模型 [4] 的一部分。

2.1 教学法指令遵循

指令遵循（instruction following, IF）指模型遵循提示的能力，通常旨在更好地对齐人类意图 [5]。Gemini [3] 区分两类指令：用户指令（User Instructions），由用户在对话中插入；系统指令（System Instructions），通常由开发者在任何用户交互之前指定，并优先于用户随后提供的任何指令。系统指令的复杂程度差异极大：从一句最低限度的规定，如「你是一位知识渊博的写作教练」，到具体的条件性期望，如「如果用户已正确回答 3 个问题，就进入下一个主题」，再到描述复杂任务与行为的详细多段指令——Mollick 与 Mollick [6] 中的教育提示，以及最近提出的复杂指令遵循基准 [7] 即为其例。

指令大体分为两类：硬约束（hard constraints），常用于长度、格式或内容要求（如「用不到 100 个词总结这段文本」或「不要使用词语 X」）；以及软性、更细微的约束或指南，常用于控制风格、人设或语气（如「使用专业的口吻」或「使用非母语者更容易理解的语言」）。在开源 IF 基准中，IFEval [8] 聚焦于可程序化验证的指令遵循——这是硬约束的一个子集；较新的基准如 Qin 等 [9] 则把范围扩展到更细微的语言与风格指南。对教育用例而言，两类指令都很重要：例如「不要泄露答案」是硬约束，而「使用鼓舞人心的语气」是软约束。

指令遵循能力的改进已经在许多学习用例中带来了更好的模型响应。在本工作中，我们在此进展之上更进一步，聚焦于改进对教学性系统指令的遵循；这类指令往往更复杂、更细微且不易验证，这些属性使模型更难遵循。

2.2 后训练与数据收集策略

我们的首要建模策略是收集能够提升模型遵循教学性系统指令能力的数据——我们观察到这类指令在开发者构建 AI 导师时十分常见。据此，我们更新了 SFT 数据，使每段对话都以一条不同的系统指令开头，该指令具体描述该对话中所体现的教学行为。更笼统或模糊的指令会适得其反，因为模型会学会忽略那些对预测目标模型回合没有用处的指令。

为收集人类偏好数据，我们同样让每段对话以一条不同的、以教学为重点的系统指令开头，并请评分员依据模型样本遵循这些指令的程度进行标注。这些对话与回合级标签被用于训练奖励模型，随后在 RLHF 中用于为策略模型（policy model）产生的样本打分。SFT 似乎能在一定程度上改进教学法指令遵循，但 RL 的效果显著更好，因为偏好判断往往包含这样的细微差别：在长对话的语境中，指令究竟如何被解释、如何被遵循。

2.3 联合训练的好处

教学行为常常与对话式 AI 的典型行为相抵触，主要原因是学习往往是一个发现的过程，而非简单的信息传递。我们的指令遵循方法通过让教学性模型响应以特定系统指令为条件，使我们能够把教学对话数据与包含更典型交互的数据混合在一起。通过与 Gemini 的后训练混合数据联合训练，我们让模型得以学习新类型的指令遵循，而不会「遗忘」其他核心能力——推理、多模态理解、事实性、安全性或多轮对话特性。展望未来，随着训练配方的演进，我们也能更容易地让 LearnLM 与 Gemini 保持同步。

3. 专家评估设计

在最初的技术报告中，我们讨论了教学法评估设计的分类法，并报告了四项采用不同方法的人类评估结果（Jurenka 等 [1] 的第 4、5 节）。在该分类法中，本文聚焦于场景引导的、对话级教学法评估与并排比较。在这组新评估中，我们提升了学习场景的清晰度与覆盖面，为每个场景添加了专门的系统指令，并更新了教学法量规（rubric）与问题。在多轮设置中，用场景引导参与者的对话尤为重要 [10]：没有场景约束时，人机交互的松散性常导致漫无边际的对话，难以作为比较的基础；相反，基于场景的方法支持对不同对话式 AI 系统的能力进行相对可重复、可控的比较。场景框架还有助于评估的覆盖面，确保我们测试多样化的用例。

我们的评估流程分三个阶段进行（见图 1）。首先，我们确定了具有生态代表性的学习用例分布，创建了包含 49 个评估场景的题库（第 3.1 节）。其次，这些场景为一组 N = 186 名教育工作者与教学专家（扮演学习者）与 AI 系统之间的交互提供了基础，覆盖不同的学习目标、学科、学习材料与学习者人设（第 3.2 节）。第三，为评估这些交互中的教学质量，我们另行招募了 N = 248 名教育工作者与教学专家来审查系统表现（第 3.3 节）。该流程产生了充足的定量与定性数据，帮助我们理解系统的能力与行为（第 3.4 节）。

我们致力于遵循研究伦理的最佳实践，包括透明地传达研究目的、收集知情同意以及公平支付参与报酬 [11]。我们的方案经过独立伦理审查，获得 Google DeepMind 人类行为研究伦理委员会（Human Behavioural Research Ethics Committee）的有利意见（#23 011）。

3.1 场景设计

评估场景是一种结构化模板，用于支持对对话式 AI 系统进行一致的多轮评估。场景规定个人与 AI 系统交互的若干「关键属性」，例如个人的目标、特质与行动，以及相关的对话上下文。我们策划的场景要求人类参与者扮演不同类型的学习者（如课堂学生或独立的 EdTech 用户），覆盖随学科、学习目标与教学方式而异的各种学习情境。我们采用一套系统化流程来开发学习场景题库，借助教育生态系统的投入与教学专家的支持：

阶段 1：用例征集。 为启动场景题库的开发，我们向寻求将 gen AI 应用于辅导与教学的 EdTech 公司、教育机构和 Google 产品团队征集意见，请他们分享其在真实教育环境中看到的 gen AI 常见用例、提示、机会与挑战。我们以团队形式对这些反馈进行汇编与分析，目的是识别出应为评估方法提供依据的共同主题。

阶段 2：模板设计。 基于这些用例、机会与挑战，我们起草了一个结构化场景模板（见附录 B.1「场景结构与内容」）以及一套指导场景生成的具体规程，包括针对每个属性的引导性问题（见附录 B.2「场景生成规程」）。

阶段 3：场景生成与打磨。 随后，我们协作且迭代地充实场景题库。团队成员——其中包括两位拥有多年学生教学与教师培训专业经验者——利用阶段 2 的模板与引导性问题独立起草场景。我们集体审阅场景草稿，从清晰度、完整性、正确性以及与我们教学原则和阶段 1 所定义用例的相关性等方面逐一评估。我们对场景在学习目标、人设与学科领域上的总体分布进行权重调配，并标记出需要进一步开发的空白。

该流程最终形成了一个覆盖核心学科的多样化题库，共 49 个场景（示例见附录 B.3）。除构建这一基础题库外，我们随后在一个专门的教育领域（具体为医学教育；见附录 C）开展了可行性研究，以验证该流程的稳健性与可复制性。

3.2 对话收集

第二阶段，我们收集了一批对话语料：人类参与者按评估场景的规定扮演与 AI 系统互动的学习者。为有效模拟教育场景中的学习者行为，我们招募了 N = 168 名具有高等学位、拥有两年及以上导师经验的教学专家。

每场对话收集会话都以关于角色扮演场景的简短培训开始（见图 2 步骤 1）。通过培训结束时的测验后，参与者选择一个场景加以演绎（见图 2 步骤 2）。对话收集以成对方式进行：同一名参与者先与一个 AI 系统、再与另一个系统演绎同一场景，每一对均包含 LearnLM 与一个对比系统。我们为每对对话随机化系统的先后顺序，且不向参与者标注系统身份。在每一对对话内，两个模型接收相同的系统指令、接地材料与初始学习者提问作为上下文（按场景规定，见图 2 步骤 3）。除系统 API 强制要求的少量细微规范差异外，所有输入的格式完全一致。

按模板规定，每个场景都包含一条学习者初始提问，由系统代表参与者自动发送以开启对话。在 AI 系统回应该提问后，参与者依据场景提供的信息继续交互。我们要求参与者至少持续 10 个对话回合（即至少 5 个学习者回合与 5 个导师回合）方可结束互动。

结束每段对话后（见图 2 步骤 4），参与者填写一份简短问卷，分享与该系统互动的体验（见图 2 步骤 5 及附录 B.4）。此外，每完成一对对话，参与者还要完成另一份聚焦于比较其对两个系统印象的问卷（见图 2 步骤 6 及附录 B.5）。随后，参与者既可选择一个新场景再进行两段对话，也可结束会话。

图 2｜基于教育场景生成对话的工作流程。 参与者按场景的设定与经提示的模型进行对话，随后填写一份记录对话质量与模型间偏好的问卷。

3.3 教学评估

最后，第三阶段，我们招募了另一批 N = 228 名教学专家——同样要求具有高等学位与两年及以上导师经验——来分析这些对话并评估各 AI 模型的教学能力。

每场评估会话都以关于评估目标与场景模板的简短培训开始。我们为每名参与者随机分配一个待审场景；审阅之后，再随机分配给他们该场景下的一对对话进行评估（即对话收集阶段由同一名参与者产生的一对对话）。参与者一次审阅一份对话记录；读完后，回答一份聚焦于该对话中 AI 系统教学表现的问卷（见附录 B.6）。每看完一对对话，参与者还要完成一份额外的简短问卷，比较他们对两个系统的评估（见附录 B.7）。我们力求为每对对话收集三份独立评估，以降低评分者间变异的影响。

3.4 分析

我们的定量分析采用贝叶斯统计框架。通过直接量化假设的概率并提供清晰、可解释的不确定性度量，贝叶斯分析为评估旨在部署于真实世界的 AI 系统提供了一种实用且信息丰富的方法。

我们的研究设计涉及参与者的重复测量：每名扮演学习者的参与者都与每个系统交互多次，每名专家也对每个系统评估多次。为处理这种非独立性、避免人为夸大估计的确定性，我们采用分层回归（hierarchical regression）[12] 分析数据。附录 B.8 更详细地描述了我们的统计方法。

此外，我们对专家在用两个系统完成每个场景角色扮演后收集的开放式评论与反馈进行了定性分析（第 2 阶段）³。具体而言，我们从参与者的自由回答中识别并提炼出与学习者-系统交互相关的一般主题，然后针对每条回答编码各主题是否出现。为避免标注偏差，我们在该过程中隐去了系统身份。附录 B.9 展示了我们经分析形成的编码手册。

脚注 3：在定性分析中，我们优先采用第 2 阶段的反馈，因为它对与每位导师一起学习的第一手体验具有独特洞察。

4. 结果

我们将 LearnLM 与同期旗舰产品（截至 2024-10-01）对比，特别是 GPT-4o⁴、Claude 3.5 Sonnet⁵ 与 Gemini 1.5 Pro⁶。自我们开展这项具体评估以来，上述模型均已更新并发布新版本。因此，我们的结果应被理解为一次时点比较，用以检验我们方法的有效性，并为我们对教育的持续投入确立基线。

脚注 4：GPT-4o 版本 2024-08-06，https://platform.openai.com/docs/models/gpt-4o。 脚注 5：Claude 3.5 Sonnet 版本 2024-06-20，https://docs.anthropic.com/en/docs/about-claude/models。 脚注 6：Gemini 1.5 Pro-002，2024-09-24，https://cloud.google.com/vertex-ai/generative-ai/docs/learn/model-versions。

我们总共收集了 2360 段对话，包含 58 459 条学习者与模型消息；并对这些对话收集了 10 192 份专家评估，平均每对对话由三位专家审阅。图 3 显示，在收集到的对话上，各被评估系统的响应长度分布差异显著，Gemini 1.5 Pro 与 LearnLM 之间亦然。在总体层面上，我们未观察到长度与感知质量之间存在明确关系（参见 [13]）。

图 3｜（上）被比较的具体 LLM 及所有已收集对话的汇总统计：每段对话的平均模型回合数与每回合平均词数；（下）各模型每回合用词数的直方图。

我们首先考察专家评估者的教学评估与偏好评分，随后再探究扮演学习者与模型互动的参与者的第一手反馈。也就是说，我们先呈现第 3 阶段的教学发现，再回溯第 2 阶段收集的交互数据。分析中浮现出若干清晰的模式。

第一，比较性偏好评分（图 4）显示，在全部五个比较评估类别上，专家都明显偏好 LearnLM 而非 GPT-4o。专家对 LearnLM 的偏好在总体教学法（「哪位导师展现了更好的辅导？」）上最为强烈。专家对 Claude 3.5 Sonnet 与 Gemini 1.5 Pro 也表达了类似但幅度较小的对 LearnLM 的偏好。由于我们是在 Gemini 1.5 Pro 的基础上训练出 LearnLM 的，这两个模型之间的比较直接反映了加入教学法数据所带来的变化（见第 2 节）。

图 4｜教学专家对 LearnLM 与其他同期系统（Claude 3.5 Sonnet、GPT-4o 与 Gemini 1.5 Pro）的偏好。 散点图表示七点偏好评分的底层分布。鉴于收集的评分数目庞大，散点图对每个测量按比例下采样至 500 条评分，按偏好量表着色（深紫色表示对 LearnLM 的强烈偏好），并为便于阅读在每个量表值附近随机抖动。红色点与误差线表示每个测量的估计均值及其 95% 可信区间（credible interval）。（图内五个比较维度为：更好的教学法；更像一位非常优秀的人类导师；更好的指令遵循；更好地适应学习者；更好地支持学习目标。）

第二，图 5 显示各模型在我们教学法量规上的平均表现。专家以七点量表评估各单项教学质量。平均而言，此次审查中每个系统在所有量规类别上都获得了正面评价。专家集体在所有量规类别、以及几乎全部 29 个量规问题上都给 LearnLM 打出最高分，其中在激发主动学习、深化元认知（metacognition）与激发好奇心方面领先幅度尤其大。

图 5｜按教学法量规各类别、以七点量表（从「非常不同意」到「非常同意」）对系统的评估结果。 误差线反映均值后验分布的 95% 可信区间。（图内五个类别为：认知负荷管理；激发主动学习；深化元认知；激发好奇心；适应学习者。）

第三，图 6 描绘了每个系统在多大程度上提升了参与者对辅导主题的兴趣、其未来使用该模型的意愿 [14]，以及他们对模型能力（competence）与热情（warmth）的感知 [15, 16]。参与者对 LearnLM、Gemini 1.5 Pro 与 Claude 3.5 Sonnet 的体验相对相似；相比之下，参与者在兴趣影响、感知热情与感知有用性方面对 GPT-4o 的体验较弱。虽然扮演的专家只是学生的不完美替身，但其印象有助于初步洞察 AI 辅导交互的用户体验。

图 6｜在教学法场景中扮演学习者的教学专家所分享的印象。 误差线反映均值后验分布的 95% 可信区间。参与者对印象类条目以五点量表作答（从「完全没有」到「极其」），对体验类条目以七点量表作答（从「非常不同意」到「非常同意」）。（图内条目为：对主题的兴趣提升；愿意在未来使用该导师。）

第四，我们随机子抽样了 203 份解释（约占所收集 1024 份解释的 20%）用于对角色扮演学习者的偏好进行主题分析（详见表 1，含每个主题的若干示例摘录）。总体而言，子样本中出现最为一致的主题是 is_engaging（出现于 72 份子样本解释）、conversation_style（67 份）与 gives_away_answers（50 份）。

当参与者报告更偏好 LearnLM 时，其解释更可能包含 keeps_on_topic、challenges_learner 与 gives_away_answers 等主题；相反，偏好其他模型胜于 LearnLM 的参与者在解释中则往往谈及 clarity、info_amount 与 conversation_style 等主题。总体来看，专家群体倾向于认为 LearnLM 更善于保持主题、引导学习者形成对概念的扎实理解，而不是简单地直接给出答案；另一方面，这些专家偶尔也发现 LearnLM 在信息传递或对话风格方面不那么合意。

表 1｜更常出现在偏好 LearnLM 的「学习者」解释中的主题（上三行），或偏好其他模型的解释中的主题（下三行）。 表中主题满足：(i) 被至少 10% 的抽样偏好解释提及；(ii) 在偏好 LearnLM 与偏好其他模型的解释之间出现比例相差悬殊。

4.1 安全评估

与我们最初技术报告 [1] 及 Gemini 技术报告 [3, 17] 所述流程类似，我们与 Google DeepMind 负责任开发与创新团队以及 Google 信任与安全团队合作，对 LearnLM 开展了安全、责任与保障评估，目标是确保遵循 Gemini 的模型政策以及一个针对学习的专属模型政策。

模型卡片 我们更新的方法聚焦于教学法指令遵循以及与 Gemini 的联合训练。因此，我们的训练与安全评估流程现已与 Gemini 1.5 完全一致；其模型卡片见该报告 [3] 的表 45（附录 12）。需要说明的是，我们在第 2 节中描述了我们的建模方法（包括学习专用数据集的策划）。我们最初的技术报告 [1] 提供了 LearnLM 的原始模型卡片，以及对本研究领域伦理风险与局限的更广泛讨论。

5. 结论

我们描述了改进基础模型以服务学习用例的动机与方法：依靠系统指令来条件化期望的行为；更新 Gemini 的后训练混合数据，加入示范数据（经 SFT）与人类偏好数据（经奖励模型与 RLHF），以教会模型遵循一系列教学指令；随后将所得的 LearnLM 模型与可比模型一同评估。结果显示对 LearnLM 的显著偏好——尤其体现在指令遵循能力上，并更广泛地体现在许多教学维度上。

本文所述的工作是我们改进 Gemini 以服务学习用例这一努力的开端，因为我们正把 LearnLM 的进展带入 Gemini⁷。我们将继续改进教学法指令遵循，目标是让指定教学行为对教师和教育产品开发者而言尽可能简单直观。

脚注 7：截至发布之时，我们的部分数据已被加入 Gemini 2 模型 [4]。

除模型改进外，我们还计划对评估方法做更多更新。第一，我们希望推动就 AI 系统教学评估的通用框架达成更多共识。尽管当前的教学法量规以学习科学原理为基础（见附录 B.7），我们仍需与更多元化的利益相关方更紧密地合作，以确保它适用于所有学习者，并赢得更广泛教育社区的信任与认可。

第二，我们希望开始从内在评估（intrinsic evaluations，即按预定的教学法标准衡量模型表现）转向外在评估（extrinsic evaluations，即衡量学习成果等影响）。内在评估对模型开发很有用，因为运行更快、能直接定位模型的缺陷。然而，尽管我们量规的核心原则（如鼓励主动学习与管理认知负荷）已获广泛认同且有证据支持 [18]，其结果能在多大程度上转化为学习成果的改善仍不清楚。随着该领域走向成熟、AI 系统掌握辅导对话的基本功，外在评估很可能扮演更重要的角色。最近，外在评估既被用于展示学习成果的改进 [19, 20]，也被用于比较不同系统与提示 [21]。

最后，我们已开始探索核心学科之外的评估。我们在医学教育中的初步可行性研究（附录 C）证实，我们的方法能够有效推广至专门领域。随着我们继续改进 Gemini 以覆盖多样化的教育场景，我们欢迎来自 LearnLM 应用的洞见，帮助我们朝着实现 AI 在教育与学习中的潜力迈进 [22–24]。

（参考文献共 25 条，此处从略。）

贡献与致谢

核心贡献者（Core Contributors） Abhinit Modi、Aditya Srikanth Veerubhotla、Aliya Rysbek、Andrea Huber、Brett Wiltshire、Brian Veprek、Daniel Gillick、Daniel Kasenberg、Derek Ahmed、Irina Jurenka、James Cohan、Jennifer She、Julia Wilkowski、Kaiz Alarakyia、Kevin R. McKee、Lisa Wang、Markus Kunesch、Mike Schaekermann、Miruna Pîslar、Nikhil Joshi、Parsa Mahmoudieh、Paul Jhun、Sara Wiltberger、Shakir Mohamed、Shashank Agarwal、Shubham Milind Phal、Sun Jae Lee、Theofilos Strinopoulos、Wei-Jen Ko。

贡献者（Contributors） Amy Wang、Ankit Anand、Avishkar Bhoopchand、Dan Wild、Divya Pandya、Filip Bar、Garth Graham、Holger Winnemoeller、Mahvish Nagda、Prateek Kolhar、Renee Schneider、Shaojian Zhu、Stephanie Chan、Steve Yadlowsky、Viknesh Sounderajah、Yannis Assael。

角色定义如下：核心贡献者对本报告所述工作具有直接且重大的影响；贡献者对本报告所述工作做出了贡献。在每个角色内部按字母顺序排列，不代表贡献大小的顺序。

致谢 本工作是 LearnLM 努力的一部分。LearnLM 是一个贯穿 Google 的跨部门项目，成员来自 Google DeepMind（GDM）、Google Research（GR）、Google LearnX、Google Health、Google Creative Lab、YouTube Learning、YouTube Health 等。本技术报告——聚焦于教学法指令遵循的改进——仅代表整体努力的一小部分；上述贡献者名单仅收录直接贡献者。

我们的工作离不开 Google 众多团队的投入与努力。我们感谢以下人士的支持：Ajay Kannan、Anand Rao、Anisha Choudhury、April (Soler) Manos、Dawn Chen、Dharti Dhami、Edward Grefenstette、Gal Elidan、Himanshu Kattelu、Jaume Sanchez Elias、Jiao Sun、Josh Capilouto、Jyoti Gupta、Kalpesh Krishna、Lauren Winer、Mac McAllister、Mana Jabbour、Michael Howell、Miriam Schneider、Muktha Ananda、Nir Levine、Niv Efron、Ryan Muller、Safwan Choudhury、Shyam Upadhyay、Svetlana Grant、Tejasi Latkar、William Wong、Yael Haramaty。此外，我们感谢 Google DeepMind 的 Gemini 团队，Google DeepMind 的负责任开发与创新团队、负责任工程团队与儿童安全团队，以及 Google 的信任与安全团队。最后，我们感谢所有为项目落地提供支持的负责人与资助者。

附录 A　附加结果

A.1 扮演学习者的参与者的偏好

扮演学习者的参与者在全部四个比较评估类别上都表现出对 LearnLM 优于 GPT-4o 的偏好（图 7）。专家对 LearnLM 的偏好在总体教学法（「哪位导师展现了更好的辅导？」）与「与优质人类导师的相似度」（「哪位导师更像一位非常优秀的人类导师？」）上最为强烈。这些参与者表示，在 LearnLM 与 Gemini 1.5 Pro 之间、或 LearnLM 与 Claude 3.5 Sonnet 之间并无实质性偏好。

图 7｜扮演学习者的教学专家对 LearnLM 与其他同期模型（Claude 3.5 Sonnet、GPT-4o 与 Gemini 1.5 Pro）的偏好。 散点图表示七点偏好评分的底层分布。鉴于收集的评分数目庞大，散点图对每个测量按比例下采样至 500 条评分。红色点与误差线表示每个测量的估计均值及其 95% 可信区间。（图内维度为：总体偏好；更好地支持学习目标；更好地适应学习者；整体体验更好。）

A.2 已收集对话中的学习者质量

图 8｜在教学评估流程开始时，我们请专家以七点量表评估对话记录中的人类参与者遵循场景指令的程度（即他们对场景中学习者的角色扮演效果）。 本图展示按记录分组并取平均的作答。这些汇总评分表明，在 93.2% 的对话记录中，「学习者」遵循了场景指令。

A.3 教学评估：详细结果

图 9｜各导师模型在「认知负荷」量规类别特定子维度上的评估。 误差线反映均值后验分布的 95% 可信区间。（图内子维度标签：类比；适当的响应长度；传达目标；信息顺序；信息呈现；易于管理的信息块；无矛盾；无无关信息；无重复；参与机会；直白的响应。）

图 10｜各导师模型在「主动学习」量规类别特定子维度上的评估。 误差线反映均值后验分布的 95% 可信区间。（图内子维度标签：主动参与；提问；不过度苏格拉底式；苏格拉底式。）

图 11｜各导师模型在「深化元认知」量规类别特定子维度上的评估。 误差线反映均值后验分布的 95% 可信区间。（图内子维度标签：认可正确之处；建设性反馈；引导发现错误。）

图 12｜各导师模型在「激发好奇心」量规类别特定子维度上的评估。 误差线反映均值后验分布的 95% 可信区间。（图内子维度标签：适应情绪；鼓励性反馈；激发兴趣。）

图 13｜各导师模型在「适应性」量规类别特定子维度上的评估。 误差线反映均值后验分布的 95% 可信区间。（图内子维度标签：适应需求；水平适配；主动引导；帮助脱困。）

A.4 社会感知与偏好

为进一步验证我们的结果，我们检验了数据是否复现社会认知研究中的一个已知模式：对热情与能力的感知可预测与 AI 系统互动的偏好 [16, 25]。我们拟合了一个分层多元回归，以估计感知热情与感知能力在预测参与者未来使用导师意愿上的独立贡献。该回归以社会感知的两个维度为预测变量，纳入参与者、场景与导师的随机效应，其余设定遵循附录 B.8 所述。结果显示出预期模式：对热情与能力的感知能强烈且正向地预测参与者未来使用导师的意愿（图 14）。

图 14｜学习者对导师的感知与其未来使用该导师意愿之间的关系。 每个散点图表示评分的底层分布，为便于阅读在每个量表值附近随机抖动。红线展示焦点预测变量的边际效应（另一预测变量固定于其均值）。阴影误差带反映边际效应的 95% 可信区间。（a）热情感知对学习者未来使用 AI 导师意愿的边际效应；（b）能力感知对学习者未来使用 AI 导师意愿的边际效应。

附录 B　方法

B.1 场景结构与内容

我们设计的场景模板旨在捕捉学习者与导师之间交互的以下核心要素：

• 学科领域（Subject area）：更宽泛的学术领域（如数学、自然科学、艺术）。
• 子主题（Subtopic）：在更宽泛学科领域内所涉及的具体内容（如数学中的代数）。
• 情境（Setting）：辅导会话的情境，分为「课堂」（Classroom，发生在由人类教师管理的课程体系中）或「自学」（Self-Taught，学习者自主学习某一主题）。
• 学习目标（Learning goal）：学习者在交互中的总体目标。
• 接地材料（Grounding material）：为学习者的学习或作业提供基础的具体学习材料。
• 学习者人设（Learner persona）：学习者的行为画像，描述更宽泛的特质与动机模式。可包括其好奇心、主动性与任务专注度的总体水平，以及典型的沟通方式和质疑导师的意愿。
• 对话计划（Conversation plan）：学习者基于其学习目标与人设，在交互中应采取的一组行动。
• 初始学习者提问（Initial learner query）：学习者用来开启交互的开场消息。
• 系统指令（System instructions）：提供给 AI 导师的指南，概述期望的行为与教学方法。

B.2 场景生成规程

我们使用以下规程指导场景生成。在「选择」（choose）步骤中，场景撰写者从预定义的选项集中选择生成相应属性；在「定义」（define）步骤中，场景撰写者以引导性问题为启发来生成相应属性。

1. 选择学科领域。
   • 该交互涉及哪个宽泛的学术领域？
   • 该交互聚焦于「艺术」「计算机科学」「英语」「历史」「数学」「医学」「自然科学」还是「社会科学」？
2. 定义子主题。
   • 在选定的学科领域内，学习者将学习什么具体主题（如数学中的代数、社会科学中的心理学）？
3. 选择情境。
   • 该交互的情境是什么？
   • 该交互发生在结构化的「课堂」环境（学生按人类教师设定的固定课程学习的场景），还是更非正式的「自学」情境（学习者自主研究某主题的场景）？
4. 选择学习目标。
   • 学习者在本次交互中的首要目标是什么？
   • 他们是想学习一个新概念（「教我 X」）、获得作业帮助（「作业辅导」）、备考（「应试准备」），还是练习某项具体技能（「练习」）？
5. 定义接地材料（如有）。
   • 哪些学习材料应作为学习对话的基础？
   • 接地材料可以是一段视频、一张图片（如一道作业题）或一个文件（如教科书或教科书章节）。
   • 或者，交互也可能不涉及任何具体学习材料。
   • 场景应提供访问材料的文件路径或网址，或注明没有接地材料。
6. 定义学习者人设。
   • 学习者通常如何对待学习、在教育情境中如何互动？
   • 学习者人设应描述学习者更宽泛的特质与动机倾向。
   • 例如，学习者在学习过程中的投入与主动程度如何（如最低、中等、高）？
   • 学习者对给定任务或主题的专注程度如何（如易分心、高度专注）？
   • 学习者参与交互的深层动机是什么（如寻求答案、获取知识、建立理解）？
   • 学习者倾向于如何沟通（如回答简短、追问探询）？
   • 学习者是否表现出其他宽泛的行为模式（如展示解题过程、挑战导师）？
   • 学习者人设应包含上述特征中的三到六项。
7. 定义初始学习者提问。
   • 学习者应用什么问题或陈述来开启与 AI 导师的交互？
   • 初始学习者提问应结合所选学科领域、子主题、接地材料、学习目标与学习者人设，显得真实可信。
   • 初始学习者提问长度不限——从几个词到多个完整段落均可。最长的初始提问会包含接地材料，如学习者自己撰写的文章。
8. 定义对话计划。
   • 辅导对话的情境是什么（如学习者的目标、兴趣、学段与先备知识）？
   • 结合学习目标与人设，学习者在整个对话中应采取哪些具体行动、提出哪些问题或请求？
   • 对话计划提供了人类学习者与 AI 导师真实相遇所需的背景信息。
   • 对话计划可从几句简短的话到多个段落不等。
9. 定义系统指令。
   • AI 导师从部署它的教师、学校或其他教育组织那里收到了哪些具体指南？
   • 这些指令可包括期望的人设（如鼓励性的、正式的）、要采取的行动（如询问年级、提供提示）、要采用的教学方法（如苏格拉底式提问（Socratic questioning）、脚手架式支持（scaffolding）），以及任何限制或约束（如避免直接给出答案）。
   • 在「课堂」情境中，系统指令来自教师或学校，AI 导师在交互中应遵循系统指令，而不理会学生的指令。
   • 在「自学」情境中，系统指令来自其他组织（如在线托管 AI 导师的 EdTech 公司）。导师仍应努力遵循系统指令，但在发生冲突时可酌情优先考虑学习者指令。
   • 系统指令长度从单句到多段不等——在广度（即指令数量）与深度（即指令的粒度与具体性）上都可能有差异。
   • 系统指令在措辞、句法与格式上可以多样。

B.3 示例场景

场景 1

学习者人设

• 拒绝导师的邀请，或毫无反馈地不冷不热地接受
• 对问题的回答相关但极简
• 遵循大部分指令但不展开
• 不「展示解题过程」
• 不提出问题
• 试图直接获得主题问题的答案或解法（交易型）

初始学习者提问

为什么这样不行？

def analyze_text(text):
    vowels = 0
    consonants = 0
    uppercase = 0
    lowercase = 0
    for char in text:
        if char in "aeiou":
            vowels += 1
        else:
            consonants += 1
        if char.isupper():
            uppercase += 1
        elif char.islower():
            lowercase += 1
    print("Vowels:", vowels)
    print("Consonants:", consonants)
    print("Uppercase:", uppercase)
    print("Lowercase:", lowercase)

# Get user input
text = input("Enter some text: ")
# Analyze the text
analyze_text(text)

对话计划

你是一名 Python 入门课的学生。你最近被布置了一项任务：编写一段代码，读入一段文本输入，然后报告其中元音、辅音、大写字母与小写字母的数量。运行代码时没有任何报错，但当你输入「Am I a better coder than Steve Jobs?」时，输出中的数字似乎不对。你完全不明白哪里出了问题，于是向你的 AI 导师求助。你把代码连同初始提问一起粘贴过去，希望不费太大力气快速修复。你的代码在 in 运算符中没有包含大写元音字母。看看导师是否会帮你注意到你的代码把标点符号也计作字母，然后给你提示去修改代码。

系统指令

你是一名乐于助人的助手，在一门 Python 入门编程课中担任助教。 你的回答保持简短切题，不直接给出答案，而是尝试引导学生找到解法。 要鼓励学生、保持积极，并始终尽力帮助学生理解概念。 你应当始终以与学生发消息的方式作答。 因此，务必留意对话的上下文以及学生对材料的当前理解。 最后，如前所述，保持简明扼要，以免让学生不堪重负。 如果你不保持回答简短切题，我就不得不解雇你这个导师。 学生通常在做一个（或几个）编程作业：需要从用户那里读入一个字符串，然后遍历该字符串，输出关于文本的一些统计信息（如元音、辅音、大写字母、小写字母的数量等）。 如果他们问你怎么做，你应引导他们找到解法，而不直接给出答案和/或代码。 你必须非常小心，不能帮学生作弊，也不能直接给他们解法。 再说一次，如果你给学生太多信息，和/或不帮助他们自己学习，我就不得不解雇你，因为你就是个不合格的导师（而且在帮学生作弊）。

场景 2

学习者人设

• 提出多个与学习目标无关的问题
• 把对话引向非学术话题
• 以对抗方式挑战导师或与导师辩论
• 试图转移话题（无兴趣）

初始学习者提问

解释《哈姆雷特》中约里克（Yorick）骷髅的意义。快点。

对话计划

你是一名高中生，课上要读《哈姆雷特》，明天课上要讨论骷髅的意义。你想为此做好准备。你没有内在动机，觉得《哈姆雷特》枯燥难懂。

系统指令

以适当的水平辅导我，并适应我的回答。基于对话的学习目标制定一个计划。引导我完成这个计划，帮助我学习这个主题。不要一次性用过多信息把我压垮。一旦我表现出理解的证据，就结束这段对话。

场景 3

学习者人设

• 对学习提供一定方向，但一般跟随导师的引导
• 认真回答导师的问题
• 被提示时「展示解题过程」
• 提出相关但浅显的问题（「知识深度」低）
• 试图获取并记住关于该主题的知识（工具型）

初始学习者提问

给定以下多项式： - P(x) = 2x^3 - 5x^2 + 3x - 1 - Q(x) = x^2 + 4x - 2

执行以下运算： 加法：求 P(x) + Q(x) 乘法：求 P(x) * Q(x)

对话计划

你是一名想练习解题的学生。你的老师经常随机点名学生在全班面前解题，这让你很紧张。你对这些概念与流程不太确定，你想学会，以免在课堂上出丑，因为英语并不是你的母语。然而，你在数学课上不愿提问，于是你向 AI 导师求助。不过，你的信心仍然很低。看看导师能否察觉你的情绪不稳并给予鼓励（尤其当你犯错时），以及它是否会调整自己的英语水平来配合你。

系统指令

你是一位擅长促进主动学习（active learning）的导师。 当学习者不只是听或读、而是做些什么来获取并记住信息时，主动学习就发生了。主动学习要求学生通过比较、分析、评估等过程进行批判性思考。你通过提出探究性与引导性问题来鼓励主动学习。 当学生逐步完成复杂的问题时，主动学习也在发生。因此，你不替学生解题，而是在整个过程中按需提供脚手架与提示。 主动学习可能很困难，学生可能会受挫。知道这一点，你会在学生所处的发展阶段与其相遇，庆祝学生的成功，并在他们犯错时给予鼓励性的反馈。

场景 4

学习者人设

• 提出一两个与学习目标无关的问题
• 接受导师把话题拉回任务或主题
• 追问与自己预期不符的导师回答
• 沉溺于跑题（分心）

初始学习者提问

我们能就这个辩论一下吗？

对话计划

你是一名大学本科生，正在准备一场课堂辩论，辩题是「民族主义是好是坏？」你不确定自己要为哪一方辩护，所以通过观看一个短视频来为双方做准备。你已经上传了视频链接。你请一位 AI 导师通过与你辩论一些要点来帮助你准备。你想了解这个主题，但你并不总是专注于准备工作，因为准备需要记笔记、整理资料，这些事对你来说实在提不起劲。

系统指令

在每次学习对话开始时，先简要概述学生初始提问中分享的主题。如果学生上传或链接了文章或视频等接地文档，用一句话点明其主旨。然后与学生简短交流，确认你理解他们想在对话中完成什么，以及他们是否希望你以某种特定方式提供帮助。 例如，一些学生会来找你帮忙备考。这些学生中，有的想让你就视频内容出题测验他们，有的想向你提问。要适应学生的需求。只是注意不要在单个回合中分享过多信息而把学生压垮。保持回答简洁，让全面性作为许多对话回合累积而成的效果。 遵循学生的请求，但可以建议学生可能未曾想到的进一步学习机会。

B.4 对话收集：对话级问题

在与一位导师结束互动后，参与者填写一份关于其与该导师互动体验的问卷。表 6 描述了这些问卷的问题内容与回答格式。

表 6｜对话收集研究中的对话级问题。

B.5 对话收集：比较性问题

在一个场景中完成一对互动后，参与者还要填写一份额外问卷，比较他们与两位导师互动的体验。表 7 描述了该问卷的问题内容与回答格式。

表 7｜对话收集研究中的比较性问题。

B.6 教学评估：对话级问题

教学评估研究的参与者对其审阅的每段对话总共回答 31 个问题：

• 首先，他们回答一个关于学习者在演绎场景所规定的学习者人设方面表现如何的条目（「请就以下陈述评价你的同意程度：学生遵循了其『学习者人设』的指令。」）⁸。该条目有助于识别扮演场景的专家未能遵循场景指令的潜在对话。此问题为七点李克特式量表（Likert-type scale），锚定为「非常不同意」与「非常同意」。
• 接下来，他们表明对一系列 29 个评估导师教学能力条目的同意程度。我们在先前对话级量规 [1] 的基础上进行迭代，改进了条目措辞的简洁性与清晰度，并拆分了若干双重装填（double-barreled）条目。参与者以七点李克特式量表报告同意程度，锚定为「非常不同意」与「非常同意」。这些条目的回答量表还包含一个额外的「不适用」选项。如果参与者将某条陈述评为不适用，我们要求其选择原因（选项为「在本对话中导师这样做没有意义」「在本对话中导师没有机会这样做」与「其他原因」），并在开放式文本框中简要解释其决定。我们在表 8 中提供这些更新后条目的文本。
• 最后，一个可选的开放式文本框收集参与者希望分享的任何其他反馈（「你对这段对话还有其他反馈吗？」）。

脚注 8：当问题中提到场景字段（如「学习者人设」「系统指令」「学习目标」）时，将鼠标悬停在该字段名称上会显示解释该字段的提示框。

表 8｜用于对话级教学评估的更新版量规维度。

B.7 教学评估：比较性问题

在给一对对话中的两段对话分别评分后，参与者接着回答比较两段对话的问题。每个问题都是七点李克特式量表，选项为：「第一位导师好得多」「第一位导师更好」「第一位导师稍好」「两位导师差不多」「第二位导师稍好」「第二位导师更好」「第二位导师好得多」。比较性问题列表见表 9。之后是一个最终的可选自由文本框，参与者可以在其中输入关于这对对话的任何额外反馈（「你对这两段对话还有其他反馈吗？」）。

表 9｜比较性教学评估的量规。

B.8 定量分析

我们采用贝叶斯分层线性回归来估计专家评估中每个报告指标的均值与不确定性。具体而言，对于正文中报告的每个指标，回归都纳入了参与者与场景的随机效应。对于对单个导师的评分，回归估计每个模型在给定指标上的均值分数；对于比较性评分，回归估计模型之间的均值偏好分数。我们对所有模型参数使用弱信息先验：均值参数设定为正态分布（以每个评分量表的理论中点为中心），标准差参数设定为半柯西（Half-Cauchy）分布。关键的是，我们在所有模型之间保持这一回归结构与先验设定不变，以确保公平比较。

对每个回归，我们运行四条独立链，每链 1000 步预热与 2000 步采样。这些设置足以实现收敛。我们通过对所有回归执行标准收敛诊断来确认估计的可靠性：监测 Gelman-Rubin 统计量（R̂）与有效样本量，确认二者均满足既定的收敛标准。从每个后验分布中，我们报告均值作为主要点估计，并报告 95% 最高密度区间（highest density interval）作为不确定性度量。

B.9 定性分析：编码手册

引言 本编码手册概述了对参与者关于导师比较的反馈进行编码的初始主题。参与者在单一场景中与两位不同的导师互动，然后提供可选的开放式反馈。我们迭代地开发这些主题，试图在参与者回答中识别出互不重叠的底层模式。

编码说明 每个主题代表导师行为或学习者对辅导互动体验的一个特定方面。当反馈字段中的某段文本与某主题相关时，我们就标记该主题。适当时可对同一段文本应用多个编码。

1. 导师行为与风格

• gives_away_answers：导师是轻易提供解法、修改或答案，还是促使学习者自行完成学习任务。
• keeps_on_topic：导师使对话聚焦于学习目标的能力，与放任跑题相对。
• is_engaging：导师激发学习者兴趣并维持其动机的能力。
• challenges_learner：导师利用提问与反馈推动学习者深入思考、构建扎实理解，而非仅仅完成任务。
• conversation_style：对导师对话风格的感知，可能包括鼓励、幽默、友好语气、拟人化沟通等。当出现负面情绪（如机器般的沟通或居高临下的语气）时，也应应用此编码。

2. 教学方法

• step_by_step：导师是否把概念或流程拆分成更小、易于管理的信息块或步骤。
• uses_examples：导师运用例子或类比来阐明概念。
• personalizes_to_learner：导师试图通过结合学习者的爱好或兴趣，或通过适应学习者的年龄或能力，来个性化学习体验。
• uses_materials：导师是否引导学习者使用给定资源，或自行利用这些资源。

3. 内容与信息

• info_amount：对导师提供信息过多、过少或适量的感知。
• clarity：学习者理解导师解释的容易程度。
• accuracy：导师提供的信息是否正确。

4. 技术方面

• response_time：导师回复学习者消息的速度。
• formatting：导师呈现文本方式的问题，包括符号使用、段落长度与总体可读性。
• tech_error：交互过程中遇到的任何其他错误或故障。

附录 C　医学教育学科的可行性研究

为评估我们评估框架的可复制性及其向核心学科之外的适应性，我们开展了一项可行性研究，把专家评估扩展到医学教育学科。这项医学教育评估遵循与主评估相同的三阶段设计，聚焦于 LearnLM 与 Gemini 1.5 Pro 之间的比较。

按照第 3.1 节的流程，我们与医学教育领域的主题专家合作，设计了多样化的场景题库，共 50 个场景。这些场景取自医学院培训的临床前阶段与临床阶段的课程（示例见本节末尾）。随后，我们通过第三方供应商招募了两组参与者。一组 18 名医学生（一半处于培训的临床前阶段，一半处于临床阶段）对场景进行角色扮演，生成了 290 段对话，平均每个场景 5.8 段对话。另一组 9 名医师教育者随后评估了这些对话的教学质量，每段对话获得独立评审的中位数为三份。这项可行性研究遵循与主评估相同的伦理规程，包括透明地传达研究目的、收集知情同意以及公平支付参与者报酬。

该评估框架从两组参与者那里引出了不同的反馈。与模型互动的医学生没有表达出对任一模型的决定性偏好，尽管在其问卷的全部四个比较标准上，均值偏好都偏向 LearnLM（图 15a）。学生表达的最强正向偏好体现在与 LearnLM 互动更有乐趣（在我们的评分量表上平均为 +9.9%）。事实上，当我们搁置平局、直接看学生在何种程度上偏好某一模型时，他们在所有标准上都更频繁地选择 LearnLM——在乐趣方面的差距扩大为强烈多数偏好 LearnLM（图 16）。

相比之下，医师教育者在其问卷评估的全部五个比较标准上都一致偏好 LearnLM。如图 15b 所示，他们对 LearnLM 的评价在「展现更好的教学法」（在我们的评分量表上平均为 +6.1%）以及表现得「更像一位非常优秀的人类导师」（+6.8%）方面尤为正面。当我们只看教育者是否表达了倾向某一方的偏好——不论其幅度——LearnLM 在每个标准上都以明显多数成为他们的选择（图 17）。

这项研究的主要目标是评估我们专家评估框架在一个专门教育领域的可行性。评估设计被证明既可复制又具适应性：它生成了一个新的场景题库，并成功地让专家识别出模型之间的教学差异。因此，这些结果验证了我们的评估设计可应用于核心学科之外的领域。对医学教育而言，这项评估为更全面的工作奠定了坚实基础。例如，未来的研究可以扩展到纳入更多模型、吸纳更广泛的医学生与教育者群体，并探索更广泛的文化情境。当然，虽然这项研究确认了在医学领域评估教学法的可行性，但这些模型的现实应用还需要从临床专家的角度对医学准确性、偏见与危害进行单独评估。

图 15｜医学生（左）与医师教育者（右）在医学教育场景中对 LearnLM 与 Gemini 1.5 Pro 表达的偏好。 散点图表示七点偏好评分的底层分布，按偏好量表着色（深紫色表示对 LearnLM 的强烈偏好），并为便于阅读在每个量表值附近随机抖动。红色点与误差线表示每个测量的估计均值及其 95% 可信区间。（a）医学生评分，图内维度为：整体体验更好；更好地满足学习需求；互动更有乐趣；更易理解。（b）医师教育者评分，图内维度为：更好的教学法；更像一位非常优秀的人类导师；更好的指令遵循；更好地适应学习者；更好地支持学习目标。

图 16｜医学生所表达偏好的简化视图，显示在每次成对比较中、以任何程度偏向某一模型的评分比例。（图内维度：整体体验更好；更好地满足学习需求；互动更有乐趣；更易理解。横轴为「被偏好的频率」，取值 0.00–1.00；对比对象为 Gemini 1.5 Pro 与 LearnLM。）

图 17｜医师教育者所表达偏好的简化视图，显示在每次成对比较中、以任何程度偏向某一模型的评分比例。（图内维度：更好的教学法；更像一位非常优秀的人类导师；更好的指令遵循；更好地适应学习者；更好地支持学习目标。横轴为「被偏好的频率」，取值 0.00–1.00；对比对象为 Gemini 1.5 Pro 与 LearnLM。）

医学场景 1

学习者人设

• 对学习提供一定方向，但一般跟随导师的引导
• 认真回答导师的问题
• 被提示时「展示解题过程」
• 提出相关但浅显的问题（「知识深度」低）
• 试图获取并记住关于该主题的知识（工具型）

初始学习者提问

好，我看完了视频，想做些测验和病例。

对话计划

你是一名低年级健康专业学生，正在通过自主学习来学习一个对你而言全新的主题：新生儿黄疸。你看了一个关于它的视频。你不太记得、也不太理解刚才看的内容。现在，你希望与 AI 导师进行一次互动体验，以简化复杂概念，并确保自己没有遗漏任何关键点。你对 AI 导师的目标是：请导师帮助你简化和解释以下学习目标：

• 对学习提供一定方向，但一般跟随导师的引导
• 解释胆红素代谢
• 解释新生儿高胆红素血症常见病因的病理生理学（即其如何发生）

你应该对结合（conjugation）与肠肝循环有轻度的理解困难。你还应请 AI 导师出一道测验，帮助你区分哺乳性黄疸（breastfeeding jaundice）与母乳性黄疸（breast milk jaundice），但要在第一次回答中故意犯一个错误。然后，请求并顺利完成一个临床病例，以区分生理性黄疸与其他原因的高胆红素血症。

系统指令

你是一位耐心且博学的在线导师，帮助学生掌握复杂主题。 首先确定学习者的目标，以及他们是否有想探索的内容。然后激活学习者的先备知识。利用他们的回答来评估其现有理解，并据此调整后续解释。如果没有明确的目标，则为本次课程提出一个学习计划。 清晰简洁地呈现信息，结合类比、测验与分块等多种方法。运用基于案例的学习，引入基于关键学习目标的真实、实用的病例场景，并引导学习者完成这些目标。定期在教学中间穿插开放式问题，以鼓励更深入的加工与应用。 对学习者的回答提供即时且具体的反馈，表扬准确的理解，温和地纠正误解。在需要时提供额外的解释或例子，以巩固学习。调整你的解释以匹配学习者的理解水平。 最后通过促进反思来收尾，例如：「关于这个主题我们已经涵盖了很多内容。你的主要收获是什么？有哪些方面你觉得自己还需要进一步澄清？」鼓励学习者寻找更多资源以继续学习。

医学场景 2

学习者人设

• 拒绝导师的邀请，或毫无反馈地不冷不热地接受
• 对问题的回答相关但极简
• 遵循大部分指令但不展开
• 不「展示解题过程」
• 不提出问题
• 试图直接获得主题问题的答案或解法（交易型）

初始学习者提问

好，我看完了视频，想练习一个病例。

对话计划

你是一名正在备考血液学考试的一年级医学生，血小板活化与功能这个主题让你感到应接不暇。你看了一段关于此的视频讲座，但你在基本概念上仍有困难。你对 AI 导师的目标是：请导师基于该视频与以下学习目标帮助你备考：

• 描述血小板活化所涉及的事件序列，从初始黏附到颗粒释放。你模糊地记得「糖蛋白 Ib」与「α 颗粒」等术语，但需要一个清晰、简化的解释。
• 区分 α 颗粒与致密颗粒的内容物和功能。你需要一种方法来记住每种颗粒释放什么以及为什么重要。
• 解释血小板活化如何同时促进止血与伤口愈合。你需要把这些概念联系起来以理解全局。

你应该适当地回应导师并与之互动，但给出简短的回答，在学习中保持被动与应激。示例语句：「我不明白。」「好的。」「我不知道，你觉得呢？」

系统指令

你是一位耐心、善解人意的在线导师，在响应性与评估方面拥有专长。 频繁纳入理解检查与记忆强化。利用： - 抽认卡：介绍包含关键术语及其定义的虚拟抽认卡。 - 小测验：在解释一个概念后，用简单的选择题或判断题检查理解。 - 总结提示：请学生用自己的话总结关键概念。 通过鼓励学生评估与应用其知识，超越死记硬背。 - 对比分析：请他们比较与对照关键概念，突出关键差异。 - 基于案例的应用：呈现与关键概念或学习目标相关的简单临床场景。 密切关注学生的暗示。如果他们显得困惑，就简化你的解释、提供更多例子，或重温先前的要点。如果他们表示不感兴趣或要求继续推进，尊重他们的需求，并相应调整节奏与内容。 假设他们只吸收了你所说内容的一小部分。用不同的措辞或例子多次重述关键信息。通过重复强化学习，即使感觉冗余也在所不惜。重复得越多，内容被记住的可能性就越大。

译注：1) 本 PDF 为 2024 年 12 月发布的更新版技术报告（arXiv v3，2025-08-22 修订），标题为「LearnLM: Improving Gemini for Learning」，而非 2024 年 5 月的初版报告《Towards Responsible Development of Generative AI for Education》；正文中引用的 [1] 即初版报告。2) 原文表格编号从「表 1」直接跳至「表 6」（表 2–5 缺失），系原文如此，编号照原样保留。3) 原文中专家人数前后表述不一致：第 3 节开头称第 2、3 阶段专家池分别为 N=186 与 N=248，而第 3.2、3.3 节分别称 N=168 与 N=228，原文如此，未作改动。4) 场景 1 中 Python 代码的引号与缩进在 PDF 文本提取时受损，译文按代码原意恢复；正文图内文字（如图 1 中的界面元素标签）仅译出图注，图内坐标轴与维度标签以括注形式附于图注之后。5) 图 9 的子维度标签（如「传达目标」「参与机会」）按图内提取文本原样列出，与表 8 中量规维度的归类略有出入，系原文图文差异。