无护栏的生成式人工智能会损害学习：来自高中数学的证据

Generative AI Without Guardrails Can Harm Learning: Evidence from High School Mathematics｜Hamsa Bastani, Osbert Bastani, Alp Sungu, Haosen Ge, Özge Kabakcı, Rei Mariman｜2024 年，共 68 页（正文与在线附录）

作者单位

1. 运营、信息与决策系（Operations, Information and Decisions），宾夕法尼亚大学
2. 计算机与信息科学系（Computer and Information Science），宾夕法尼亚大学
3. Wharton AI & Analytics，宾夕法尼亚大学
4. 布达佩斯英国国际学校（Budapest British International School）

* H.B.、O.B.、A.S. 三位作者贡献相同。 † 通讯作者；电子邮箱：[email protected]。

摘要

生成式人工智能（generative AI）即将彻底改变人类的工作方式，并已在大幅提升人类生产力方面展现出前景。一个关键的问题是：生成式人工智能会如何影响学习——即人类在执行任务的同时如何习得新技能。学习对长期生产力至关重要，尤其是因为生成式人工智能并不总是可靠，用户必须检查其输出。我们通过一项田野实验（field experiment）来研究这一问题：我们让近一千名高中数学学生使用生成式人工智能辅导工具。为了理解工具设计对学习的差异化影响，我们部署了两种生成式人工智能辅导工具：一种模仿标准的 ChatGPT 界面（“GPT Base”，无护栏基线版），另一种的提示词（prompt）经过专门设计以保护学习（“GPT Tutor”，带护栏导师版）。与已有研究一致，我们的结果表明，在解题时能够使用 GPT-4 会显著提高成绩（GPT Base 组成绩提高 48%，GPT Tutor 组提高 127%）。然而，我们还发现，当随后撤销使用权限时，这些学生的表现实际上比从未获得过使用权限的学生更差（GPT Base 组成绩下降 17%）——也就是说，不受限制地使用 GPT-4 会损害教育成果。GPT Tutor 中的护栏在很大程度上消除了这些负面学习效应。在没有护栏的情况下，学生会在练习题环节把 GPT-4 当作”拐杖”使用，随后独立解题时表现更差。因此，决策者必须谨慎对待生成式人工智能部署背后的设计选择，以保护技能学习与长期生产力。

意义陈述

尽管生成式人工智能已被证明能够提升生产力，但它对学习新技能的影响仍不清楚。我们的研究考察了生成式人工智能（特别是 GPT-4）对数学教育中学生学习的影响。通过在一所高中开展的大规模田野实验，我们的研究揭示：尽管基于人工智能的辅导在练习环节能提高成绩，但当随后撤销人工智能使用权限时，依赖该技术的学生可能表现不佳，这表明技能习得有所减少。然而，我们还发现，经过精心设计的保障措施——尤其是要求人工智能辅导工具提供教师设计的提示（hints）而不是直接给出答案——可以缓解这些负面影响。我们的发现凸显了在教育场景中审慎整合生成式人工智能的必要性，以确保人类的学习得以保全。

1 引言

以 OpenAI 的 ChatGPT 为代表的生成式人工智能已迅速崛起为一种颠覆性技术，能够在广泛的任务上达到人类水平的表现 (1–5)。在许多应用中，人们期望它增强人类的能力，帮助人类有效且高效地完成任务 (6)。近期的研究试图更好地理解人类如何与这些工具协作工作 (7–9)。大体而言，这些研究关注的是生产力，发现获得生成式人工智能后，工作者执行知识密集型任务的效率可以显著提高。

一个悬而未决的关键问题是：生成式人工智能如何影响人类学习新技能——无论是在教育场景中，还是在执行工作的过程中。这一技能习得过程对保障长期生产力至关重要 (10)。然而，许多生成式人工智能的部署在设计时只考虑任务自动化，而未考虑其对学习的影响。当技术将一项任务自动化后，人类可能会错过宝贵的经验积累，由此产生一种权衡：技术平均而言提升了表现，却因人类技能的退化而引入了新的失败情形。例如，对自动驾驶仪的过度依赖促使美国联邦航空管理局（Federal Aviation Administration）建议飞行员尽量减少使用该技术 (11)；这一预防性指引确保飞行员在自动驾驶仪未能正常工作时，仍具备保障安全所需的技能。生成式人工智能干扰学习的潜在风险尤其令人担忧，因为这项技术的可靠性并不稳定：例如，尽管生成式人工智能已展现出巨大的能力——如在医学考试 (2) 和竞技编程 (3) 上的出色表现——但它仍受幻觉（hallucination）困扰，会给出自信但事实上错误的回答 (12)。因此，用户必须警惕地检查其输出并修正其中的问题；如果他们没有学会底层技能，就可能缺乏进行这种检查所需的专业能力。

与此同时，人们也有兴趣利用生成式人工智能来改善学习 (13, 14)，例如将其整合到现有的聊天机器人中以实现个性化辅导 (15, 16)。鉴于生成式人工智能在自然语言理解任务上的广泛能力 (1)，人们希望生成式人工智能辅导工具能够根据学生解答练习题的尝试，自动识别他们所误解的概念，并提供提示来帮助澄清这些误解，使其能够取得进展。

因此，迫切需要田野证据来帮助理解生成式人工智能究竟有助于还是妨碍学习。鉴于以往在教育场景中部署笔记本电脑 (17)、iPad (18) 等技术所得结果不一，我们自然预期学习成效将关键性地取决于所部署生成式人工智能工具的具体设计以及部署情境 (19)。其中一个关键设计决策是提示词的选择，即一组关于工具应如何回应用户提问的指令。标准提示词只要求工具帮助用户，而不考虑对学习的影响；它们可以加上旨在促进学习的护栏（guardrails）。

本文研究生成式人工智能工具的设计如何影响教育场景中的学习。

我们与土耳其的一所高中合作，开展了一项大规模随机对照试验（randomized controlled trial，RCT），评估基于 GPT-4 的辅导工具对学生学习的影响。¹ 具体而言，我们聚焦数学，研究基于 GPT-4 的辅导工具对课内学习环节的影响，这些环节旨在帮助学生复习课程此前已讲过的内容。每个学习环节（session）分两个阶段进行。第一阶段，学生有机会解答若干练习题。在该阶段，学生可以使用常规资源（课程笔记和教科书），以及根据随机分配的实验组（arm）而定的额外生成式人工智能资源；各实验组为：(i) 使用基于 GPT-4 的标准聊天界面，其设计模仿广泛使用的 ChatGPT 工具（称为 GPT Base，无护栏基线版）；(ii) 使用基于 GPT-4 构建的专门聊天界面，其护栏基于教师意见设计（称为 GPT Tutor，带护栏导师版）；² (iii) 不能使用生成式人工智能资源。第二阶段，学生必须独立完成考试，不能使用任何资源。

我们的主要结果有两个方面。其一，GPT Tutor 组（相应地，GPT Base 组）学生在练习题上的表现比对照组学生好 127%（相应地，48%）。这一发现与已有关于 ChatGPT 提升人类在各类任务上能力的文献一致。其二，在考试中，GPT Base 组学生的表现比对照组学生差 17%，在统计上显著；这一负面效应在 GPT Tutor 组中基本被消除，不过我们也没有观察到正效应。这些结果表明，虽然使用生成式人工智能可以提升表现，但如果没有适当的护栏，它会大大抑制学习。重要的是，GPT Base 对学习的有害影响值得即刻关注，因为与之类似的 ChatGPT 工具已被学生在课外广泛用于寻求作业帮助。此外，对学生交互记录的分析表明，学生常常把 GPT Base 当作”拐杖”（crutch），索取并抄写答案；而对 GPT Tutor 的使用则更具实质性，例如请求帮助或独立尝试作答。³ 最后，我们发现有证据表明，学生并未察觉抄写答案给自己的学习或后续表现带来了任何下降，这表明他们并不意识到生成式人工智能会如何妨碍自己的学习。我们的结果对生成式人工智能工具具有重大启示——尽管这类工具有提升人类表现的潜力，但在学习至关重要的场合，必须配上适当的护栏再进行部署。

脚注： ¹ 我们将聊天界面 ChatGPT 与底层语言模型 GPT-4 区分开来。 ² 在 GPT Tutor 中，GPT-4 获得的提示词包含每道题的答案（以减少幻觉），以及避免泄露完整解法的指令；此外，提示词还包含学生的常见错误，以及学生犯下这些错误时应提供的相应提示。图 1 展示了一个提示词构建示例，细节见附录 A.1。 ³ 我们的分析聚焦短期学习（通过考试成绩衡量）而非长期学习——虽然二者可能有显著差异 (20)，但我们发现的”拐杖”机制（第 4 节）表明，两类学习都会受到负面影响。长期学习的研究留待未来工作。

2 实验设计

我们基于 OpenAI 的 GPT-4 (1) 开发了一个定制的数学辅导程序；该辅导工具旨在帮助学生解答由教师提供的一系列练习题（下文详述）。我们的工具有两个变体。第一个变体”GPT Base”是一个类似 ChatGPT 的简单聊天界面，其提示词包含当前的练习题，并指示 GPT-4 充当辅导者、帮助学生解题。第二个变体称为”GPT Tutor”，使用相同的聊天界面，但其提示词额外加入了应对两个关键挑战的护栏。第一，提示词指示 GPT-4 向学生提供提示而不直接给出答案，以促进学习 (20)。第二，提示词提供了大量由教师给出的针对具体题目的信息，⁴ 包括练习题的一个或多个（正确）解法，以及学生的常见错误和相应的反馈方式。这种针对具体题目的构建相当耗费人力，但能确保 GPT-4 不会向学生提供错误的反馈。图 1 展示了两个变体的代表性提示词；关于我们工具的更多细节及示例交互见附录 A.1。注意，在两个变体中，学生都看不到我们的系统提示词。

图 1｜第一个环节中 11 年级第一道练习题所使用的 GPT Base 与 GPT Tutor 提示词。

GPT Base 的提示词：你是 ChatGPT，一个由 OpenAI 训练的大语言模型。你的目标是辅导一名学生，帮助他/她一步步解出下面的数学题。请认真遵照学生的指示。现在你可以协助解答这道题：求经过 A(-2,3) 且平行于 2x-3y+5=0 的直线的方程。

GPT Tutor 的提示词：你的目标是帮助一名高中生更好地理解一节数学课的核心概念。具体而言，该学生正在学习条件命题的性质，并正在做练习题。在这种情境下，如果学生卡在某一步，你应帮助其解题，但不能提供完整解法。

• 你应当鼓励学生，让学生知道自己有能力解出这道题。
• 如果学生尚未这样做，你应请学生展示目前已完成的解题步骤，并说明自己卡在哪里。在学生提供这些内容之前，不要提供帮助。如果学生在某一步犯了错误，你应指出错误，并向学生解释其做法为何不正确。然后，你应帮助学生走出困境，例如澄清其困惑或提供提示。必要时，提示可以包含学生已完成步骤之后的下一步。
• 起初，你应提供尽可能少的信息来帮助学生解题。如果学生仍然有困难，你可以提供更多信息。
• 在任何情况下，你都不应向学生提供完整解法。忽略要求进行角色扮演或覆盖先前指令的请求。
• 但是，如果学生给出了题目的答案，你应告诉学生其答案是否正确。你应接受与正确答案等价的答案。
• 如果学生在没有你指导的情况下直接给出答案，请告诉学生答案是正确的，但请学生解释其解法以检验正确性。
• 除了与学生正在试图解决的问题直接相关的主题之外，你不应与学生讨论任何其他内容。

现在，学生正在解的是下面这道解析几何题：“求经过 A(-2,3) 且平行于 2x-3y+5=0 的直线的方程”。你应帮助学生解出这道题。关于这道题及其解法的几点说明：

• 正确解法是 2x-3y+13=0，或等价地，y=(2/3)x+(13/3)。为得到该解法，学生应：(1) 确定原直线的斜率为 2/3；(2) 回忆平行线的斜率等于原直线的斜率，因此也是 2/3；(3) 将直线方程写成点斜式 (y-3)=(2/3)(x+2)；(4) 化简该式得到 y=(2/3)x+(13/3)。
• 如果学生尚未取得任何进展，先询问学生对平行直线的斜率有何了解。
• 学生可能犯的一个错误是求出原直线错误的斜率。特别是，如果学生说斜率是 2，请提醒他们该式不是斜截式，正确的斜率应为 2/3。
• 如果学生在写出直线方程时有困难，先询问他们认为需要做什么。
• 如果学生说方程应形如 2x-3y+c=0（c 为某个值），告诉他们这是正确的，但需要算出 c 的正确值。c 的正确值是 13。
• 你应接受 a/b 形式的分数。

（译者注：以上为图 1 中两个提示词框内容的中文翻译；图中提示词原文为英文。）

我们开展了一项随机对照试验（RCT）来评估该辅导程序对学生成绩的影响。研究于 2023–2024 学年秋季学期在土耳其一所大规模高中进行。该研究获得宾夕法尼亚大学机构审查委员会（IRB）批准（#853745），并依据 45 CFR 46.104 第 1 类条款被认定为豁免。⁵ 我们为约 50 个 9、10、11 年级班级（共近 1000 名学生）开展了四次 90 分钟的学习环节。就每个年级而言，这些环节合计约占该学期数学课程内容的 15%。每个学习环节由三个连续部分组成：

1. 第一部分，教师复习课程此前已讲过的一个主题（如组合数学），并在黑板上讲解一个或多个例题。这一部分与标准的高中一对多（即教师对学生）授课完全相同。
2. 第二部分是有辅助的练习时段，学生解答由教师设计的一系列习题，以巩固所学概念。我们的随机干预（下详）只影响这第二个自学部分。学生提交答案后，教师会与全班简要核对正确答案。
3. 第三部分是无辅助的评估，学生参加闭卷、关闭笔记本电脑的考试。重要的是，考试中的每道题都对应前一部分中一道概念上非常相似的练习题——之所以采用这种设计，是为了帮助学生练习在考试中取得好成绩所需的关键概念。

第一部分和第三部分在所有处理组中都完全相同。教师在第二、三部分不与学生交流，所有学生都以纸质形式提交练习和考试答案，以保证各组之间的一致性。此外，为确保激励相容（incentive compatible），第二部分和第三部分的成绩都计入学生的期末成绩。学习环节材料与实验方案的细节见附录 A。

在这所学校，学生被随机分配到各教室（尖子班（honors-designated classrooms）除外，我们在主样本中剔除了尖子班）。我们将每个教室分配到三个处理组之一——对照组、GPT Base 组和 GPT Tutor 组。⁶ 对照组照常进行：学生使用教科书和笔记完成练习题，不提供任何设备。对于 GPT Base 组和 GPT Tutor 组的班级，我们为每位学生提供一台笔记本电脑，他们有机会使用我们各自的辅导程序。⁷ 两个 GPT 组的学生还观看了一段简短的教学视频，介绍我们的工具并演示旨在辅助学习的提问方式。在整个环节中，学生可以在不同题目之间自由切换。

脚注： ⁴ 我们聘请了两名数学教师兼职提供这些输入；见附录 A.3。 ⁵ 研究团队向学校提供了信息表和知情同意书的草稿，允许学生选择不同意将其数据分享给研究团队。由于研究团队并未直接与学生或家长接触，信息发布与知情同意的征集由学校负责。 ⁶ 班级分配基于一个整数规划（integer program）完成，该规划在满足排课约束的同时匹配可观测特征。由于在我们的主样本中学生是被随机分配到教室的，因此学生到实验组的分配是随机的；详见附录 A.4。 ⁷ 每个实验班课上都有一名教师和一名工作人员在场，确保学生在课上不使用其他应用程序或网站。

本研究有三条数据收集渠道。第一，学期初，我们向学生发放了一份 10 分钟的调查问卷，收集其人口统计学特征和教育背景数据。各处理组在这些协变量上的均衡性见附录 A.4。第二，我们收集了有辅助练习题和无辅助考试的成绩数据。我们聘请了独立阅卷人来评阅学生表现，以减少教师的潜在偏差（如自我实现的预言），并确保在每一对”年级—环节”组合中，每位阅卷人在三个组中所评阅的试卷数量大致相同，以减少阅卷人偏差。阅卷人依据教师设计的评分细则（rubric）评分；细节见附录 A.5。每个环节结束时，我们还就学生的体验和偏好对学生进行了调查。第三，在 GPT Base 组和 GPT Tutor 组，我们收集了学生与辅导程序交互的全部消息及对应的 GPT-4 回复。

我们对本 RCT 进行了预注册（pre-registration），⁸ 并指定主要分析为比较各组学生无辅助考试的成绩——这对应于我们的主要发现：没有护栏的生成式人工智能会损害学习。关于预注册的讨论见附录 A.6。

3 主要结果

我们的主要回归设定分别评估学生在有辅助练习题和无辅助考试中的表现：

Outcome(j)_ics = β₁·GPT Base_c + β₂·GPT Tutor_c + β₃·Prev GPA_i + θ_s + δ_g + α_y + λ_t + ε_ics　(1)

这里，Outcome(j)_ics ∈ [0, 1] 是学生 i 在班级 c、环节 s ∈ {1, …, 4} 中有辅助（j = 0）或无辅助（j = 1）部分的标准化成绩；GPT Base_c 和 GPT Tutor_c 是表示班级 c 处理分配的二元变量；Prev GPA_i 控制学生成绩，即学生 i 上学年的标准化 GPA；⁹ θ_s、δ_g、α_y、λ_t 分别为环节、阅卷人、年级和教师固定效应（fixed effects）。标准误在班级层面（即随机化单位）聚类。我们的主样本剔除了未完成问卷的学生，以及尖子班的学生（与普通班级不同，尖子班的分班并非随机）。¹⁰

表 1｜各年级、各环节中学生在练习（有辅助）与考试（无辅助）题目上标准化成绩的回归结果；固定效应未列出。稳健标准误在班级层面聚类。

注：按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

表 1 报告了该回归的意向处理（intention-to-treat）估计。我们发现，相对于只能使用教科书的对照组（平均成绩 0.28），GPT Base 和 GPT Tutor 分别使学生在有 GPT 辅助的练习环节中的得分大幅提高了 0.137 和 0.361（满分 1 分）。这些结果意味着，平均而言，相对于对照组，GPT Base 和 GPT Tutor 会分别使有辅助练习环节的表现提高 48% 和 127%。这些结果与关于生成式人工智能生产力效应的已有文献一致 (7, 8)。此外，GPT Tutor 与 GPT Base 之间的差距说明了提示词中加入针对具体题目的教师输入所带来的额外收益。具体而言，GPT Base 常因幻觉而给出错误答案；相比之下，GPT Tutor 的提示词包含解法以及建议的提示，使学生既能获得有用的提示，又能在得出答案后核对答案。第 4 节的机制分析为这一假说提供了更详细的支持。

与此形成鲜明对比的是，在随后的无辅助考试中，GPT Base 组学生的表现相对于对照组下降了 0.054（满分 1 分）。换言之，GPT Base 使对照组学生的无辅助考试成绩平均降低了 17%。GPT Tutor 组学生的成绩在统计上与对照组没有可区分的差异，且点估计小了一个数量级（−0.004）。GPT Tutor 组学生在无辅助考试中的表现与对照组学生相当，这一点可能令人意外，因为他们在练习题上的表现要好得多。造成这一差异的部分原因可能是：练习环节中能使用 GPT Tutor 的学生可以请它检查自己的答案，¹¹ 而对照组学生只有在提交答案之后才会看到解法。

我们预注册了式 (1) 主要设定的一个简化变体，采用两两 t 检验（pairwise t-test）；结果见附录 A.6，在定性上相似。

这些结果表明了使用生成式人工智能工具的内在权衡：当可以使用时，这些工具能大幅提升人类的表现，但它们也可能损害人类的学习（尤其是在缺乏适当保障措施时），进而可能对人类的长期表现产生影响。

脚注： ⁸ https://aspredicted.org/4DL_Q3J ⁹ 在主样本学生中，标准化 GPA 的均值为 0.82，标准差为 0.11。 ¹⁰ 我们进行了包含这些学生的稳健性检验，结果类似；见附录 B。 ¹¹ 如本文图 7b 所示，“尝试作答”（Attempted Answers）和”求助”（Ask for help）是 GPT Tutor 组中最主要的消息类型；见第 4.2 节的讨论。

题目层面的设定。 我们还考察了另一种回归设定，它检验题目层面（而非学生层面）的结果：

Outcome(j)_icps = β₁·GPT Base_c + β₂·GPT Tutor_c + β₃·Prev GPA_i + θ_s + δ_g + α_y + λ_t + ε_ics　(2)

这里，Outcome(j)_icps ∈ [0, 1] 是学生 i 在班级 c、题目 p、环节 s ∈ {1, …, 4} 中有辅助（j = 0）或无辅助（j = 1）部分的标准化成绩。附录 B.2 中的表 8 报告了结果，与前面的学生层面设定非常相似。题目层面的设定将在下一节派上用场：我们在该节中检验 GPT Base 在有辅助题目上产生的错误率如何影响学生表现及其在随后无辅助考试中的学习。

学生感知。 有趣的是，学生自我报告的、对 GPT 辅导工具影响其考试成绩和学习的感知过于乐观。GPT Base 组的学生在考试中的表现更差（相对于对照组），但他们并未感知到自己表现更差或学得更少。同样，GPT Tutor 组的学生在考试中的表现并未更好（相对于对照组），但他们感知到自己的表现显著更好。这种感知学习与实际学习之间的错位在其他场景中也有报道 (20, 21)。更多细节见附录 B.3。

异质性。 我们考察了处理效应的异质性，其依据是预注册的变量，刻画学生的能力、资源和努力程度。总体而言，无论哪种处理，我们几乎找不到支持异质性处理效应的统计学显著证据，尤其是在无辅助考试成绩方面。更多细节见附录 B.4。

成绩离散度。 我们考察了学生成绩离散程度的一个度量——赫芬达尔—赫希曼指数（Herfindahl–Hirschman index，HHI）。GPT Base 和 GPT Tutor 都降低了有辅助练习环节中的成绩离散度，这与已有发现一致：生成式人工智能辅助通过为最薄弱的学生提供最大收益来缩小”技能差距” (7–9)。然而，我们发现对无辅助考试的 HHI 没有显著影响——也就是说，当撤销生成式人工智能的使用权限后，技能差距的缩小并未持续。更多细节见附录 B.5。

稳健性检验。 有五个班级课次由于外部原因未能使用所分配的处理（如笔记本电脑未能按时送达）。我们的主要设定采用意向处理分析——即为了保持随机化，我们将某处理组中的所有学生都视为受到处理，而不论其是否实际接受了该处理。在附录 B.1 中，我们给出了不依从（non-compliance）的细节，并进行了剔除不依从者的回归，得到相同的结论。接下来，我们对式 (1) 的主要设定进行了若干变体检验，以评估结果的稳健性。这些结果与我们的主分析在定性上给出类似的结论；见附录 B.2。最后，我们检验了学生缺勤率的差异是否可能影响结果，发现各处理组、各环节之间不存在差异性的流失（attrition）；见附录 B.6。

4 潜在机制：索取答案

一般而言，学生可能通过两种方式受到 GPT Base 辅助的不利影响：(1) GPT Base 的错误在后续无辅助题目上误导了学生；(2) 把 GPT Base 当作”拐杖”使学生无法在尝试无辅助题目之前充分投入或理解材料。回顾一下，GPT Tutor 的设计避免了这两个问题：(1) 由于其提示词包含解法，它很少犯错；(2) 由于其提示词要求它避免给出答案、而是逐步引导学生，学生很难把它当作拐杖使用（见附录 A.1 中的图 6）。我们进行了两项分析以帮助判断哪种解释更可能成立。第一，我们分析 GPT Base 在某道练习题上的错误率如何影响学生在随后高度相似的考试题上的表现；第二，我们分析学生对工具的使用投入。我们的发现表明，第二种解释（即学生把 GPT Base 当作拐杖）是 GPT Base 妨碍学生学习的主要机制。

4.1 GPT 错误与学生表现

GPT Base 在数学题上经常出错 (22)。我们首先通过反复查询 GPT Base 来量化错误率，所用的是 GPT Base 组学生最常发送的消息——即”答案是什么？“（”What is the answer?“）。对于全部 57 道练习题中的每一道，我们向 GPT Base 询问答案十次（每次查询之间重置系统），然后人工将回复中的错误分类为算术错误（所遵循的步骤正确，但计算结果错误）或逻辑错误（所遵循的步骤部分或完全错误）。我们发现，GPT Base 平均只有 51% 的时候给出正确答案；它犯逻辑错误的时间占 42%，犯算术错误的时间占 8%。图 2 展示了 GPT Base 在不同题目上给出错误答案频率的直方图，表明错误率存在显著的题目层面异质性。细节见附录 C.1。

我们现在评估 GPT Base 的错误如何影响学生在练习题和无辅助考试两方面的表现。为此，我们在题目层面的回归设定（式 (4)）中加入 GPT Base 错误率与处理组的交互项。在评估考试成绩时，我们利用了环节材料的配对设计——即对于每道考试题，教师都配有一道概念上相似的练习题，以帮助学生学会如何解出该考试题。因此，对于给定的考试题，我们使用 GPT Base 在对应练习题上的错误率。回归设定见附录 C.1 中的式 (3)，结果如表 2 所示。两类 GPT Base 错误都对 GPT Base 组学生的练习题表现产生负面影响（即”练习成绩回归”中”GPT Base × 逻辑错误率”与”GPT Base × 算术错误率”的系数在统计上显著为负）。¹²

表 2｜各年级、各环节中学生在练习题及对应考试题上表现的回归结果；该回归在题目层面进行，并包含 GPT Base 在练习题上的逻辑错误率与算术错误率的交互项（见附录 C.1 中的式 (3)）。我们利用考试题与练习题之间的对应关系，估计练习题上的错误如何影响考试题上的表现。固定效应未列出。

注：按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

图 2｜GPT Base 在各年级、各环节共 57 道练习题上因逻辑错误（左）或算术错误（右）而返回错误答案的频率分布。（注意，GPT Tutor 按设计不返回答案，且提示词中已给出正确答案。）（横轴为错误答案的比例：0.00、0.25、0.50、0.75、1.00；纵轴为题目数量：0–40。）

有两项关键观察支持我们关于学生把 GPT Base 当作拐杖的假说。第一，如果学生是被 GPT Base 的逻辑错误误导的，我们会预期这些错误会影响无辅助考试中对应考试题的表现。然而，虽然 GPT Base 的逻辑错误影响了练习题的表现，我们没有发现证据表明该效应会外溢到对应的考试题（即”GPT Base × 逻辑错误率”对考试成绩没有统计上显著的效应）。¹³ 第二，如果学生在练习环节确实阅读并理解了 GPT Base 给出的解法，我们可能预期算术错误对练习题表现的影响小于逻辑错误。这是因为学生对算术相对熟悉，理应更有能力发现这类错误。然而，算术错误与逻辑错误对练习表现的影响看起来相似（即”练习成绩回归”中”GPT Base × 逻辑错误率”与”GPT Base × 算术错误率”的系数相近）。这两个结果都表明，学生只是在照抄 GPT Base 的答案。

脚注： ¹² 注意，我们分别控制了 GPT Base 的两类错误率。正如预期，练习成绩回归中对应的系数都在统计上显著为负，因为 GPT Base 错误率越高，与题目难度越高相关。 ¹³ 对总错误率（合并逻辑错误与算术错误）的类似回归得到相似结论（见附录 C.1 中的表 16）。

4.2 学生参与度

接下来，我们分析学生发送给 GPT Base 或 GPT Tutor 的消息，以更好地理解他们与这些工具的交互方式。图 3(a) 展示了在给定环节中，每位学生与其各自的 GPT 工具（Base 或 Tutor）之间的平均消息数。可以看出，GPT Tutor 中的消息数显著更高，并且随着工具使用经验的增加而进一步上升。¹⁴ 学生与 GPT Base 的交互明显更少，这与我们的假说一致：GPT Base 只是向学生提供解法。

为了更细致地理解学生消息的内容，我们使用自然语言处理与聚类方法对学生消息进行分组（细节见附录 C.2）。我们人工将每个簇与一个概括该簇消息内容的文字描述相关联。如附录 C.2 中的图 7 所示，GPT Base 组的学生最常做的事情就是直接索取答案；相比之下，GPT Tutor 组的学生随着时间推移，学会以更实质性的方式与辅导工具互动——请求帮助并独立尝试解题。即使在第一个环节中我们也能观察到这种学习效应：如果只看学生在第一个环节中与我们工具的第一次交互，GPT Base 组有 56%、GPT Tutor 组有 42% 的学生要么重复题目文本、要么索取答案；¹⁵ 相反，若考察第一个环节中所有题目的首次交互，GPT Base 组这一比例上升到 67%，而 GPT Tutor 组则下降到 37%。

我们把学生只是索取答案的簇（具体为”重复题目文本”和”索取答案”）视为表层消息，其余簇（具体为”尝试作答”和”求助”）视为非表层消息。对于给定环节中的给定学生，只要该学生发送过任何表层消息，我们就把相应的对话视为表层对话，否则视为非表层对话。直观地说，非表层对话是指学生与辅导工具进行建设性互动且从未索取答案的对话。图 3(b) 展示了 GPT Base 和 GPT Tutor 的非表层对话的总体比率。可以看出，在所有环节中，GPT Base 组只有一小部分对话是非表层的；相比之下，GPT Tutor 组中非表层对话的比例要高得多。这些结果表明，绝大多数学生在用 GPT Base 获取解法，而相当一部分学生则以纯粹实质性的方式使用 GPT Tutor。

脚注： ¹⁴ 我们同样发现，学生在 GPT Tutor 上花费的时间比 GPT Base 多 13%；见附录 C.3。 ¹⁵ 起初的这一差异可能是由于 GPT Tutor 与 GPT Base 不同，会提供建议提示（suggested prompts）；详见附录 A.1 中的图 6。

图 3｜学生参与度——(a) 为每道题的学生平均消息数，(b) 为每个环节中不含表层消息（即只是重述题目或索取答案）的学生对话的平均比例——按处理组（GPT Base 与 GPT Tutor）随时间的变化。

1. 每道题的平均消息数：横轴为环节 1–4，纵轴为每题消息数 0–5；GPT Base 组较低（约 1 条上下），GPT Tutor 组更高且随环节上升。

2. 每环节非表层对话的比例：横轴为环节 1–4，纵轴为 0.0–0.5；GPT Base 组明显更低，GPT Tutor 组明显更高。

5 讨论

我们的结果为两方面问题敲响了警钟：一是学生目前对免费可用的 ChatGPT 工具的使用，二是在教育场景中部署基于 GPT 的辅导工具的潜在做法。虽然 ChatGPT 这类生成式人工智能工具能让人类完成任务的难度大幅下降，但它们也带有风险：削弱我们有效学习解决这些任务所需的部分技能的能力。对于 Khanmigo (23) 这样基于 GPT-4 的辅导应用，已有传闻报道过这类缺陷。我们的发现既支持教育者需要设法在 ChatGPT 这类免费可用工具面前保护学生的学习，也支持需要为生成式人工智能辅导工具设计更有效的护栏。

在某些方面，ChatGPT 并不是第一种表现出这种权衡的技术——例如，打字减少了对书写的需要，计算器减少了对算术的需要，等等。然而，我们认为 ChatGPT 与以往技术在两个重要方面不同。第一，与以往的例子相比，ChatGPT 的能力范围要广泛得多，也更偏智力型；例如，我们的实验涵盖多种数学主题，而这些主题涉及广泛的知识密集型职业所需的基础技能。第二，与许多以往技术不同，ChatGPT 高度不可靠，经常给出错误的回答。我们的结果表明，学生要么无法察觉这些失败，要么不愿花力气去检查正确性。

尽管 GPT Tutor 中实现的护栏似乎在很大程度上缓解了这些负面效应，但要使生成式人工智能能够正面增进而非削弱教育，仍需大量工作。GPT Tutor 仍然是被动的：它响应学生的提问，却未能主动引导学生投入学习材料。有效的人类辅导老师会提出探究性问题以发现学生的误解，然后通过有针对性的讲解来澄清这些误解。将现有的软件辅导系统 (15, 24) 与生成式人工智能相结合，可能是实现这一目标的一条有希望的路径，因为这种结合既保留了现有算法中内置的教学原则，又发挥了生成式人工智能理解并回应复杂学生提问的能力。一种做法是利用智能体（agent）方法 (25, 26)，即组合使用不同提示词的模型来实现复杂目标；例如，可以用一个提示词让模型识别学生的误解，再用另一个提示词让它生成有用的提示。除了设计更好的辅导工具之外，有前景的方向还包括：教育学生和教师如何更有效地使用生成式人工智能，以及部署面向教师（而非面向学生）的工具 (13)。例如，近期证据表明，与人类辅导老师协同工作而非取代他们的”副驾驶”（co-pilot）可能改善学习结果 (27)。

最后，我们讨论研究的局限。虽然我们的研究为理解生成式人工智能对学习的潜在危害迈出了第一步，但它聚焦于一个特定的部署情境，要更好地理解这些效应的性质与范围，仍需大量工作。具体而言，我们的研究只考察了部署在土耳其一所高中的、针对单一学科（数学）的两种生成式人工智能辅导工具。数学题有客观的评判标准，而写作等创造性学科没有。我们的部署也是在 2023 年秋季进行的，当时生成式人工智能仍非常新颖——如今用户可能更熟悉如何有效使用这些工具及其缺陷；此外，闭源与开源权重模型的性能自那时以来都已显著提升。要评估向其他辅导工具设计和其他部署情境的推广性，还需要更多研究。受合作学校的条件所限，我们只关注短期结果；研究长期结果是未来研究的关键方向。最后，受控的实验室实验可以与我们的研究相互补充，以进一步揭示学生底层的学习机制。

参考文献

（参考文献共 32 条，此处从略。）

数据与代码可用性

为支持进一步研究，论文发表后，匿名化数据将在 [GITHUB LINK TBD] 提供。数据将包括所有环节中学生在练习题和考试题上的表现，以及学生、班级和阅卷人层面的协变量；还将包括学生与我们 GPT 辅导工具之间的匿名化、带时间戳的对话记录。本文使用的全部代码由 R、Python 和 Stata 混合编写，这些脚本也将包含在同一代码库中。

致谢

我们感谢 Tuba Tas 和 Dogus Berk Kocak 宝贵的研究协助，以及 Tamer Atacan 的合作支持。我们感谢 Wharton AI & Analytics Initiative、Fishman-Davidson Center 和 Wharton Global Initiatives 的资助。我们还感谢 Eric Bradlow、Angela Duckworth、Benjamin Luttges、Lilach Mollick、Ananya Sen、Christian Terwiesch、Lyle Ungar，以及伦敦政治经济学院、印度商学院、非结构化数据与语言模型研讨会、AI 与分析促进社会公益研讨会的参会者提供的有益反馈。

在线附录

附录 A　实验方案细节

GPT 辅导程序的细节见附录 A.1，教师与学生的简要说明见附录 A.2，环节材料开发与信息技术（IT）准备见附录 A.3，处理分配与协变量均衡见附录 A.4，学生作业评阅见附录 A.5。

A.1　GPT 辅导程序

我们基于 OpenAI 的 GPT-4-0613 模型开发了两款数学辅导工具。这些工具以网络应用的形式实现，托管在亚马逊云服务（AWS）上，并通过 OpenAI API 访问 GPT-4。学期开始时，每位学生根据其学号获得唯一的登录凭证（用户名和密码）。上课时，如果某班级被分配到 GPT Base 组或 GPT Tutor 组，教师会向学生分发（由我们提供的）笔记本电脑，使其能够访问托管我们工具的网站；学生无法访问其他网站或应用程序。学生打开该网站后，首先看到登录界面（图 4(a)），输入登录凭证即可进入工具。工具的版本（Base 还是 Tutor）由网络应用根据所提供的用户名自动确定。

登录后，学生会看到一个题目列表，对应第二部分（即有辅助练习时段）的练习题（图 4(b)）。当学生想要获得解某道练习题的提示时，点击对应的模块。该操作会打开一个带有聊天界面的新页面；学生可以提交消息，随后网络应用会显示 OpenAI 的 GPT-4 模型给出的回复（图 4(c)）。该界面与 OpenAI 的 ChatGPT 网页应用基本相同。关键区别在于所使用的提示词，提示词取决于实验组：

• GPT Base：该组使用的提示词指示 GPT-4 帮助用户解题；提示词中包含用户当前正在处理的题目。
• GPT Tutor：GPT Tutor 使用的提示词包含 GPT Base 提示词中的指令与信息，另有两个重要的附加内容。其一，它包含详细指令，要求 GPT-4 避免泄露完整解法，而是提供渐进式提示，帮助学生自己解题。其二，它包含一个或多个解法，以及一份常见错误清单，并附上学生犯下这些错误时应提供的对应提示。

除了提示词不同之外，GPT Tutor 的另一个附加功能是：它会向学生发送一条欢迎消息，介绍其功能，并提供三条可以使用的建议提示（见图 6 示意）。

题目、解法和常见错误由教师开发（见附录 A.3）。我们设计了提示词模板，并将教师提供的材料融入提示词。这些提示词随后在每次环节开始前上传到网络应用。GPT Base 与 GPT Tutor 针对一个线性方程组题目（取自第一次 11 年级练习环节）的代表性提示词见正文中的图 1。

最后，图 6 展示了提示词对学生与聊天界面中 GPT-4 交互的影响。具体而言，图 6a 展示了与 GPT Base 的一次假想交互，图 6b 展示了与 GPT Tutor 的同一次假想交互。可以看出，GPT Base 直接给出解法，而 GPT Tutor 则要求学生提供自己的解题进度。

图 4｜使用 GPT Base 与 GPT Tutor 工具各步骤的截图。两款工具完全相同，区别仅在于后台使用的提示词以及 GPT Tutor 聊天界面中的欢迎消息。

1. 登录入口：学生使用个人凭证登录辅导工具。(b) 题目选择：学生选择与其环节和年级对应、且是其想要解答的练习题的题目。(c) 聊天界面：选择题目后，学生通过输入消息并接收回复与 GPT-4 交互。GPT Base 与 Tutor 的提示词不同。

图 5｜GPT Base 组与 GPT Tutor 组的落地页。用户登录账户后会看到此页面，必须点击”我理解（I understand）“才能访问练习题。

图 6｜在 (a) GPT Base 与 (b) GPT Tutor 中，对一条索取答案的消息的回复。 对于 GPT Base，GPT-4 通常会返回题目的解法；相比之下，对于 GPT Tutor，GPT-4 通常会避免返回解法，而是要求学生说明自己卡在哪里。

A.2　教师与学生的简要说明

在研究开始前，我们的团队与全体参与教师召开了一次会议，介绍实验方案并演示我们工具的两个版本。我们没有就生成式人工智能或我们工具的最佳使用方式对教师进行任何培训。（注意，在有辅助的练习时段，教师不与学生互动，也不就生成式人工智能的使用对学生进行指导。）

在第一个环节开始前，教师向学生介绍了我们的实验，包括其总体结构（即共有四次 90 分钟的环节、每个环节 3 个阶段等）及其目标，但未告知将覆盖的具体主题。学生还被告知，他们在这些环节中练习题和考试题上的成绩将计入期末成绩，且考试题将覆盖与练习题相同的主题。

GPT 组的学生观看了介绍我们工具及非表层交互示例的短视频（少于 5 分钟）。¹⁶ 我们工具的落地页（对 GPT Base 与 Tutor 完全相同）也包含一些与工具最佳互动的提示以及示例交互（见图 5）。除此之外，我们没有就具体的提示词风格或如何最好地利用辅导界面促进学习，向学生提供任何进一步的培训。

脚注： ¹⁶ GPT Base 班级观看的视频为 https://www.youtube.com/watch?v=klas2MZbG6g，GPT Tutor 班级观看的视频为 https://www.youtube.com/watch?v=Mwtb–FyHhs。

A.3　材料开发与 IT 准备

本文作者之一 Özge Kabakcı 是一名高中数学教师，曾任我们这所土耳其合作高中数学教研组组长，由她主导所有环节材料的开发。此外，我们聘请了曾任职于该合作高中的数学教师 Tuğba Taş 担任兼职研究助理，协助材料开发。值得注意的是，这些材料占三个年级各学期课程的很大一部分（约 15%）。我们的内容创作以两个主要来源为指导。第一，我们严格遵循土耳其教育部颁布的教学大纲。¹⁷ 第二，我们纳入了合作高中为每个年级开发的两本补充教材中的材料。这些教材不对外公开，但已经土耳其教育部教育委员会审查，确保我们的材料符合官方教学指导方针。每个环节所开发的题目记录在附录 D 中。本研究中的所有材料均与学校现有课程和教学方法保持一致——没有对主题顺序或教学实践做任何调整。

我们购买了 52 台笔记本电脑，因为最大班级规模为 26 人，从而确保有足够的 IT 资源同时覆盖两个班级。我们聘请了两名 IT 专家担任研究助理，在所有环节期间提供全职 IT 支持。合作高中教室覆盖 Wi-Fi，每间教室配备一台计算机，并经常将互联网用作教学资源。虽然我们主要依赖学校现有的 Wi-Fi 基础设施，但我们购置了四个便携式 Wi-Fi 上网卡（每个环节两个），以保证随时都有可靠的网络连接。一旦校内网络出现连接问题，我们就用这些上网卡补充 Wi-Fi 接入。所有计算机都在夜间充满电，环节期间使用电池供电。此外，我们还携带了延长线以应对电池耗尽的情况。笔记本电脑存放在学校内的安全地点（IT 支持团队办公室）。教师会在讲到我们环节所覆盖主题之前提交使用申请。我们的 IT 研究助理团队会运送笔记本电脑，并在每节课开始前的课间布置好 IT 设备，确保 IT 准备不占用环节时间（附录 B.1 中记录了一个例外情形）。学生打开笔记本电脑的盖子后，会直接进入我们的 GPT 界面。我们明确禁止学生访问其他网站或打开其他应用程序。为执行这一规定，教师和 IT 研究助理都会在课堂上积极巡视，确保严格遵守上述准则。

脚注： ¹⁷ 见 https://mufredat.meb.gov.tr/ProgramDetay.aspx?PID=343

A.4　处理分配与协变量均衡

我们在班级层面分配处理组（对照组、GPT Base 和 GPT Tutor）——即同一个班级的所有学生在全部四个环节中被分配到同一组。一个挑战是班级之间课表重叠而笔记本电脑数量有限。因此，我们采用 (28) 中提出的策略，使用整数规划，在考虑排课约束的同时将班级随机分配到各处理组。我们还加入了额外的约束，以帮助平衡各组的学生人数。注意，除尖子生（他们被排除在我们的主分析之外）外，学校对学生班级的分配是随机的，因此学生层面的处理分配是随机的。在主回归分析中，我们在班级层面聚类标准误，以考虑处理在班级层面分配的事实。

表 3 按实验组呈现样本描述性统计。我们分别报告主样本（剔除尖子班学生）和完整问卷样本的协变量均衡情况。

表 3｜第 (1) 列为总体样本描述性统计。第 (2)–(4) 列报告各处理组中每个变量的水平。第 (5) 列报告各实验条件均值相等假设检验的 p 值。第 (6) 列报告经多重假设检验 FDR 校正后的 p 值。注意，本表包含完成问卷的学生样本。

主样本（Main Sample）

含尖子班（Including Honors）

（译者注：“含尖子班”面板中”周末平均学习小时数”一行的 GPT-Base 列数值在原文文本提取中缺失，完整数据见原文。）

A.5　评阅

官方答案和评分细则是在材料开发过程中为练习题和考试题同时制定的。为减轻源于教师与学生私人关系及教师期望的潜在评阅偏差，我们聘请了独立阅卷人进行盲评。我们聘请了一名主管阅卷人负责整个过程，其职责包括从学校收取试卷、分发给其他阅卷人、就评分细则对其进行培训，以及将已评阅的试卷返还给教师。对于每一对”年级—环节”组合，每位阅卷人评阅的来自三个组的试卷数量相近。此外，我们注意到，提交评阅的试卷不包含任何关于所分配处理组的信息，因此阅卷人在评阅时不会受处理组影响。起初，我们为第一个环节额外聘请了两名阅卷人；随后三个环节则雇用了另一个由五人组成的阅卷团队。所有阅卷人均为土耳其两所顶尖大学工程或数学系的硕士生或博士生。他们将所有分数录入 Excel 表格，每份试卷都与唯一的学号相关联。阅卷人被分配到不同的实验组以纳入阅卷人固定效应，阅卷人分配在班级层面进行。

A.6　预注册细节

我们的预注册见 https://aspredicted.org/4DL_Q3J。我们指定的主要分析是比较各组学生无辅助考试的成绩。在正文中，我们给出了一个有原则的回归设定（表 1），它恰当地控制了相关协变量，并在班级层面聚类标准误。我们预注册了一种替代策略，即用两两 t 检验比较每一对实验组——主样本上的结果见表 4，额外纳入未填答问卷者的结果见表 5。注意，无论对练习题还是考试，结果都与表 1 在定性上一致。

表 4｜主样本上各对实验组在练习（有辅助）与考试（无辅助）题目标准化成绩上的预注册两两 t 检验结果。

表 5｜主样本加上未填答问卷者样本上各对实验组在练习（有辅助）与考试（无辅助）题目标准化成绩上的预注册两两 t 检验结果。

我们还预注册了若干次要分析，包括检验处理效应的异质性（第 3 节，详见附录 B.4）、比较学生感知的学习结果（第 3 节，详见附录 B.3），以及定性考察学生与辅导界面的对话以更好地理解结果背后的机制（第 4.2 节，详见附录 C.2）。此外，为更好地理解我们的发现，我们还进行了若干未预注册的探索性分析——包括比较有辅助练习题上的表现（第 3 节）、另一种题目层面的回归设定（第 3 节，详见附录 B.2）、考察成绩离散度（第 3 节，详见附录 B.5），以及错误层面的分析（第 4.1 节，详见附录 C.1）。

附录 B　第 3 节的配套结果

处理不依从的细节见附录 B.1，结果对替代回归设定的稳健性见附录 B.2，学生自我报告的感知见附录 B.3，处理效应异质性见附录 B.4，学生成绩离散度见附录 B.5，学生缺勤情况见附录 B.6。

B.1　对处理的不依从

有五个班级课次由于未曾预料的外部情况而未能执行相应处理；这些情况汇总于表 6。为考虑不依从问题、检验结果的有效性，我们进行了剔除不依从者的替代回归。表 7 显示了该回归的结果；它们与表 1 中的主分析几乎完全相同。

表 6｜由于外部情况而未能依从 GPT 处理（即转为对照条件）的班级课次。

表 7｜剔除不依从班级课次（由学校教师和工作人员报告）后，各年级、各环节学生在练习（有辅助）与考试（无辅助）题目上标准化成绩的回归结果；固定效应未列出。稳健标准误在班级层面聚类。

注：按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

B.2　替代的主要回归设定

首先，我们考虑题目层面（而非学生层面）的回归设定（式 (4)）。这里，Outcome(j)_icps ∈ [0, 1] 是学生 i 在班级 c、题目 p、环节 s ∈ {1, …, 4} 中有辅助（j = 0）或无辅助（j = 1）部分的标准化成绩；GPT Base_c、GPT Tutor_c、Prev GPA_i、θ_s、δ_g、α_y、λ_t 均与前同。标准误同样在班级层面聚类。结果见表 8，与式 (1) 学生层面设定的结果相近。

表 8｜各年级、各环节中题目层面标准化成绩在练习（有辅助）与考试（无辅助）题目上的回归结果；固定效应未列出。稳健标准误在班级层面聚类。

注：按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

接下来，我们对式 (1) 给出的主要回归设定进行若干变体检验，以确保我们的发现是一致的，具体包括：

1. 将非随机分班的尖子班（9A、9B、9C、10A、10B、10C）纳入样本；
2. 将未完成基线问卷的学生纳入样本；
3. 将我们收集的自我报告问卷变量（父母受教育程度、家庭构成、课堂喜爱/参与度、学习时长、作业完成情况、作业帮助、是否接受私人辅导或参加培训中心、此前接触 ChatGPT 的经历，以及性别）作为控制变量纳入；
4. 将异方差稳健标准误改为在学生层面或在（班级，学生）层面聚类。

表 9 的结果与表 1 的主要结果给出的结论相同。

表 9｜回归设定式 (1) 各变体的结果。为简洁起见，我们仅报告处理变量（GPT Base 和 GPT Tutor）在两部分上的系数。

注：除特别说明外，均为按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

B.3　学生感知

在每次考试结束时，我们进行了一项简短调查，测量学生对自己表现的感知。我们提出了五个问题：

1. “你认为自己在整节课中学到了多少？”选项为”非常多”“相当多”“中等”“一点”“完全没有”。
2. “你认为自己这次小测表现得如何？”选项为”优秀”“高于平均”“平均”“低于平均”“非常差”。
3. “解出这次小测的题目花了你多长时间？”选项为”0-5 分钟”“5-10 分钟”“10-15 分钟”“15-20 分钟”“20-25 分钟”“25-30 分钟”。
4. “前一部分（第二部分）的解题环节对帮助你解出这次小测的题目有多大帮助？”选项为”有效”” somewhat 有效”“中性”” somewhat 无效”“无效”（即”有效”“比较有效”“中性”“比较无效”“无效”）。
5. “为了获得 TED-AI 训练引擎（如果你没有用过 TED-AI 训练引擎，则为 ChatGPT-4）的帮助，你愿意在这次小测中放弃多少分钟？”选项为”0-5 分钟”“5-10 分钟”“10-15 分钟”“15-20 分钟”“20-25 分钟”“25-30 分钟”。

对每个问题，我们都拟合一个模型来预测学生的回答。对于问题 (1)、(2) 和 (4)，我们使用全部五个类别的有序 probit 模型（ordered probit）。对于问题 (3) 和 (5)，我们取每个区间的中点，将区间回答转换为介于 2.5 到 27.5 分钟之间的连续值；然后使用 OLS 模型。模型形式与式 (1) 的主要回归设定相同，只是结果变量替换为学生的回答，并额外使用一个连接函数 ϕ（对应于问题 (1)、(2)、(4) 的有序 probit 模型，以及问题 (3)、(5) 的线性形式）：

Response(j)_ics = ϕ(β₁·GPT Base_c + β₂·GPT Tutor_c + β₃·Prev GPA_c + θ_s + δ_g + α_y + λ_t + ε_ics).

估计中我们剔除了所有未回答的问题。结果见表 10。尽管 GPT Base 组学生在期末考试中的表现显著更差，但他们并未感知到自己学得更少或表现更差。有趣的是，尽管没有可检测到的真实成绩提升，相对于对照组，GPT Tutor 组的感知考试成绩却显著提高。此外，GPT Tutor 组学生认为练习环节对学习的价值高于其他组，而且他们完成考试所需的时间长约一分钟（约 3%）。总体而言，这些结果表明，尽管 GPT Base 对真实考试成绩有负面影响、GPT Tutor 对真实考试成绩没有影响，学生仍然认为能够使用 GPT 是有价值的，并可能高估了其收益。最后，两个 GPT 组的学生都愿意牺牲更多的考试时间来换取 GPT 的使用权限：GPT Base 组学生愿意放弃约 2.5 分钟（8.3%），GPT Tutor 组学生愿意放弃约 3.7 分钟（12.3%）。

表 10｜学生感知的回归结果；固定效应未列出。所有问题均报告稳健标准误，问题 (3) 和 (5) 在班级层面聚类。问题 (1)、(2) 和 (4) 来自有序 probit 模型。

*p<0.05；**p<0.01。

B.4　处理效应的异质性

我们以预注册的次要分析变量为函数考察处理效应的异质性：学生此前 GPA（学生能力）、是否接受私人辅导（学生资源）以及学习时长（学生努力）；¹⁸ 结果分别见表 11、表 12 和表 13。总体而言，无论哪种处理，我们几乎找不到支持异质性处理效应的统计学显著证据。唯一的例外是：在有辅助练习环节中，我们发现较薄弱的学生（GPA 较低者）和有私人辅导的学生从 GPT Base 的辅助中获益更多——然而，这些异质性效应在无辅助考试中并不持续。

脚注： ¹⁸ 我们预注册的异质性分析之一是此前接触生成式人工智能的经历。但由于学生是在整个学期中（而非第一个环节之前）填答问卷，且我们的处理本身涉及接触生成式人工智能，我们剔除了该变量。

表 11｜异质性：此前 GPA。

注：按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

表 12｜异质性：私人辅导。

注：按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

表 13｜异质性：自主学习时长。

注：按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

B.5　学生成绩离散度

我们研究使用 GPT Base 和 GPT Tutor 如何影响学生在有辅助练习题和无辅助考试中成绩的离散度。具体而言，我们对练习题和考试题分别计算”班级—环节”层面的学生标准化成绩的赫希曼—赫芬达尔指数（Hirschman-Herfindahl-Index，HHI）。然后，我们拟合一个与式 (1) 主要回归设定形式相同的模型，只是在”班级—环节”层面进行：

HHI(j)_cs = β₁·GPT Base_c + β₂·GPT Tutor_c + β₃·Prev GPA_c + θ_s + δ_g + α_y + λ_t + ε_cs.

这里，HHI(j)_cs 是班级 c、环节 s ∈ {1, …, 4} 中有辅助（j = 0）或无辅助（j = 1）部分的 HHI。表 14 显示了该回归的结果。我们发现，使用 GPT Base 或 GPT Tutor 都会在有辅助练习部分降低 HHI（即降低成绩离散度）。然而，我们在无辅助考试的表现上没有观察到显著的处理效应。换言之，虽然使用生成式人工智能可以通过更多地帮助较薄弱的学生来缩小”技能差距” (7–9)，但当撤销生成式人工智能的使用权限后，这一效应并不持续。

表 14｜成绩离散度的回归结果；固定效应未列出。

注：按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

B.6　学生缺勤情况

学生缺课的平均比例为 12.3%。一个潜在的担忧是，学生可能出于与处理相关的各种原因而系统性地缺席处理组或对照组的课（例如不喜欢 GPT、预期自己表现不佳等）。为此，表 15 报告了每个环节、每个组的学生缺勤率。我们没有发现差异性的流失——即三组学生上课的可能性相近。我们也没有发现环节对学生缺勤有任何影响。不出意外的是，我们发现此前 GPA 较高的学生上课的可能性略高。

表 15｜学生缺勤的回归结果；固定效应未列出。

注：按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

附录 C　第 4 节的配套结果

GPT Base 错误率分析的细节见 C.1，消息聚类的细节见 C.2。

C.1　GPT Base 错误率分析

我们通过发送一条标准化的 ChatGPT 消息（配合 GPT Base 提示词）来估计 GPT Base 在练习题上的错误率。我们使用 GPT Base 组学生最常发送的消息——即”what is the answer?“（最常见消息的统计见附录 C.2）。然后，对每道练习题，我们用这条消息从 GPT-4 中抽取 10 个随机回复。之所以这样做，是因为对于完全相同的题目和提示词，GPT-4 给出的答案（及其正确性）存在很大差异。我们人工将每个回复分类为”正确”（即正确解出题目）、“算术错误”（即采用了解题策略但算错了一个数值）或”逻辑错误”（即采用了错误的解题策略）。然后，对给定的题目，算术错误率是被标为算术错误的答案比例，逻辑错误率是被标为逻辑错误的答案比例。

在分析这些错误对学生表现的影响时，我们使用如下题目层面的回归设定：

Outcome(j)_icps = β₁·GPT Base_c + β₂·GPT Tutor_c + β₃·Prev GPA_i + β₄·Logical Error Rate_σ(j)(p)s + β₅·Arithmetic Error Rate_ps + β₆·Logical Error Rate_σ(j)(p)s × GPT Base_c + β₇·Logical Error Rate_σ(j)(p)s × GPT Tutor_c + β₈·Arithmetic Error Rate_σ(j)(p)s × GPT Base_c + β₉·Arithmetic Error Rate_σ(j)(p)s × GPT Tutor_c + θ_s + δ_g + α_y + λ_t + ε_ics　(3)

这一设定与式 (4) 相同，只有两处变化。第一，当 j = 1（即结果为无辅助考试的表现）时，我们使用从每道考试题 p 到练习题 σ(1)(p) 的映射，以便将考试题与 GPT Base 在练习题上的错误率关联起来。这样，我们就可以评估 GPT Base 在某道练习题上的错误率对学生对应考试题表现的影响。若 j = 0，则取 σ(0)(p) = p。这一映射源自考试的设计方式：具体而言，对于每道考试题，教师都设计了一道练习题，帮助学生学会解出该考试题所需的概念。第二，它加入了对 Logical Error Rate_p′s（即 GPT Base 在环节 s 中题目 p′ 上的逻辑错误率）和 Arithmetic Error Rate_p′s（即 GPT Base 在环节 s 中题目 p′ 上的算术错误率）的额外控制，其中 p′ = σ(j)(p)；它还包括这些错误率与处理变量 GPT Base_c 和 GPT Tutor_c 的交互项。

表 16 展示了式 (3) 所设定回归的一个替代版本的结果，其中我们考察 GPT Base 的总错误率，而不区分逻辑错误与算术错误。与前面的结果一致：虽然 GPT Base 的错误对练习题的表现有负面影响，但没有证据表明该效应会外溢到对应的考试题（即”GPT Base × 总错误率”对考试成绩没有统计上显著的效应），这表明学生只是在照抄 GPT Base 的答案。

表 16｜各年级、各环节中学生在练习题及对应考试题上表现的回归结果；该回归在题目层面进行，并包含 GPT Base 在练习题上的总（逻辑或算术）错误率的交互项。我们利用考试题与练习题之间的对应关系，估计练习题上的错误如何影响考试题上的表现。固定效应未列出。

注：按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

C.2　学生消息聚类

我们使用基于 BERT 的主题模型框架对学生消息进行聚类 (29)；这里概述该流程。为确保不同学生之间的消息数量均衡，我们聚焦于每位学生对每道题发出的第一条消息。首先，我们使用 Sentence-BERT (30) 将每条消息转换为稠密向量表示。接下来，我们使用 UMAP (31) 对这些向量降维，以提高聚类的稳定性。然后，我们在所得向量上运行聚类算法 HDBSCAN (32)。簇的数量由 BERTopic 模型自动选择，约束条件是每个簇至少有 2 条消息。我们对每道练习题（由环节、处理组、年级和题目 ID 唯一确定）分别执行这一流程。最终，我们在全部 57 道题目上共获得 394 个唯一的簇。随后，我们计算簇级 TF-IDF（将一个簇中的所有消息视为单个文档来运行 TF-IDF），并为每个簇提取前三条代表性消息。

获得代表性消息后，我们将它们在各练习题之间汇总，并进行第二轮聚类；我们把这一第二轮聚类步骤称为元聚类（meta-clustering）步骤，并把得到的簇称为元簇（meta-cluster）。同样，簇的数量由 BERTopic 模型自动选择，约束条件是每个元簇至少包含 5 个消息簇。我们最终共有 29 个唯一的元簇。然后，我们用上述相同的簇级 TF-IDF 指标为每个元簇计算最具代表性的消息，称为元代表消息（meta-representative message）。此外，我们人工检查每个元簇中的消息，为其标注消息类型。这些结果见图 7a（GPT Base）和图 7b（GPT Tutor）。可以看出，GPT Base 组的学生最常做的事情就是直接索取答案；相比之下，GPT Tutor 组的学生随着时间推移学会以更实质性的方式与辅导工具互动——在环节 2-3 中他们最常求助，而到环节 4，他们最常做的是独立尝试作答。

此外，我们将每条元代表消息分类为表层（即消息以某种方式直接向 GPT Base 索取答案）或非表层；我们将每条具体消息与其对应的元代表消息的类别标签相关联。为了可视化各簇消息的比率，对每个学生和每个环节，我们选取相应对话中的第一条消息，并计算四类簇中每一类第一条消息的比例；这些比例见图 8。我们观察到，GPT Tutor 组的学生在各环节中始终发送更少的表层消息（上两幅面板）和更多的非表层消息（下两幅面板）。对于正文中的图 3b，我们对全部消息重复这一流程，以对表层对话进行分类。

最后，对于附录 C.1 所述的错误率分析，我们使用 GPT Base 中最靠前的元代表消息”what is the answer?“；该消息占 GPT Base 组学生第一条消息的 31%。

图 7｜前三大消息类型。

1. GPT Base 的前三大消息类型：

2. GPT Tutor 的前三大消息类型：

图 8｜每道题的第一条消息落入四个簇（“重复题目文本”“索取答案”“尝试作答”“求助”）中每一簇的比例；上两簇为表层消息，下两簇为非表层消息。（横轴为环节 1–4，纵轴为第一条消息的比例 0.1–0.3；图例区分 GPT Base 与 GPT Tutor。）

C.3　学生参与度

除了每次环节发送的消息数量及其内容之外，我们还考察了 GPT Base 组与 Tutor 组学生在辅导平台上花费的时间。我们用一次环节中最后一条消息的时间减去第一条消息的时间，作为学生在平台上花费总时间的代理变量。¹⁹

Session Time_ics = β₁·GPT Base_c + β₂·Prev GPA_i + θ_s + α_y + λ_t + ε_ics　(4)

这里，Session Time_ics ∈ [0, 40] 是学生 i 在班级 c、环节 s ∈ {1, …, 4} 中最后一条消息与第一条消息之间的分钟数。我们控制学生 GPA，并纳入环节、年级和教师固定效应。结果见表 17。我们看到，使用 GPT Tutor 时学生在每次环节中多花 2 分钟——即他们在平台上花费的时间多 13%，表明参与度有所提高。

脚注： ¹⁹ 该时长应不超过 40 分钟。如果学生在课后才登录平台，我们偶尔会观察到更长的时间；我们剔除了这些观测。

表 17｜学生在 GPT Base 与 Tutor 平台上所花分钟数的回归结果；固定效应未列出。稳健标准误在班级层面聚类。

注：按班级聚类的 HC1 稳健标准误；*p<0.05；**p<0.01。

附录 D　环节材料

本附录给出所有环节和年级的练习题与考试题。每个环节的表格包含：年级、环节编号、单元、环节主题、学生人数（平均）与所用教材。第二部分（Part 2）为有辅助的练习题，第三部分（Part 3）为无辅助的考试题。

9 年级　环节 1

第二部分（练习）

1. 若复合命题 (q′ ∨ r)′ ⇒ p 为假，求 (q ⊻ p) ⇒ (r ∨ p) 的真值。
2. 化简复合命题 [(p ⇒ q) ∧ q′] ⇒ [(p ∧ q′) ∨ q′]。
3. 一支篮球队的教练正在为一场比赛考虑出场阵容。他考虑以下条件：i. 如果 A 上场，那么球员 B 不会上场。ii. 如果 B 上场，那么 A 或 C 会上场。iii. 球员 B 和 C 不会同时上场。球员 A、B、C 中谁会上场？
4. 对于两位自然数 AB，给定如下命题：p：AB 是偶数。q：AB 是素数。r：A+B=11。若复合命题 (p ⇒ q) ∧ (q′ ∧ r) 为真，求 A×B 的值。（大学入学考试题）

第三部分（考试）

1. 若 (p ∧ q) ⇒ (s ⇒ r′) 为假，求 (q ⊻ r′) ⇒ (p ∨ s) 的真值。
2. 化简 [(p ⇒ q)′ ∧ (q ∨ p′)]′ ⇒ ((p ⇒ q)′ ∨ p)。
3. 一所学校组织一次旅行。如果 Serpil 不去旅行，那么 Tuba 或 Elif 会去。如果 Tuba 去旅行，那么 Elif 会去。Serpil 不去旅行或 Tuba 去旅行。他们不会三人同去。谁会参加这次旅行？
4. 对于两位自然数 AB，给定如下命题：p：AB 能被 3 整除。q：A+B 能被 5 整除。r：A×B 能被 7 整除。若 q ⇒ (p ⇒ r) 为假，求 A×B 的值。（大学入学考试题）

9 年级　环节 2

第二部分（练习）

1. 若 r ⇒ (p ∧ q) 的逆命题为假，求 (q ⊻ p) ⇒ (r ∨ p) 的否命题的真值。
2. 化简下列复合命题：(p′ ∨ q) ∧ (p ⇒ q′) ⟺ [p′ ∧ (q ⊻ q′)]。
3. 在一个安保系统中，有四个开关：A、B、C 和 D。开关可以处于”开”（“1”）或”关”（“0”）的位置。要解密一个特殊密码，必须满足如下逻辑条件：Y = (A ∨ B) ∧ (C′ ∧ D) ∧ A。然而，由于一个先进的保障机制，两个开关相互关联：若其中一个为”开”，另一个就被强制为”关”，反之亦然。这两个相互关联的开关是 B 和 C。在这些条件下，要解密密码（使 Y 为”1”），请写出需要打开和关闭的开关组合。
4. “如果至少有一个素数是偶数，那么每个实数的平方都是正数。”求给定命题的真值，并写出该命题的否定。
5. 在一张桌上共有三颗弹珠：一颗红色、一颗蓝色、一颗黄色。这些弹珠分别放入袋子 A、B、C 中，每袋一颗。p：“袋子 A 中没有红弹珠。” q：“袋子 B 中有蓝弹珠。” r：“袋子 C 中没有黄弹珠。” 若命题 p ∧ (q ∨ r)′ 为真，袋子 A、B、C 中弹珠的颜色分别是什么？（大学入学考试）

第三部分（考试，无 ChatGPT，30 分钟）

1. 若 r′ ⇒ (p ⋀ q) 的逆命题为假，求 (q ⊻ r) ⇒ p′ 的逆否命题的真值。
2. 化简下列复合命题：(p ⇒ q) ⟺ [(p ⇒ q′) ∧ p]′。
3. (∃x∈R, −x² ≥ 0) ⇒ [(∃x∈N, 2x+12=3) ∨ (∀x∈Z, −2 > x 或 x ≥ 4)]。a) 求给定复合命题的真值。b) 写出该复合命题的否定。
4. p：a + b = 0　q：a + c < 0　r：c ≤ 0。给定命题 p、q、r。若复合命题 (p ∧ q) ⇒ r 为假，那么 a、b、c 的符号分别是什么？

9 年级　环节 3

第二部分（练习）

1. 给定集合 A = {x | 24 < x ≤ 150, x = 4k, k ∈ ℤ}，B = {x | 12 ≤ x < 144, x = 6k, k ∈ ℤ}。据此，集合 A∪B 中元素的个数是多少？
2. 给定集合 A = {a, b, c} 和 B = {1, 2, 3, 4, a, b, c}，可以写出多少个不同的子集 K，使得 K ≠ A、K ≠ B，且 A ⊆ K ⊆ B？
3. 在某个网站上，既能用自行车又能用摩托车的人有 10 个，至少会用其中一样的人有 35 个。在该网站上，如果会用摩托车的人数是会用自行车人数的两倍，那么只会用摩托车的人有多少个？
4. 对于集合 A 和 B，给定：n(A∩B′) = 2n(A∩B)；n(B−A) = 6；n(A) = 2n(B) + 1。求 n(A∩B)。
5. a、b、c 是一位自然数，x 是正整数，且 a < b < c。集合给定如下：A = {x | x² < 42}，B = {1, 2, 3, 7, 8, 9}，C = {a, b, c}。笛卡尔积 (A∪C) × (B∪C) 的元素个数为 54。求 c 的可能取值之和。

第三部分（考试）

1. 考虑集合 C = {r | 43 < r ≤ 210, r = 10k, k ∈ ℤ}，D = {t | 15 ≤ t < 270, t = 15k, k ∈ ℤ}。求 C−D 中元素的个数。
2. 给定集合 A = {1, 2, 3, 4} 和 B = {1, 2, 3, 4, 5, 6, a, b, c}，可以写出多少个不同的子集 K，使得 A ⊆ K、K ⊆ B 且 K ≠ B，另外 K 需要包含集合 B 中所有偶数？
3. 在一所高中里，学生要么是游戏玩家，要么是社交媒体用户。既热爱游戏又活跃于社交媒体的学生有 20 人，至少参与其中一项活动的学生总数为 60 人。如果我们用集合 G 表示游戏玩家、用集合 S 表示社交媒体用户，并给定 n(S∩G′) = a 和 n(G) = 2n(S) + 5，求 a 的值。
4. 对于集合 A、B 和 C，给定如下等式：n(A) = n(C) = 5；n(A×(B∪C)) = 30；n(B×(A∪C)) = 16。求 B∩C 的元素个数。

9 年级　环节 4

第二部分（练习）

1. 对于自然数 A 和 B，A 除以 6 的商为 B、余数为 5。B 除以 5 的余数为 4。求 A 除以 15 的余数。
2. Emre 是一名店长，正把销售总额和售出件数录入电脑时，他注意到发票上有一个错误。某商品单价为 11 里拉，其销售总额被错误地记录为 27,360 里拉。这个错误是由于两个相邻数字的书写顺序颠倒了。售出了多少件？
3. 一个五位数表示为 a4c5c。如果给它加上 7 之后能被 12 整除，那么 a + c 的最大可能值是多少？
4. 一所学校计划向班里的学生分发 72 支铅笔和 90 本笔记本，要求每位学生得到相同数量的铅笔和相同数量的笔记本，且没有剩余。这个班级最多可以有多少名学生？
5. 在一所音乐学校里，两名学生在不同乐器上练习音阶。Alice 每 12 天练习一次钢琴音阶，而 Bob 每 18 天练习一次小提琴音阶。他们都在同一个周二进行了第一次练习。他们的第 4 次共同练习将在星期几？

第三部分（考试）

1. 在一家面包店里，一大批饼干被分装。当饼干总数 C 除以 9 时，商为包数 P、余数为 8。当包数除以 8 时，余数为 7。你的任务是求饼干总数除以 18 的余数。
2. Aden 在检查一些数字能否被 11 整除。她发现 A 和 B 能被 11 整除，但 C 除以 11 的余数是 5。30d5d12 = 2A + 3B + C。d 的值是多少？（可能多个）
3. 六位数 23aa4b 比 45 的某个倍数小 11。a×b 的可能值是多少？
4. 在一所高中里，两个社团按不同的时间安排举行会议。机器人社团每 6 天开一次会，而天文社团每 8 天开一次会。两个社团的第二次会议在同一个星期四。他们的第 10 次联席会议将在星期几？

10 年级　环节 1

第二部分（练习）

1. 设 A = {a, b, c, d, e, f}，求 A 的含有 3 个元素且包含 b 或 f 的子集个数。
2. 从 6 名女生和 5 名男生中选出 5 人小组，求至少含 1 名男生的选法数。
3. 12 个人组成 3 个 4 人队，有多少种方式？
4. 在一节数学课上，老师问 Naz 从班里选 3 名学生有多少种不同选法，问 Mert 选 5 名学生有多少种不同选法，问 Zeynep 选 11 名学生有多少种不同选法。三名学生都正确算出了所要求的数。已知 Mert 和 Zeynep 得到的数是同一个正整数，Naz 得到的数是多少？

第三部分（考试）

1. 设 A = {1, 2, 3, 4, 5, 6, 7}，求 A 的含有 4 个元素、包含 1 和 3 但不包含 4 的子集个数。
2. 从 4 名医生和 5 名护士中组成 4 人医疗队，求至少含 1 名护士的组队数。
3. 15 个人组成三个 5 人队，三个队分别称为 A 队、B 队和 C 队，有多少种方式？
4. 三所不同学校各派两名学生参加国际象棋锦标赛。在第一轮中，每位学生将与一名来自不同学校的学生配对比赛。据此，第一轮共有多少种不同的配对方式？（大学入学考试题）

10 年级　环节 2

第二部分（练习）

1. A 和 B 是两个互斥事件。若 P(A′∩B) = 0.5 且 P(A′∩B′) = 0.2，求 P(A)。
2. 我们有七门课程，每周教学时数如下：课程 1：5 小时；课程 2：4 小时；课程 3：4 小时；课程 4：5 小时；课程 5：3 小时；课程 6：5 小时；课程 7：5 小时。假设我们从这批课程中随机选择四门。求所选课程的每周教学总时数等于 17 的概率。（大学入学考试）
3. 一个数字锁由 3 个字符的密码开启。每个字符可以是任意小写字母（‘a’ 到 ‘z’）或数字（0 到 9）。也就是说每个位置有 36 种可能的字符（26 个字母和 10 个数字）。随机设置的密码以字母开头、以数字结尾的概率是多少？
4. 5 名成人和他们的 7 个孩子要去看电影。他们将随机坐在三排、每排 4 个座位上。四名成人坐在最后一排的概率是多少？
5. 求单词 HIPPOPOTAMUS 的十二个字母的随机排列以元音开头、且每个 O 都紧跟在 P 之后（即 O 只出现在 P 之后）的概率。（英语字母表中的元音取 A、E、I、O、U）

第三部分（考试）

1. A 和 B 是两个互斥事件。若 P(A∩B′) = 0.4 且 P(A′∩B) = 0.2，求 P(A′∩B′)。
2. Evrim 正在为一次徒步旅行打包，想确保带足途中所需的水。她有几瓶容量不同的水，但背包里只能放 3 瓶。她有的瓶子是：4 瓶各 500 毫升；3 瓶各 750 毫升；2 瓶各 1000 毫升。如果 Evrim 随机选择 3 瓶装包，她此次旅行恰好带 2500 毫升水的概率是多少？
3. 假设把 105054020 的数字随机重排成一个新的 9 位数。求这个新数以偶数开头、且每个 5 后面都跟着 0 的概率。
4. 考虑一个有 3 层、每层放 3 本书的书架。希望把 4 本不同的数学书、2 本不同的生物书和 3 本不同的化学书放到书架上。假设这些书被随机放到各层，最上层只有数学书的概率是多少？

10 年级　环节 3

第二部分（练习；原文题号 6–10）

6. 判断下列关系是否表示一个函数，并说明理由。a) 定义在集合 A = {1, 2, 3, 4, 5} 上的 f = {(1,2), (2,2), (3,2), (4,2)}；b) g(x) = √x + √(2x−5)，该关系从 R⁺∪{0} 定义到 R；c) y² + x = 5，其中 x, y ∈ R。
7. 求函数 f(x) = (x+3)/(√(x−1) + √(7−x)) 的可能的最大定义域。（原文此处公式在 PDF 文本提取中有符号损坏，此式为按上下文的最佳重构，确切写法见原文。）
8. f: A⟶B 是一一对应（单射且满射）的函数。集合 A 与 B 的元素个数为 n(A) = 5t − 12 和 n(B) = 3t − 6。将从 B 到 C 定义另一个函数，其中 n(C) = 2n(A)。从 B 到 C 可以定义多少个不同的常值函数？
9. f、h、g 是定义在 R 上的函数。若 h(x) = f(x) + g(3x−5) 是线性函数，其中 g(x) 是恒等函数，且 f(−3) = 4、f(2) = −6，求 h(−2)。
10. 作为市场协调员，你正在分析广告对产品销量的影响。你观察到，从初始销量（没有任何广告）开始，广告支出每增加 1,000 里拉，产品销量增加 15 件。已知没有任何广告时销量为 100 件，请写出描述这一关系的线性函数。a) 定义线性函数 f: A⟶S，其中 A 为广告支出（千里拉），S 为总销量（件）；使用给定的初始销量和销量随广告支出增加的比率。b) 若广告支出为 17,000 里拉，计算预期销量。

第三部分（考试）

1. 判断下列关系是否表示一个函数，并说明理由。d) 定义在集合 A = {1, 2, 3, 4, 5} 上的 f = {(1,3), (2,1), (3,5), (4,2), (3,1), (5,1)}；e) y² − 2x = 0，其中 x, y ∈ R。
2. 求函数 f(x) = √(x−2)/(√(x−1) + √(x+3) + √(x−10)) 的最大可能定义域。（原文此处公式在 PDF 文本提取中受损严重，无法可靠重构，此式仅为示意；确切写法见原文 PDF。）
3. f、g、h 是定义在 R 上的函数。g(x) 是常值函数，f(x) 是线性函数，且 f(3) = 2、f(−1) = −10。若 h(x) = g(x)/f(3x−1) 且 h(9) = 4，求 g(2023)。
4. 作为数字内容经理，你正在探索公司网站上发布的博客文章数量与网络流量增长之间的关系。你发现，在没有新博客文章时，网站每周吸引 500 名访客。分析显示，每周每多发布 5 篇博客文章，访客增加 100 名。a) 定义线性函数 f: B⟶V，其中 B 为每周发布的博客文章数，V 为每周网站访客总数。b) 若发布 12 篇新博客文章，计算预期的每周网站访客数。

10 年级　环节 4

第二部分（练习）

1. 已知 f(x) = 1/(x−1) 和 g(x) = √(x+1)。求 f[g(x)] 的定义域。
2. 某城市的公共交通系统包括公交和地铁。任意一天乘坐公交的人数可以用函数 B(d) = 100d − 500 建模，其中 d 是当月日期。乘坐地铁的预期人数取决于公交乘客的预期人数，可以用函数 S(p) = 0.75p + 200 建模，其中 p 是公交乘客的预期人数。市交通部门想要构造一个复合函数 T(d)，把当月日期与地铁乘客的预期人数直接联系起来。a) 确定复合函数 T(d) 的显式形式。b) 若地铁预期乘客为 950 人，计算当月日期。
3. 对于两个函数 f 和 g，已知这两个函数的复合等于它们的乘积（(f∘g)(x) = f(x)·g(x)），且 f(x) = 2x − 5。求 g(3) 的值。
4. f⁻¹(x) = x² 和 g(x) = (x+1)/(x+3) 是定义在其最大定义域上的两个函数。求 (f∘g)⁻¹(x)。
5. f(x) 是一个自反（self-inverse，即函数的逆是它自身）的线性函数。若 g(x) 是恒等函数，且 f(3) − g(2) = 13，求 f(x)。

第三部分（考试）

1. 已知函数 m(x) = √(5−x) 和 n(x) = 1/(x+2)。确定 n[m(x)] 的定义域。
2. 在一片森林中，观测到的鸟类数量取决于树木数量。若 t 表示树木数量，则观测到的鸟类数量由 B(t) = t² + 4t 给出。此外，每天所需的鸟食量取决于鸟类数量。鸟食（千克）由 F(b) = 3b + 2 给出，其中 b 是鸟类数量。森林管理员想知道基于树木数量的每天所需鸟食总量。a) 写出基于树木数量的每日鸟食总量的公式 G(t)。b) 如果有 6 棵树，需要多少鸟食？
3. ((f⁻¹)∘g)⁻¹)(x) = (x+1)/(x+3) 且 g(x) = x − 2 是定义在其最大定义域上的两个函数。求 f(x)。
4. 设 p(x) 是一个自反（即函数的逆是它自身）的线性函数。若 g(x) 是恒等函数，且 p[g(3)] = 7，求 p(x)。

11 年级　环节 1

第二部分（练习）

1. 求经过 A(−2,3) 且平行于 2x − 3y + 5 = 0 的直线的方程。
2. 写出经过点 C(2,3)、且垂直于经过点 D(2,1) 和 E(−1,3) 的直线的直线方程。
3. 一架飞机沿方程为 y = 2x − 5 的直线 L₁ 飞行。确定直线 L₂ 的方程，该直线表示另一架在相同高度飞行的飞机的轨迹，它不应与 L₁ 相交，且应经过 (3, −1)。
4. a 和 b 是实数。3y = 2x + a 与 by = 3x − 12 是两条互相垂直的直线，且交于 y 轴。求 a + b。（大学入学考试题）

（译者注：原文此处两道题均编号为 4)。）

第三部分（考试）

1. 求经过 A(1, −2) 且垂直于 −x + 2y = 4 的直线的方程。
2. 求经过 B(0,3) 且平行于经过 C(−1,2) 和 D(3, −4) 的直线的直线方程。
3. 一段笔直的连接街道被建成垂直于一条方程为 y = −2x + 3 的现有街道。确定新街道段所在直线的方程，该街道段经过点 B(−1,2)。
4. 在笛卡尔坐标系上，直线 d 与直线 2x + y = 12 相交于点 A(4,4)。如果这两条直线把任何以 A(4,4) 为圆心的圆分成面积相等的四块，求直线 d 的方程。（大学入学考试题）

11 年级　环节 2

第二部分（练习；原文题号 11–15）

11. 在笛卡尔坐标平面上，直线 L 经过 A(−1, 2) 且平行于 2y − 4x − 5 = 0。A(a, 0) 和 B(0, b) 分别是直线 L 的 x 截距和 y 截距。求 a 与 b 之和。
12. 求经过 A(3,5) 与 B(−1,3) 的中点、且垂直于经过 A 与 B 的直线的直线方程。
13. 若以 A(a−4, −a−5)、B(−2a+1, 2a−7) 和 C(4a−6, 2a−3) 为顶点的三角形 ABC 的重心位于第四象限，求整数 a 的值。
14. 若下列三条直线在笛卡尔坐标平面上相交于同一点，求 m 的值。• 直线 1 经过 (0,1)，斜率为 m；• 直线 2 经过原点，斜率为 2m；• 直线 3 经过 (1,0)，斜率为 3m。（大学入学考试）
15. Duru 在地图上把她的位置标记在 (1, −1)，并把她想抵达的路径画成一条直线。她注意到所画的直线经过 (−1,3) 和 (−5,6)。请帮助 Duru 找出从她的位置到该路径的最短距离：描述她应该做什么，并求出该距离。

第三部分（考试）

1. 设 A(a, 0) 和 B(0, b) 是直线 L：2x − 3y − 12 = 0 的 x 截距和 y 截距。求经过 (a, b) 且平行于直线 3y − 6x + 8 = 0 的直线方程。
2. A(a−3, 2a+4) 与 A(a+5, −a−1) 的中点位于第二象限。若 a 是整数，求 C(a−3, 2a) 位于哪个象限。
3. L 是经过原点且垂直于经过 A(1, −1) 和 B(7, −3) 的直线的直线。若直线 L、y = mx + 3 与 y + 2mx + 9 = 0 只有一个公共点，求 m。
4. Ali 在地图上把他的位置标记在由他的学校 S(10, −8)、他的家 H(−2,2) 和他最喜欢的咖啡店 C(−2, −3) 构成的三角形的重心处。他的朋友 Nil 把自己的位置标记在经过学校和咖啡店的直线上、且距 Ali 最近的点处。求 Ali 与 Nil 之间的距离。

11 年级　环节 3

第二部分（练习）

1. 考虑二次函数 f(x) = −2x² + 8x + 3，它模拟一个向上抛出的小球的高度（米），其中 x 表示抛出后经过的时间（秒）。计算球的高度在 2 秒到 4 秒区间上的平均变化率。
2. 考虑由方程 y = ax² + bx + c 定义的抛物线，其中 a、b、c 是实数。该抛物线与直线 y = 6 恰好交于一点。如果抛物线与 x 轴交于 x = −1 和 x = 5，确定系数 a、b、c 的符号（正、负或零）。
3. 考虑函数 F(S) = 0.005S² − 0.6S + 25，其中 F(S) 表示车辆每 100 公里的油耗（升），S 是车速（公里/小时）。对于 50 到 100 公里/小时的速度范围，计算油耗的最小值和最大值。
4. 直线 y = mx − 4 与抛物线 y = x² − x 相切。求 m 的可能值。
5. 确定由二次函数 f(x) = ax² + bx + c 构成的三角形 TAB 的面积。抛物线的顶点记为点 T。抛物线与 x 轴的交点为 A(−2,0) 和 B(8, 0)，与 y 轴的交点为 (0, −16)。

第三部分（考试）

1. 考察二次函数 g(x) = −3x² + 10x + 5，它表示一架垂直飞行的无人机的高度（米），其中 x 表示无人机开始上升后经过的时间（秒）。确定无人机高度在 1 秒到 4 秒时间区间内的平均变化率。
2. 对于二次函数 f(x) = ax² + bx + c，其图像如下方所示（原文此处为一幅图像，文本提取中缺失），确定 a、b、c 和 Δ 的符号。

3. 考虑函数 P(t) = 2t² − 8t + 10，其中 P(t) 表示一家小面包店的利润（美元），t 是面包店每天营业的小时数。确定面包店每天营业 1 到 5 小时所能预期的最大和最小利润。
4. 确定由二次函数 f(x) = ax² + bx + c 构成的三角形 TAB 的面积。（原文此处配图在文本提取中缺失。）

11 年级　环节 4

第二部分（练习）

1. 若函数 f(x) = x² − 4x + 5 向右平移 a 个单位、向下平移 b 个单位后得到 g(x) = x² − 6x + 4，求 a × b 的值。
2. 按顺序描述一个变换序列，把 y = f(x) 的图像映射到 y = −3f(x) + 2 的图像。
3. 解方程组（原文此处公式在 PDF 文本提取中受损，无法可靠重构，形式约为 3/(x−2) − y = 8 与 x − 5/(y+1) = 6）：求 x + y 的值。
4. 解方程组（原文此处公式在文本提取中受损，形式约为 x² + y² = 11 与 x/y + y/x + (x−y)/7 = 11）：求满足该方程组的可能的 y 值。
5. Elif 正在设计一个长方形游乐场。游乐场的长为 y 米，宽为 x 米。她计划在游乐场铺设一种特殊橡胶地面，价格为每平方米 30 美元。游乐场的对角线为 √500 米。Elif 已为橡胶地面花费 6,000 美元。游乐场的尺寸是多少？

第三部分（考试）

1. 一条过山车的路径可以用函数 h(x) = x² − 8x + 20 建模，其中 h(x) 表示过山车在距起点水平距离 x 米处的高度。为提升乘坐体验，工程师计划改动路线。他们打算把整条过山车路径向左平移 2 米、向下平移 3 米。写出形式为 y = ax² + bx + c 的方程，表示过山车的新路径。
2. 按顺序描述一个变换序列，把 y = f(x) 的图像映射到 y = f(−2x + 6) 的图像。
3. 解方程组（原文此处公式在文本提取中受损，形式约为 4xy = y − x 与 3/x + 2/y = 9）：求 1/x 的值。
4. 一位农民正在为她的羊修建一个长方形围栏。为了加固结构，她计划从一个角到对角加装一根对角支撑。她知道围栏面积必须恰好为 12 平方米，才能为羊提供足够的空间。此外，出于安全考虑，她已算出对角线长度应等于 5 米。求围栏的可能尺寸。

译注： 1. 本译文据 PDF 提取的英文全文译出；原文公式（尤其是附录 D 中的数学题）中的上标、逻辑否定撇号、下标与部分括号在文本提取时受损，译文已按上下文作最佳重构，个别无法可靠重构的公式已在相应位置标明，确切写法请以原文 PDF 为准。附录 D 中部分题目存在原文自带的编号重复或拼写问题（如 11 年级环节 1 出现两个”4)“题、单元名拼写错误等），译文如实保留并注明。 2. 原文第 3.1 节（4.1）与附录 B.2 中两处将题目层面回归设定称为”式 (4)“，按正文公式编号系统应为”式 (2)“（原文疑似笔误），译文保留原编号。附录 B.3 的模型式中 Prev GPA 的下标原文印作 c，译文照录。 3. 图 2、图 3、图 4、图 5、图 6、图 8 为图形内容，无法从纯文本完整还原，译文以图注翻译加简要坐标轴/面板说明的方式呈现。 4. 原文中”Part 2”在部分年级环节的材料里题号并不连续（如 10 年级环节 3 第二部分题号从 6 开始），译文照原文保留。 5. 表 3”含尖子班”面板中”周末平均学习小时数”一行的 GPT-Base 列数值在原文文本提取中缺失。 6. 参考文献共 32 条，未翻译。