研究解读 · 小互解读

达特茅斯实测AI判作业:学生嫌它死板,用的人反而考得更好

151人实测:简答题比选择题更能拉动分数,AI答疑侧栏却几乎没人用
速览
  • 达特茅斯学院在151名统计课学生中试点了AI学习平台Phosphor,作为完全自愿、不计分的教材替代品,由Claude Sonnet 4.6负责给简答题判分。
  • 90.2%的学生至少用过一次该平台,是这门课学生和老师自报阅读达标率(10到15%)的6倍以上。
  • 完整使用(24课全上完,加3次跨课复习全通过)对比零使用,期末成绩差距在控制先验成绩后为0.71个标准差,不控制则为1.30个标准差。
  • 三个模块因学生反馈换了两次考试形式,意外形成一次自然实验:只有需要学生自己作答的简答题模块保留了「多做题多得分」的关系,纯选择题模块这个关系几乎消失。
  • 平台自带的AI答疑聊天侧栏全学期只被查询72次,只有14名学生用过一次以上。
1 达特茅斯的教材实验

把AI判卷塞进教材,九成学生自愿买账

达特茅斯学院统计课团队最近在151名学生中试点部署了AI学习平台Phosphor,把简答题和选择题测验直接嵌进课文阅读流程,由Claude Sonnet 4.6按老师定的评分标准给简答题判分。

在完全自愿、不计分的前提下,90.2%的学生至少用过一次这个平台;完整参与的学生,期末成绩比零参与的学生最多高出1.3个标准差。
为什么值得看:90.2%这个自愿使用率,是本课程学生和老师自报的教材阅读达标率(10到15%)的6倍以上。它给出的证据是,AI判卷这件事能真正嵌进日常教学、被学生用起来,并且和期末成绩挂上钩。

这套平台要解决的,是一对现成的矛盾。一边,大学生几乎不读教材:自1980年代以来阅读达标率一路下滑,学生主动抵触阅读任务,客观测量出来的达标率远低于自报。这门课(MATH 010 统计入门)里,学生自报的阅读达标率约15%,老师估计只有10%,个别学生的原话从「压根没人会去读」到「这也要录下来吗」。

另一边,放任学生自由用AI,反而可能伤学习。Bastani等人在近千名学生的随机对照实验里发现,不加约束地给学生用GPT-4,等工具被拿走后,成绩反而降了17%,学生把它当成了拐杖而非学习工具;只有加了教学护栏的版本才避开了这个副作用。与此同时,学生用AI做作业的比例还在猛涨:2026年高等教育政策研究所(HEPI)的调查显示,94%的大学生在计分作业里用过生成式AI,两年前这个数字才53%。

−17%
近千人随机对照实验中,不加约束用GPT-4、工具拿走后成绩反降的幅度
94%
2026年大学生在计分作业里用过AI的比例(两年前为53%)
10–15%
这门课学生和老师自报的教材阅读达标率

Phosphor(前身名 Spongium)想做的,是把「主动作答」变成阅读体验里的一道结构性环节:读课文的同时就得做AI判分的小测。它的设计前提是,AI最有用的位置是直接嵌进内容传送系统本身,这也呼应了教育研究里有据可查的「doer效应」,稍后会讲到。

用Phosphor平台
(自愿、不计分)
90.2%
传统教材阅读达标
(学生/老师自报)
10–15%
2 平台怎么运作

读完课文马上考,考完AI立刻判

Phosphor是一个网页应用,课程内容按「课」组织,每一课配一个15到20题的题库。学生读完一课,就在同一页做一次小测;做完,机器和AI当场给分。

读课文 简答小测 模块复习 期末考
1
读一课,页面侧栏显示整门课的目录和每课完成进度。课程内容是团队自己编写的,底子来自开放教育资源。
2
从这一课题库里随机抽4道题做小测。选择题(MCQ)系统自动判;简答题(CRQ)交给 Claude Sonnet 4.6,按老师给每道题定的评分标准和参考答案打分,并给出对错的理由。答到75%以上算「通过」。题库里40%是简答题、60%是选择题。不设阅读门槛,随便读随便考,可无限重考。
3
攒够课时后,触发跨课的模块复习:一次10题,覆盖整个模块的多课内容,要90%才算过,也可无限重考。复习默认只出选择题,学生可以选一个「全题型」模式,把简答题也加进来。
4
课程末尾是纸笔期末考,现场重度监考。全学期对齐两次期中和一次累积期末,本研究就用这三场考试来衡量效果。