研究解读 · 小互解读

实验表明:用 AI 辅助写作、创作的时候要适度,不能太多也不能太少

同一项研究的三轮验证都指向中间那一档;专栏作家本人拿 ChatGPT 编了个电影梗概试完,说自己还是宁愿手写。
一分钟速览
  • 用 AI 做创作到底该用多少,加拿大不列颠哥伦比亚大学的一项研究给了具体答案:存在一个甜区,用得太少和用得太多,作品的创意评分都会掉下来。
  • 主实验找了约 150 人,帮一个学生想一个只有 10 美元启动资金的创业点子,分三组:只用 ChatGPT 一次、用四到六次、至少用九次。专家评委按新颖性、实用性和商业价值打分,中间那组平均分最高。换 319 人重做一遍,结果一样。
  • 专业创意人士也是同一个形状:时装设计师、视觉艺术家、作家、动画师、技术从业者和网红填一份 1 到 7 分的问卷,再由各自的老板评估创意表现,自评 4 到 5 分的那批人表现最好。
  • Huang 的假设是,AI 能提供跳出你自己经验的视角,这和团队往往比个人更有创造力是同一个道理;而作者补充了它的几个短板,大模型本质是统计工具,常给出一种「平均答案」,还可能削弱你自己的胜任感。
  • 写这篇的专栏作家自己试了一遍,和 ChatGPT 来回几轮编出一个比他独自能写出的更精巧的情节,但他说过程里失去了突触竭力寻找新连接的那种乐趣,最后决定还是自己写。
这是 New Scientist 的署名专栏,后半部分是作者本人的第一人称体验和个人取舍,不是研究结论。
开场

他让 ChatGPT 编了个电影梗概

ChatGPT 给出的其中一个方案

Mischa 的父母正在自家的乡间宅邸为女儿办订婚派对。她致祝酒词时,酒杯从手中滑落,杯柄里露出一样东西,一张微型记忆卡。这个发现牵出一桩埋了几十年的腐败丑闻,而丑闻牵涉的正是她自己的家族,逼她在正义和忠诚之间做选择。

写下这段的不是编剧。New Scientist 的专栏作家 David Robson 给 ChatGPT 出了一道创意写作题,题目是一句话:「她的脸僵住了,眼睛睁大,看着玻璃杯在地上摔碎。」他的目标是在三十分钟内做出一个短的剧情大纲。

他没有进军好莱坞的打算。他在测一项研究的结论。

这项研究问的问题很具体:用 AI 辅助创作的时候,用多少才最好?答案在中间有一档。多了少了,成绩都往下走。
🔎

为什么值得看:同一项研究里的三轮验证,约 150 人的实验、319 人的第二轮实验、面向专业创意从业者的问卷调查,都得到同一个倒 U 形结果:中等使用量的那批人表现最好。前两轮由人类专家评委按新颖性、实用性和商业价值打分,第三轮的创意表现则依据各自老板的评估。

五个人在海边悬崖的草地上架着画架写生,背对镜头面朝大海
这篇专栏的配图,画面是五个人在海边写生,用的是传统画具。原始图注写的是:用 AI 做创作存在一个「金发姑娘区间」。摄影 Clare Jackson/Alamy,图片来自 New Scientist