深度 · 小互解读

Ploy 公司将生产环境 AI 从 Opus 4.8 切换到 GPT-5.6 Sol:质量不下降的同时耗时减少一半以上、成本降低 27%

换模型不是换个 API:评测框架、工具参数、缓存、推理记录,四个看不见的坑逐一拆解修法
速览
  • Ploy 把旗下建站 AI agent 的默认模型从 Claude Opus 4.8 换成了当天上线的 GPT-5.6 Sol
  • 自评测显示:完成同类建站任务,耗时从 8 分 0 秒降到 3 分 42 秒,成本从 3.06 美元降到 2.22 美元,视觉评分从 0.936 升到 0.970
  • 迁移中发现 GPT-5.6 会在工具调用里对用不上的参数编造默认值(如 offset: 0),一度导致 52% 到 64% 的文件读取悄悄返回空内容
  • OpenAI 的 prompt 缓存机制和 Anthropic 完全不同,改用 workspace 级 cache key 重新设计缓存分层后,首次调用缓存命中率从 0% 提升到 83.7%
  • 团队还发现自家评测框架本身对用惯的旧模型有隐性偏袒,需要先修评测框架才能信评测结果
立场提示:本文是 Ploy 官方工程博客,属厂商自述。文中的耗时、成本、视觉评分、缓存命中率、参数携带率等,全部出自 Ploy 自家评测框架和生产流量口径,跑分标准也由 Ploy 自定。下面只转述它记录下来的事实与做法。
1背景 · 换模型

Ploy 把默认模型换成了 GPT-5.6 Sol

AI 建站产品 Ploy 在 2026 年 7 月 9 日,把旗下 agent 的默认模型从 Claude Opus 4.8 换成了 OpenAI 当天发布的 GPT-5.6 Sol。

换模型这件事,比换一个 API 端点复杂得多。Ploy 的 agent 要规划页面、读代码库、写组件、生成配图、给自己的成果截图,再判断到底做完没有。把这套流程从 Claude 搬到 GPT-5.6,团队是一个评测失败接一个评测失败地发现:那些被当成"模型"的东西,其实是各家服务商各自的行为习惯,整个技术栈早就悄悄围着旧模型长成了特定形状。

📊
同一个生产级 agent、同一套 Vercel AI SDK,只把默认模型换了。Ploy 自评测里完成同类建站任务:耗时 8 分 0 秒降到 3 分 42 秒(快约 2.2 倍),成本 3.06 美元降到 2.22 美元(省 27%),视觉评分 0.936 升到 0.970。过去四个月,Opus 一直守着默认位(先是 4.7,后是 4.8),团队测过的模型没有一个打赢它,GPT-5.6 是头一个赢的。
彩色充气造型由半透明管道相连,隐喻 AI agent 在两套模型系统间迁移
Ploy 官方博客配图:几团彩色充气造型由一根半透明管道相连,隐喻一个生产级 agent 在两套模型系统之间迁移。来源:Ploy Blog

下面是它品牌页重建评测套件里的一组样本,agent 要照着参考设计把品牌主页重做一遍:

每次完成建站,平均Claude Opus 4.8(n=11)GPT-5.6(n=10)
成本$3.06$2.22
耗时8 分 00 秒3 分 42 秒
输入 token2.60M1.70M
输出 token33.0K17.1K
视觉评分0.9360.970

GPT-5.6 写的代码更省。一组配对样本里,Opus 生成了 17,957 字符、174 个 CSS 变量(大段色阶其实没用上)的 globals.css,GPT-5.6 只用 2,508 字符、45 个变量,就渲染出相当(有时更好)的页面。

上面说的那组配对样本,两个模型各自渲染出的页面:左 Opus 4.8,右 GPT-5.6 Sol。GPT-5.6 用约七分之一的 CSS 代码,做出了完成度相当的页面。这里只截了首屏,点击图片看完整长图。来源:Ploy Blog
站内相关解读
OpenAI 正式发布 GPT-5.6:综合智能跑分逼近 Claude Fable 5,成本减半,ChatGPT、Codex 合并
这篇讲的是 GPT-5.6 本身发布了什么;本文是它上线当天,一家生产环境用户的实测迁移记录。
2评测公不公平

先看评测框架公不公平,再看模型强不强

拿两个模型的分数直接比之前,得先问一句:评测框架本身公不公平。Ploy 把同一套评测套件横跨两个模型家族跑了一遍,最意外的发现是,评测框架早就为旧模型调过了,团队自己却没察觉。

头一次跨模型跑,具体偏在这几处: