研究解读 · 小互解读

LangChain:只调 harness 不换模型,让 Nemotron 3 Ultra 跑分逼近 Opus 4.8,成本约 1/10,证明企业无需花重金购买闭源 API

系统提示、工具描述、中间件三处动刀;Deep Agents 套件典型约 0.80→0.84,最佳 0.86 对 Opus 0.87。
五句话看完
  • LangChain 固定 Nemotron 3 Ultra 权重,只改 harness(系统提示、工具描述、中间件),不改模型、不改温度等生成参数。
  • 方法是评测驱动闭环:评测 → 读失败轨迹 → 聚类行为 → 改一处外壳 → 再评测;先小样本筛,再上全套。
  • 提示词用短的单目标指令块;中间件做强制执行 + 在出错点塞信号。
  • 关键机制:同一句规则写在工具描述里无效,塞进工具返回结果就有效;对话中途注入比系统提示常驻更稳。
  • 典型 ~0.80→0.84,最佳 0.86 对 Opus 4.8 最佳 0.87;整套约 $4.48 vs $43.48,中位延迟都约 10 秒/题。
⚑ 立场提示:本文是 LangChain 官方博客的方法论案例,数据来自其 Deep Agents 内部评测与自家 trace 分析,非第三方复现。
1WHAT

他们做了一件什么事

LangChain 发了一份 Nemotron 3 Ultra 的 harness 调优手册:模型不动,只改它外面那层脚手架,看开源模型在 agent 任务上能被抬到多高。

一句话:同一个开源模型,换一套合身的外壳,最佳跑分逼近 Claude Opus 4.8,全套评测成本大约低一个数量级。

为什么值得看:同一套权重、不同脚手架,分数可以差一截。他们此前把 gpt-5.2-codex 在 Terminal-Bench 2.0 从 52.8 提到 66.5,没动模型。这次把同一思路用在开源模型上,并给出接近 Opus 的成本对照。

AGENT = 模型 + HARNESS HARNESS · 这次动刀的部分 系统提示 工具描述 中间件 模型内核 Nemotron 3 Ultra 权重固定 · 不换模型 · 不改温度 / top-p
架构:agent 不是裸模型。外壳(harness)包着内核(模型)。LangChain 这次只拧外壳三块:系统提示、工具描述、中间件;内核权重原封不动。

生成参数保持厂商推荐默认。文中的提升,不是靠把 temperature 拧一下「碰运气」得来的。

模型与 harness 关系示意
官方图:模型在内、harness 在外。合得上,能力花在任务上;合不上,能力花在和脚手架较劲上。图源:LangChain Blog
站内相关解读
AI 自我进化的关键,藏在模型外面那层叫 harness 的外壳里
Lilian Weng 的 harness 工程长文;本篇是 LangChain 在开源模型上的实操手册。
2MISMATCH

外壳不合身时,马力去哪了

开源模型已经能扛真实 agent 活,价格是前沿 API 的零头。但再能干的模型,丢进不是为它建的 harness,也会发挥失常。

打个比方

模型像发动机,harness 像底盘和挡位。发动机再好,挡位和传动对不上,马力也会浪费在空转和打滑上。调 harness,是在改挡位和传动,不是换发动机。