深度 · 小互解读
微软如何大规模部署企业级 AI 代理：把生产级 Agent 拆成 5 层架子
检索变成会规划会重试的子 agent，评测从「能跑通」升级到「做得对」
一分钟速览
- 微软 Core AI 产品副总裁 Marco Casalaina 详解了 Microsoft Foundry 平台如何支撑超 8 万家企业构建和运行 AI agent。
- 他把生产级 agent 系统拆成 5 层：推理层（可换模型）、Agent 运行时（编排循环）、可观测与治理层、身份层、上下文层。
- 检索被重新设计成会规划、会重试的「子 agent」（agentic 检索），不再是查一次就完事的经典 RAG。
- 评测从通用指标（能不能跑通）升级为针对具体行为的 rubric 打分，配合 Agent Optimizer 自动重写 prompt、换模型来修正问题。
- 文章给出两条不依赖 Foundry、任何团队都能照搬的原则：检索要做成可重试的循环，会执行动作的 agent 必须有可审计的身份。
1从原型到生产
能跑通的 demo，一上线就碎了
微软 Foundry 平台上，已经有超过 8 万家企业在构建和运行 AI agent；微软自家的 Microsoft 365 Copilot 也跑在同一套平台上，服务着 2000 多万用户。
为了搞清楚「把 agent 做到能上生产、能扛住真实流量」到底要什么，ByteByteGo 采访了微软 Core AI 产品副总裁 Marco Casalaina。他讲的核心结论就一句：撑住一个生产级 agent 的，是模型外面那一整套「架子」（harness），它和模型一样重要。
生产级 agent 远不止模型：模型周围是一整套机器。来源：ByteByteGo ×微软
🎯
为什么值得看：8 万家企业在 Foundry 上建 agent，Microsoft 365 Copilot 服务 2000 多万用户，自研 agent 月活今年以来涨了 6 倍，平台能调用的模型超 1.1 万个。这是少数把生产工程细节公开讲清楚的超大规模 agent 部署案例。
8万+
在 Microsoft Foundry 上构建 AI agent 的企业
2000万+
Microsoft 365 Copilot 服务的用户
6倍
M365 Copilot 自研 agent 月活，今年以来增长
1.1万+
Foundry 可调用的模型数（OpenAI／Anthropic／xAI／DeepSeek／MAI）
Marco 先讲了这两年发生了什么变化：「我们正在离开 AI 的问答阶段。2026 年，越来越多客户用语音当前端，所以我们也在离开聊天机器人时代。」旧形态和新形态，差别很大。
旧形态 · 聊天机器人
你打字，它回话，只能回答问题。它答错了，是一次糟糕的体验。新形态 · agent
替你把事真的做完：订会议室、跑分析、发邮件、开工单。前端甚至可以是语音，你一个字都不用打。它做错了动作，是一次业务事故。
从聊天机器人到 agent：从只答问题到真的把事做完。来源：ByteByteGo ×微软
就是这个变化，让工程难题彻底不一样了。一个 demo，一晚上就能随手堆出来，模型够聪明、测试 prompt 都能跑通、演示很唬人，试点一周就上线。真正开裂的地方在生产环境，那里会暴露 demo 里根本看不到的问题。
没预料的提问
真实用户问的东西，你在 demo 里从没想到过。
真实用户问的东西，你在 demo 里从没想到过。
文档过期
agent 依赖的资料悄悄变旧，答案跟着错。
agent 依赖的资料悄悄变旧，答案跟着错。
模型悄悄变了
厂商发个更新，agent 的行为就变，没人发现，直到客户投诉。
厂商发个更新，agent 的行为就变，没人发现，直到客户投诉。
没身份没审计
agent 用共享系统账号跑，出了事查不到是谁干的。
agent 用共享系统账号跑，出了事查不到是谁干的。
没护栏乱说
它会很自信地说出一句不该说的话。
它会很自信地说出一句不该说的话。
没可观测
你压根不知道质量是在变好还是变差。
你压根不知道质量是在变好还是变差。
只在生产环境才爆、原型里永远看不到的失败。来源：ByteByteGo ×微软
问到「跑这些系统跑下来最大的一条教训」，Marco 的回答是：harness 和模型一样重要。harness 指的就是模型外面那一整套东西：运行时、工具、上下文检索、身份层、护栏、评测器、部署管线。
模型每隔几周就变一次，你没法像升级数据库版本那样对待它。Postgres 换个版本，你基本能指望它直接就能用；模型不是这样，每个模型脾气都不同，harness 得跟着调。Anthropic 发布 Claude Opus 4.8 之后，微软 GitHub Copilot CLI 团队必须重新调 harness、重新跑一遍评测，才能上线。