マイクロソフトはいかにして企業向け AI エージェントを大規模展開するか：本番運用可能な Agent を 5 層構造に分解する
- マイクロソフト Core AI プロダクト担当バイスプレジデントの Marco Casalaina が、8 万社を超える企業の AI agent 構築・運用を支える Microsoft Foundry プラットフォームについて詳しく語った。
- 本番運用可能な agent システムを 5 層に分解：推論層（モデルを差し替え可能）、Agent ランタイム（オーケストレーションループ）、可観測性・ガバナンス層、アイデンティティ層、コンテキスト層。
- 検索は計画を立て、再試行する「子 agent」（agentic 検索）として再設計され、一度クエリを投げれば終わりの従来型 RAG ではなくなった。
- 評価は汎用指標（動くかどうか）から、具体的な振る舞いに対する rubric 採点へと格上げされ、Agent Optimizer が自動で prompt を書き換え、モデルを差し替えて問題を修正する。
- 記事は Foundry に依存せず、どんなチームでもそのまま使える 2 つの原則を示す：検索は再試行できるループにすること、動作を実行する agent には監査可能なアイデンティティを持たせること。
動く demo が、本番投入した途端に壊れる
マイクロソフト Foundry プラットフォームでは、すでに 8 万社を超える企業が AI agent を構築・運用している。マイクロソフト自身の Microsoft 365 Copilot も同じプラットフォーム上で稼働し、2000 万人以上のユーザーにサービスを提供している。
Marco はまず、この 2 年間で何が変わったかを語った。「我々は AI の質問応答フェーズから離れつつある。2026 年には、音声をフロントエンドに使う顧客がますます増えており、我々はチャットボットの時代からも離れつつある」。旧来の形と新しい形の違いは大きい。
まさにこの変化によって、エンジニアリングの難題はまったく別物になった。demo は一晩あれば手早く組み上げられる。モデルは十分賢く、用意したテスト prompt はすべて通り、デモは説得力があり、パイロットは一週間で本番に乗る。実際に亀裂が入るのは本番環境であり、そこでは demo では絶対に見えない問題が露呈する。
実際のユーザーが尋ねる内容は、demo では一度も想定していなかったものだ。
agent が依存する資料はいつの間にか古くなり、回答もそれにつられて誤る。
ベンダーがアップデートを出すと agent の振る舞いも変わるが、顧客からクレームが来るまで誰も気づかない。
agent は共有システムアカウントで動いており、問題が起きても誰の仕業か追跡できない。
言ってはいけないことを、実に自信たっぷりに言ってしまう。
品質が良くなっているのか悪くなっているのか、まったくわからない。
「これらのシステムを運用してきて得た最大の教訓は何か」と問われ、Marco はこう答えた：harness はモデルと同じくらい重要だ。harness とはモデルの外側にある一式のもの――ランタイム、ツール、コンテキスト検索、アイデンティティ層、ガードレール、評価器、デプロイパイプラインを指す。
モデルは数週間おきに変わり、データベースのバージョンアップのようには扱えない。Postgres のバージョンを上げれば、基本的にそのまま使えると期待できる。だがモデルはそうではなく、モデルごとに癖が異なり、harness もそれに合わせて調整しなければならない。Anthropic が Claude Opus 4.8 をリリースした後、マイクロソフトの GitHub Copilot CLI チームは harness を調整し直し、評価を再実行してからでなければリリースできなかった。
