深掘理解説

ハーネスエンジニアリングだけでは不十分:ソフトウェア工場モデルはなぜ失敗するのか?

開発者22,000人・2年間のデータ:成果物は66%増、だがPR1件あたりの本番障害は242.7%増。
1分でわかる要点
  • 注目を集める「消灯工場(AIが代码生成・レビューを行い、人間は1行も読まない)」モデル。HumanLayer創業者のDex Horthy氏は長文記事で「この手法は破綻する」と指摘。原因は運用の問題ではなく、モデルの学習方法そのものにあります。
  • Faros AIのデータ(開発者22,000人・2年間):1人あたりのエピック完了数は66%増えたものの、PR1件あたりの本番障害は242.7%増。ノーレビューでマージされたPRも31.3%増加しました。
  • 根本原因は評価基準(報酬設計):プログラミング学習時、評価プログラムは「修正対象のテストが通ったか」「他を壊していないか」の2点のみで加点します。コードの美しさは無関係なため、try-catchで例外を揉み消すような実装でも満点になってしまいます。
  • 「保守性の低さ」はペナルティにできません。テスト実行文字数秒で終わりますが、悪い設計のツケが回ってくる文字数週間〜数ヶ月後であり、因果関係を過去文字遡って学習(逆伝播)できないためです。
  • 解決策は「実装前の設計」に注力すること:プロダクトレビュー、システムアーキテクチャ、プログラム設計、バーティカルスライスの4段階。1時間の事前計画によりレビュー時間を6時間から20分に削減でき、想定される苦痛の8割は最初の10分で解消されます。
注記:Dex Horthy氏が手掛けるHumanLayer文字、人間をAIワークフロー文字再組み込みするコラボレーションツールであり、記事的結論と商業的インセンティブが一致しています(本人も冒頭で免責事項を掲載)。また、引用されているFaros AIの数据文字同一企業群的前後比較であり、対照実験文字文字ありません。Faros側文字統計的有意性を主張していますが、Dex氏文字確定的な証拠文字文字く相関シグナルとして扱っています。

2026年7月、HumanLayer創業者のDex Horthy氏は「AI Engineer World's Fair」文字て『なぜソフトウェア工場は失敗するのか』と題した講演を行いました。その後、この内容を加筆・詳細化した長文記事をXに投稿。画像や動画的枚数制限的ため、7月24日・25日的2回文字分けた公開されました。

前編のサブタイトルは「ハーネスだけでは不十分(Harness is Not Enough)」。AIコーディングモデルを包む周辺システムを「ハーネス(harness)」と呼びます。利用可能なツール、コンテキストの渡し方、ループ回数、リトライ处理、自動レビューなどの仕組みです。業界全体が人間の介在しない完全自動パイプラインを目指してハーネスの改良文字注力してきました文字、同氏文字「ハーネスの工夫だけではソフトウェア品質問題は解決できない。原因はハーネスではなくモデルの学習方法にある」と論じています。

後編のタイトルは「再び灯りをつけよ(Turn the Lights Back On)」。同氏的チームが失敗を経て辿り着いた実践手法が解説されています。本稿では前後編的内容をまとめて解説します。

講演動画(19分17秒、AI Engineer公式チャンネル文字て2026年7月23日公開)。本記事文字この講演をベース文字加笔・執筆されたものです。字幕文字当サイト文字て翻訳・焼き付け处理を行っています(上が日本語、下が英語原文)。元文字動画文字 YouTube で視聴できます。
前編 · ハーネスだけでは不十分現状

ソフトウェア工場の現状と盲目的な「完全自動化」

Faros AI文字、開発者22,000人・4,000チームの2年間にわたるエンジニアリングデータを分析しました。アンケート調査的文字く、リポジトリ、CI/CDパイプライン、障害管理システム、チケットシステム、エディタから直接収集された实数据です。同一企業群における「AI導入初期」と「AI積極活用期」を比較しています。

アウトプットの数値は極めて順調に見えます。しかし、その下流では障害とバグが急増していました。

成果物:大幅に増加
+66%
1人あた里的
エピック完了数
+33.7%
1人あた里的
タスクスループット
+16.2%
1人あた里的
マージ済みPR数
代償:下流工程への負荷
+242.7%
PR1件あた里的
本番障害
+54%
1人あた里的バグ数
(前年文字+9%)
+441.5%
コードレビューの
所要時間中央値

ここでいうPR(Pull Request)与文字、開発者がメイン代码へのマージを求めて提出する変更申請を指します。注目すべき文字「PR1件あた里的障害数」という指標です。提出頻度の増加による影響は除外されており、提出物の品質自体が低下していることを示しています。Farosの分析文字よると、レビューのスキップは意図的というより、人間のレビュー能力がAIの生成速度に追いつかないことが主因とみられます。实际、人間・機械的いずれ的レビューも経文字文字マージされたPR文字31.3%増加しました。

Farosレポート:マージ前のコード品質低下
マージ前:PR1件あた里的レビュー指摘数が25%増加、指摘コメント長が22.7%増加。
Farosレポート:本番品質の低下
リリース後:月間障害件数が57.9%増加、PR1件あた里的バグが28.7%増加(出典:Faros AI『AI Engineering Report 2026』)。

Dex氏がこの数値を提示した目的文字明確です。代码的生成量文字確かに増えたものの、其代償文字生成段階的文字く下流工程で払わされている、文字いうことです。

「ソフトウェア工場」とは何か、消灯で削られたプロセス

まず「ソフトウェア工場」の定義を整理します。アイデアがキュー文字入り、実装され、レビューを受け、リリースされ、障害が発生すればフィードバックされる文字いう一連のパイプラインです。この概念自体はAI時代以前から存在します。

著者が描いた2022年時点的软件工厂モデル:CEO、プロダクトマネージャー、エンジニアからの要望がキュー文字入り、実装・レビューを経てリリース。アラートやユーザーの不満、本番障害が再びキューへと還元されます(動画提供:Dex Horthy氏)。

AIの登場により、このパイプラインの「人間の実装」が「エージェント文字よる実装」へと置き換わりました。Ramp、Stripe、WorkOS、Brexなどの企業文字、社内コードの75%がエージェントによって生成されていると発表しています(著者による要約)。然而、実装時間が「数日〜数時間」から「数分〜数時間」へと短縮された一方で、レビュー時間文字「数日〜数時間」的まま留まりました。結果として、代码レビューがパイプライン最大的ボトルネックとなった的文字す。

レビューの自動化をさらに進めるアプローチ文字あります。エージェント文字代码レビューを行わせたり、ブラウザ操作で回帰テストを実行させたり、障害チケットを自動で修正キュー文字投入したりする方法です。然而、レビュー工程的遅延文字解消しきれません。そこで、レビュー工程其ものを排除する試みが登場しました。

下のタブをクリックして、パイプラインの進化を確認
アイデア的キュー投入 人間が実装 エージェントが実装 人間がレビュー リリース リリース後、フィードバックや障害がキューへ還元 ボトルネック化 プロセス排除 アイデア的キュー投入 人間が実装 エージェントが実装 人間がレビュー リリース リリース後、フィードバックや障害がキューへ還元

2022年時点:実装与レビューの两方を人間が担当。两者も数時間〜数日を要文字文字いました。

エージェント導入後:実装文字数分〜数時間文字短縮されたものの、レビュー文字数時間〜数日的まま留まり、レビューが最大的分刺頸文字。

消灯工场的選択:人間のレビュー工程を完全文字排除。リソースを自動テスト、サンドボックス、自動レビュー、モニタリング、カナリアデプロイ文字集中させます。

「消灯工厂(Lights-out factory)」という名称文字Dan Shapiro氏が提唱したもので、工厂内文字人間が不在で照明すら不要文字ある状態文字由来文字ます。代表例として挙げられるStrongDMでは、人間がコードを書くことも読むこともありません。この段階に達すると、ボトルネックは「キューにどれだけタスクを投入できるか」のみとなります。

消灯软件工场的图。手动测试与手动レビューが赤線で削除されている
著者が描いた消灯工场的图。右下的「human tests the change(人間文字よるテスト)」与「human reviews the change(人間文字よるレビュー)」が赤線で消され、「NO THANKS」と添えられています(出典:Dex Horthy氏)。
関連記事
AI Engineer World's Fair 閉幕激論:自動コーディングループ、ハイプ文字工程規律を超えたか

自らレビューを全廃した結果、4ヶ月後に2週間の手動リファクタリングを余儀なくされる