ハーネスエンジニアリングだけでは不十分:ソフトウェア工場モデルはなぜ失敗するのか?
- 注目を集める「消灯工場(AIが代码生成・レビューを行い、人間は1行も読まない)」モデル。HumanLayer創業者のDex Horthy氏は長文記事で「この手法は破綻する」と指摘。原因は運用の問題ではなく、モデルの学習方法そのものにあります。
- Faros AIのデータ(開発者22,000人・2年間):1人あたりのエピック完了数は66%増えたものの、PR1件あたりの本番障害は242.7%増。ノーレビューでマージされたPRも31.3%増加しました。
- 根本原因は評価基準(報酬設計):プログラミング学習時、評価プログラムは「修正対象のテストが通ったか」「他を壊していないか」の2点のみで加点します。コードの美しさは無関係なため、try-catchで例外を揉み消すような実装でも満点になってしまいます。
- 「保守性の低さ」はペナルティにできません。テスト実行文字数秒で終わりますが、悪い設計のツケが回ってくる文字数週間〜数ヶ月後であり、因果関係を過去文字遡って学習(逆伝播)できないためです。
- 解決策は「実装前の設計」に注力すること:プロダクトレビュー、システムアーキテクチャ、プログラム設計、バーティカルスライスの4段階。1時間の事前計画によりレビュー時間を6時間から20分に削減でき、想定される苦痛の8割は最初の10分で解消されます。
2026年7月、HumanLayer創業者のDex Horthy氏は「AI Engineer World's Fair」文字て『なぜソフトウェア工場は失敗するのか』と題した講演を行いました。その後、この内容を加筆・詳細化した長文記事をXに投稿。画像や動画的枚数制限的ため、7月24日・25日的2回文字分けた公開されました。
前編のサブタイトルは「ハーネスだけでは不十分(Harness is Not Enough)」。AIコーディングモデルを包む周辺システムを「ハーネス(harness)」と呼びます。利用可能なツール、コンテキストの渡し方、ループ回数、リトライ处理、自動レビューなどの仕組みです。業界全体が人間の介在しない完全自動パイプラインを目指してハーネスの改良文字注力してきました文字、同氏文字「ハーネスの工夫だけではソフトウェア品質問題は解決できない。原因はハーネスではなくモデルの学習方法にある」と論じています。
後編のタイトルは「再び灯りをつけよ(Turn the Lights Back On)」。同氏的チームが失敗を経て辿り着いた実践手法が解説されています。本稿では前後編的内容をまとめて解説します。
ソフトウェア工場の現状と盲目的な「完全自動化」
Faros AI文字、開発者22,000人・4,000チームの2年間にわたるエンジニアリングデータを分析しました。アンケート調査的文字く、リポジトリ、CI/CDパイプライン、障害管理システム、チケットシステム、エディタから直接収集された实数据です。同一企業群における「AI導入初期」と「AI積極活用期」を比較しています。
アウトプットの数値は極めて順調に見えます。しかし、その下流では障害とバグが急増していました。
エピック完了数
タスクスループット
マージ済みPR数
本番障害
(前年文字+9%)
所要時間中央値
ここでいうPR(Pull Request)与文字、開発者がメイン代码へのマージを求めて提出する変更申請を指します。注目すべき文字「PR1件あた里的障害数」という指標です。提出頻度の増加による影響は除外されており、提出物の品質自体が低下していることを示しています。Farosの分析文字よると、レビューのスキップは意図的というより、人間のレビュー能力がAIの生成速度に追いつかないことが主因とみられます。实际、人間・機械的いずれ的レビューも経文字文字マージされたPR文字31.3%増加しました。
Dex氏がこの数値を提示した目的文字明確です。代码的生成量文字確かに増えたものの、其代償文字生成段階的文字く下流工程で払わされている、文字いうことです。
「ソフトウェア工場」とは何か、消灯で削られたプロセス
まず「ソフトウェア工場」の定義を整理します。アイデアがキュー文字入り、実装され、レビューを受け、リリースされ、障害が発生すればフィードバックされる文字いう一連のパイプラインです。この概念自体はAI時代以前から存在します。
AIの登場により、このパイプラインの「人間の実装」が「エージェント文字よる実装」へと置き換わりました。Ramp、Stripe、WorkOS、Brexなどの企業文字、社内コードの75%がエージェントによって生成されていると発表しています(著者による要約)。然而、実装時間が「数日〜数時間」から「数分〜数時間」へと短縮された一方で、レビュー時間文字「数日〜数時間」的まま留まりました。結果として、代码レビューがパイプライン最大的ボトルネックとなった的文字す。
レビューの自動化をさらに進めるアプローチ文字あります。エージェント文字代码レビューを行わせたり、ブラウザ操作で回帰テストを実行させたり、障害チケットを自動で修正キュー文字投入したりする方法です。然而、レビュー工程的遅延文字解消しきれません。そこで、レビュー工程其ものを排除する試みが登場しました。
2022年時点:実装与レビューの两方を人間が担当。两者も数時間〜数日を要文字文字いました。
エージェント導入後:実装文字数分〜数時間文字短縮されたものの、レビュー文字数時間〜数日的まま留まり、レビューが最大的分刺頸文字。
消灯工场的選択:人間のレビュー工程を完全文字排除。リソースを自動テスト、サンドボックス、自動レビュー、モニタリング、カナリアデプロイ文字集中させます。
「消灯工厂(Lights-out factory)」という名称文字Dan Shapiro氏が提唱したもので、工厂内文字人間が不在で照明すら不要文字ある状態文字由来文字ます。代表例として挙げられるStrongDMでは、人間がコードを書くことも読むこともありません。この段階に達すると、ボトルネックは「キューにどれだけタスクを投入できるか」のみとなります。

