研究解説 · 小互解説

Kimi K3技術レポート:2.8兆パラメータ、3つのアーキテクチャ改修で計算效率を2.5倍に向上

発表11日後に公開された47ページのレポート。焦点は効率向上:同じ計算資源でK2の2.5倍の成果を達成
1分でわかる要点
  • Kimi K3の発表から11日後、Moonshot AIが47ページの技術レポートを公開しました。発表日に示されたベンチマークに対し、本レポートではアーキテクチャの内部構造と製造プロセスが明かされています。
  • パラメータ数を1兆から2.8兆へ拡大したのは表面上の変化に過ぎません。本レポートの真の核心は、シーケンス・深さ・幅の3方向におけるアーキテクチャ改修により、同一計算資源で前世代K2の2.5倍の効率を実現した点にあります。
  • コストパフォーマンスの高さも極めて強力です。BrowseCompで最高スコア91.2を記録しつつ、1タスクあたりのコストは2.03ドル。GPT-5.6 Solの半分、最高設定のClaudeの10分の1に抑えています。
  • 弱点も隠さず明記されています。研究レベルの物理推理では比較4モデル中最下位となり、タスクの実行手順や規律を評価する内部ベンチマークではClaude Fable 5より10ポイント以上低い結果となりました。
  • 公式ブログでは触れられなかったサイバーセキュリティ評価も公開されました。実システムでLinuxカーネルの2件を含む16件の未知の脆弱性を発見した一方、脆弱性を動作可能な攻撃コードに変換する課題では36問中14問の成功にとどまりました。
本技術レポートはKimiチーム自身によって執筆・公開されたものであり、ベンチマーク、コスト、比較基準は同チームのテストに基づきます。本文中で第三者機関による出典と明記されているデータ(Artificial Analysis、Vals AI、Arenaランキング、英国AI安全研究所と米国NISTの共同評価など)は、独立した評価機関によるものです。
はじめに

Moonshot AIがK3の設計手法を公表:同一計算資源で前世代の2.5倍のパフォーマンス

7月17日のKimi K3発表時に提示されたのは、ベンチマーク結果と「世界初の3兆パラメータ級オープンモデル」というキャッチコピーでした。それから11日後、Moonshot AIは47ページの技術レポートを公開し、モデル内部の構造と技術的詳細を明らかにしました。

レポートの冒頭で強調されているのは、2.8兆というパラメータ数ではなく、彼らが最もアピールしたかった別の数値です。

開発チームは一連のscaling law(スケーリング法則)実験を実施しました。さまざまな規模の小モデルを用いて「計算資源の投入量に対してどこまで検証誤差を抑えられるか」のスケーリング曲線を測定し、大規模モデルの最適構成を算出しています。K2とK3のフィッティング曲線を比較すると、K3の曲線全体が左側にシフトしています。同一の検証誤差を達成するのに必要な計算量はK2の約40%にとどまり、この横方向の差分が2.5倍の効率向上を示しています。

Kimi K2とK3のスケーリング法則フィッティング曲線の比較
2つのフィッティング曲線:横軸は投入計算量、縦軸は検証誤差(低いほど良好)。K3(赤)はK2(青)の下方に位置し、同一誤差レベルでの横方向の距離が2.5倍の効率差を示します。⚠️ レポートでは横軸の絶対目盛りが表記されておらず、相対関係のみ確認できます。画像出典:技術レポート Figure 7。
2.8兆
総パラメータ数。1トークン処理あたりのアクティブパラメータは1042億
896 → 16
総エキスパート数与、1トークンあたりアクティブ化される数
100万
コンテキストウィンドウ(単位:トークン)
93層
全93レイヤー(前世代K2は61レイヤー)

公式ブログと技術レポートは異なる問いに応えています。ブログが「機能・価格・利用方法」を解説したのに対し、技術レポートは「いかにしてそれを実現したか」を説明しています。価格やアクセス方法、発表当日のベンチマーク詳細については、当サイトの解説記事をご参照ください。

関連記事 · 発表当日
Moonshot AIがKimi K3を発表:世界初の3兆パラメータ級オープンモデル
7月17日の解説記事:31項目のベンチマーク、価格、利用手順、デモ、および当時判明していた3つの課題。
概要

2.5倍の効率向上の要因:モデル内の情報フロー3方向におけるアーキテクチャ改修

モデル内部における情報の流れは主に3つの方向(次元)に分かれます。1つ目はシーケンス方向(横方向)の文脈伝達、2つ目は深さ方向(縦方向)の下位層から上位層への情報伝達、3つ目は幅方向(水平展開)の単一レイヤー内で利用可能な機能モジュールの展開です。

K3では、これら3つのパスが抱えていたボトルネックに対し、分别1箇所ずつのアーキテクチャ変更を加えました。

方向1 · シーケンス
ハイブリッドアテンション
4レイヤー中3レイヤーを固定サイズメモリに変更し、1レイヤーで全体を参照
方向2 · 深さ
アテンション残差
前層からの直接入力だけでなく、任意の過去レイヤーの出力を直接参照
方向3 · 幅
スパースエキスパート層
896個のエキスパートのうち880個を休止させ、16個のみをアクティブ化

これら3つの改善与、最適化された学習レシピ・データ構成が組み合わさることで、2.5倍の効率が達成されました。まずはレポートに掲載された全体アーキテクチャ図をご覧ください。

Kimi K3 全体アーキテクチャ図
右側のバックボーンは繰り返しスタックされた構造です。KDA 3レイヤー+Gated MLA 1レイヤーを1ブロックとし、各レイヤーの後ろにスパースエキスパート層が配置されています。右側の細線はアテンション残差のバイパス経路です。左上はエキスパート層内部(緑は常駐の共有エキスパート、紫は選択されたルーティングエキスパート)、左下はKDA内部、右下はビジョンパスを示します。画像出典:技術レポート Figure 2。
メカニズム

方向1・シーケンス長:アテンション層の多くを固定サイズメモリに置き換え、コンテキスト長増加時のメモリ増大を回避

モデルが長文を処理する際、読み込んだ内容をキャッシュテーブル(KVキャッシュ)として保持し、後続のトークン生成時に毎回参照します。テキストが長くなるほどキャッシュサイズは肥大化し、VRAMを圧迫します。100万トークン規模では、メモリ消費が極めて深刻な課題となります。

K3では大半のレイヤーにおいてKVキャッシュ排し、固定サイズのメモリ構造を維持する手法を採用しました。新しい情報が入力されるとメモリ状態が更新され、古い情報は減衰していきます。この固定メモリは、1万トークンでも100万トークンでも同一のメモリフットプリントを維持します。このアプローチはリニアアテンションと呼ばれ、K3では「Kimi Delta Attention (KDA)」と名付けられた独自実装が採用されています。

標準的なアテンション
テキスト長に比例して拡大するキャッシュテーブルを維持
コンテキストが長くなるほどVRAM消費が増大しボトルネック化
KDA リニアアテンション
固定サイズのメモリを維持し、テキスト長の影響を受けない
トレードオフとして記憶が減衰し、過去の細かい記述の保持力が低下

一方で、過去の文脈に関する詳細な情報の精度が落ちるという欠点もあります。そのためK3では全面置き換えを行わず、4レイヤーごとに1レイヤーの割合でグローバルな文脈を参照可能なアテンション(Gated MLA)を配置し、文脈全体の再スキャンを担当させています。また、バックボーンの最上位層にもグローバルアテンションを追加配置し、最終出力直前の文脈把握を確実なものにしています。

KDA · 固定サイズメモリ第1レイヤー
KDA · 固定サイズメモリ第2レイヤー
KDA · 固定サイズメモリ第3レイヤー
Gated MLA · グローバル文脈の再スキャン第4レイヤー

この4レイヤーを1ブロックとして93レイヤーのバックボーンに繰り返しスタックし、計69レイヤーのKDAと24レイヤーのMLAで構成しています。

副次的なメリット:100万トークンへの拡張において位置エンコーディングの調整が不要

従来、モデルがトークンの並び順を認識するには位置エンコーディング(Positional Encoding)が必要でした。K3では、グローバルアテンション層における明示的な位置エンコーディングを完全に削除し、KDAの減衰機構によって相対的な位置情報を暗黙的に保持させています。

この設計により、コンテキスト長を6.4万から100万トークンへ拡張する際、位置エンコーディング関連のパラメータ調整が不要となりました。RoPEの周波数ベース調整やYaRN補間といった従来の手法を用いることなく、モデル単体で長文外挿が可能です。

コンテキストウィンドウの拡張は4段階で実施されました。事前学習フェーズで8,000から6.4万トークンへ伸長し、クールダウンフェーズで25.6万から100万トークンへと拡大しています。計算コストの高い超長文学習を学習全体の一部に集中させることで、効率的なリソース配分を実現しました。

単に長文データを投入するだけでは不十分です。現実世界において、高品質かつ長尺で一貫したドキュメントや動画は極めて限られており、多くは重複テキストやノイズデータを含んでいます。そのため、データのフィルタリングに加え、複数のマルチモーダルドキュメントやサブタスクをシャッフル・再構成・連結するデータ合成手法を導入しました。これにより、100万トークン全体に分散した情報を統合しなければ解けない課題を作成し、アテンションが局所的な文脈のみに依存する現象を防いでいます。
メカニズム

方向2・深さ:第93レイヤーから第1レイヤーの情報へ直接アクセス可能に

従来の深層ニューラルネットワークでは、各レイヤーの計算結果を前層までの累積和に加算して次層へ伝達する残差接続(Residual Connection)が広く用いられてきました。しかし、層数が深くなると初期レイヤーの細部情報が累積和の中に埋もれ、上位層で特定の個別レイヤーの出力を抽出・再利用することが困難になります。

たとえるなら

93人が順番に伝言ゲームを行い、各人が前の人の発言に補足を加えていく状況に似ています。93人目に届く頃には要約された全体像しか残っておらず、7人目の発言内容だけを正確に確認することは不可能です。

アテンション残差(Attention Residuals)はこの課題を解決します。各レイヤーが学習可能なクエリを持ち、過去のすべてのレイヤーの出力を直接参照して動的に重み付けを行います。これにより、第93レイヤーが第7レイヤーの出力を直接参照できる構造が実現します。

従来の残差接続:前層のみ接続 第1層 第2層 第3層 第93層 アテンション残差:任意の過去層を参照 第1層 第2層 第3層 第93層 重みを自動学習
当サイト作成の概念図。左は単一パスで積算される従来の残差接続。右はK3が採用したアテンション残差で、上位層が必要に応じて任意の過去層の出力を取り込めます。

すべてのレイヤー間をフル接続するのが理想ですが、全レイヤーの出力をVRAM上に保持するとメモリ消費が著しく増大します。そのため実際にはブロック単位の構成が採用されています。全93レイヤーを12レイヤーずつの8ブロックに分割し、ブロック内では従来通り加算集約を行い、ブロック間でアテンション参照を実行します。これにより、メモリオーバーヘッドはレイヤー数比例からブロック数比例へと大幅に削減されます。

なお、最終ブロックは12レイヤーに満たない変形ブロックとなっています(8ブロック×12レイヤー=96に対し、総レイヤー数が93のため)。

メカニズム

方向3・幅:896個のエキスパートから、1トークンにつき16個を動的に選択

3つ目のアプローチは、各レイヤーを水平方向に拡張し、多数の専門機能モジュールを配置してトークン処理時に一部を動的選択するMoE(Mixture-of-Experts)構造です。K2でも採用されていましたが、K3ではその規模を大きく拡張し、ルーティングエキスパート数を384から896へ増大させ、アクティブ化するエキスパート数を8から16へと倍増させました。

56個のエキスパートに対し1個を選択する計算(896個中16個選択)のスパース度を示した概念図。上図の56個のドットは概念的な比率表現です。

エキスパート数の増加に伴い、通信データ量および重みロードの負荷が増加します。K3における解決策は「Latent(潜在)」構造にあります。アクティブ化されたルーティングエキスパートは、モデル本体の半分の次元数(3584次元、モデル本体は7168次元)に圧縮された潜在空間で処理を行います。一方、常駐する共有エキスパートはフル次元を維持し、全般的な変換処理を担います。この設計により、エキスパート数を大幅に増加させつつ、通信オーバーヘッドの肥大化を抑えています。

高スパース化に伴う学習安定化対策

このレベルのスパース度では学習の不安定化が生じやすいため、以下の3つの手法で安定化を図っています。

  • 出力の正規化(レイヤーノーマライゼーション):選択されたエキスパートの計算結果を上位へ投影する前に正規化を行います。選択されるモジュールや重みの組み合わせによる出力スケールの変動を抑制します。
  • 新規活性化関数「SiTU-GLU」の導入:標準的なSwiGLUは2つの分岐の乗算構造を持ち、大数値入力時に勾配爆発を引き起こすリスクがあります。SiTU-GLUでは、両分岐にソフトな上限(tanh形状)を設定することで、小数値での特性を維持しつつ大数値出力を滑らかに抑制します。
  • 新規負荷分散手法「Quantile Balancing」:896個のエキスパートへの処理割り当てを平準化するため、従来のようなバイアス値の逐次微調整ではなく、スコア分布の分位数から各エキスパートの最適バイアスを直接算出する手法を採用しました。数千基のGPUに分散したスコア分布を追跡するため、ヒストグラム推定による分散型集計を適用しています。

さらにオプティマイザも改修されました。K2で採用されたMuonオプティマイザを、K3ではアテンションヘッド単位でブロック処理する構成に変更しています。投影行列全体を一括直交化する従来手法では大きな勾配を持つヘッドが更新方向を支配していましたが、ヘッド別に分離処理することで各ヘッドの更新スケールが均一化されました。

比較

K2とK3のパラメータ仕様比較:レイヤー数とエキスパート数が倍増、層の幅は変更なし

上記3つの変更点をまとめた比較表です。技術レポート掲載の仕様表に基づき、主要項目を日本語化・抜粋しています。

項目Kimi K2Kimi K3変化
レイヤー数6193↑ 52%
総パラメータ数1.04兆2.78兆↑ 167%
1トークンあたりのアクティブパラメータ326億1042億↑ 220%
レイヤーの幅(隠れ層次元)71687168変更なし
ルーティングエキスパート数384896↑ 133%
1トークンあたりの選択エキスパート数816↑ 100%
常驻共有エキスパート数12↑ 100%
アテンションヘッド数6496↑ 50%
学習時コンテキスト長12.8万100万8倍
アテンション機構全レイヤーMLAKDAとMLAのハイブリッド変更
活性化関数SwiGLUSiTU-GLU変更
ビジョンエンコーダーなし4.01億パラメータ、27レイヤー新規追加

強調表示した項目:レイヤーの幅(次元数)は7168のまま変更されていません。K3の拡張は、深さ(レイヤー数)および幅(エキスパート数)の拡張によるものであり、単一レイヤーのチャネル幅を肥大化させるアプローチではありません。流路を太くするのではなく、情報のフロー構造を最適化していることがわかります。

独自の設計理念

業界の定石を排し、ビジョンエンコーダーをスクラッチで学習

K3はネイティブなマルチモーダルモデルとして設計されており、テキスト・画像・動画が初期学習フェーズから同一のバックボーンで統合処理されます。「言語モデルを事前学習した後に視覚モジュールをアライメント接続する」という二段階の手法はとられていません。

特筆すべきは、視覚処理を担うMoonViT-V2(4.01億パラメータ、27レイヤー)が事前学習なしのスクラッチで学習されている点です。従来の実装(Moonshot AIのK2.5含む)では、SigLIPなどの対照学習済みビジョンモデルを初期値として利用するのが一般的でした。

2つのビジョンエンコーダー初期化手法における勾配ノルムの比較
青線はSigLIP事前学習重みを用いた構成で、勾配ノルムが高水準で推移しスパイク(学習の不安定化)が多発しています。赤線のスクラッチ学習版MoonViT-V2は全行程で安定した挙動を示しています。右側は1.4万〜1.6万ステップ区間の拡大図。画像出典:技術レポート Figure 6。

さらに重要な点として、スクラッチ学習版の視覚評価スコアはSigLIP初期化版と同等水準に達しました。レポートでは、このスケールにおいて対照学習による事前学習ビジョンモデルを起点とする必要性は低いと結論づけています。

この知見が追試によって汎用化されれば、今後のマルチモーダルモデル設計における標準的な開発手順が見直される可能性があります。

ポストトレーニング

ポストトレーニング:9つの特化モデルを個別に学習後、単一モデルへ統合

ベースモデル構築後のアライメントプロセスは、「個別特化学習」与「統合」の2ステップで実施されました。

コールドスタートSFT(教師あり微調整)により、基本的なツール呼び出しと長尺タスクフローを学習
9つの特化モデルの個別に学習3領域 × 3段階の推論強度を個別に強化学習
単一モデルへの統合マルチティーチャーオンライン蒸留により、9つの能力を単一モデルへ集約

対象領域は「汎用タスク」「汎用Agentタスク」「コーディングAgentタスク」の3つ、推論強度は「Low」「High」「Max」の3段階です。計9通りの組合せに対して個別に強化学習モデルを構築し、マルチティーチャーオンライン蒸留(Multi-Teacher Online Distillation)を用いて生徒モデルに各教師モデルの能力を吸い上げさせて統合しました。

トークンバジェット制御による推論強度のチューニング

推論時の思考出力(CoT)長は学習時に厳密に制御されています。各課題にトークンバジェットを設定し、上限を超過した生成軌跡に対しては、回答の正误に関わらず報酬を-1与評価します。許容量の大きい条件でMaxモデルを学習後、段階的に制約を強化してHighおよびLowモデルを作成しています。

また実用上の重要点として、量子化処理は事後圧縮ではなく学習プロセスに組み込まれています。SFTフェーズからエキスパート重みをMXFP4(4bit低精度フォーマット)、アクティベーションをMXFP8で処理し、強化学習フェーズも同一の精度で実施されました。精度低下を見越した上で学習されているため、学習時と推論実行時の挙動乖離が最小化されています。

トレーニング環境

多様なCLI環境(Claude Code, Codex等)をシミュレートし、特定UIへの依存を回避

自律型Agentの能力構築には、高度なシミュレーション環境が不可欠です。

単一のツール環境のみで学習を行うと、特定のツールフォーマットやシステムプロンプトに過剰適合するリスクがあります。K3ではインターフェース構造をモジュール化し、ツールAPI・システムプロンプト・文脈管理方針・スキル・メモリ・サブエージェントを自由に再構成できる仕組みを構築しました。これにより、Kimi Code、Claude Code、Codex(OpenAIのCLIツール)、OpenClaw、Hermesなどの標準環境および新規構成を動的に生成し、ランダムに切り替えて学習させています。

K3は「任意のツール環境において適応可能な汎用性」を前提に学習されています。外部の各種エージェントフレームワークに組み込んだ際も、安定した動作が期待できます。

学習環境における主な特徴は以下の通りです。

  • 主要アプリケーションのシミュレーション環境:Gmail、Notion、Slack、Canvas等のコアロジックを模擬した環境を構築し、外部APIに依存しない大規模高速試行を可能にしました。複数営業日にわたる長期文脈タスクや、千回以上のツール呼び出しを伴う高度な連携シナリオが含まれます。
  • 不正検知機能を備えたカーネル最適化評価:実在のGitHubリポジトリから抽出された課題に対し、正確性与実行速度の両面で報酬を評価します。ショートカット(実行グラフの再生、入力の事前キャッシュ、暗黙の精度低減など)による不当な高速化を検出する不正対策システムが組み込まれています。
  • 目標指向型自律タスク:手順を示さず、目標・制約・検証APIのみを提示します。評価はモデルの宣言ではなく検証器による最終状態の自動判定に基づきます。過剰適合を防ぐため、公開検証器のフィードバックとは別に、非公開の判定用環境で最終評価を行います。
インフラ・エンジニアリング

累計5122万個のサンドボックスを実行:待機時間の98%でリソースを停止し効率化

大規模なAgent訓練を支える計算基盤として、レポートでは以下の運用実績値が公開されています。

5122万
学習および評価で作成された総サンドボックス数
150万
使用された個別のコンテナイメージ数
133 / 49ミリ秒
サンドボックスの保存および復元にかかる時間
6.5倍
実負荷環境におけるメモリオーバーコミット率

サンドボックスはAgent実行用の隔離環境であり、Firecracker MicroVMをベースとした「AgentENV」システム(オープンソース)が採用されています。従来の標準コンテナと比較して高い隔離性を備え、モデルの異常挙動によるホストカーネルのクラッシュを防止します。

インフラコスト削減の要点は以下の記述に要約されています。

一時停止中のサンドボックスはメモリおよびCPUリソースを消費しないため、Agentがモデルの推論結果を待機している間、環境を休止状態に遷移させることができます。この待機時間はサンドボックスのライフサイクルの最大98%を占めます。

Kimi K3技術レポート §5.3.2より和訳

すなわち、モデルの推論待ち時間における計算コストを極限まで排除する設計となっています。133ミリ秒での状態保存与49ミリ秒での復元により、即座の休止・再開が可能です。また、評価用の環境分岐(フォーク)や定期スナップショットによる失敗復旧機能も備えています。

推論基盤における課題として、2つのアテンション層におけるキャッシュ仕様の相違があります。Gated MLA層はトークン単位で増加するのに対し、KDA層はリクエストごとに固定サイズのメモリ状態を保持します。会話コンテキストの再利用(プレフィックスキャッシュ)には両者の同期復元が必要ですが、KDAメモリのサイズが大きいためスナップショット保存間隔が粗くなり、短文リクエストでのキャッシュ再利用が困難でした。この問題に対し、検索処理(512トークン単位の細粒度)与保存処理(粗粒度)を分離し、細粒度の境界点でメモリ状態を復元できる構成を採用することで、512トークン単位でのプレフィックス再利用を実現しました。

このエンジニアリングの価値:100万トークンのコーディングリクエストにおいて、プレフィックスが40万トークン存在し、新規入力が4,000トークンのみというケースが多発します。キャッシュヒット与ミスの差は計算コストにおいて桁違いの影響を及ぼします。そのためクラスタ層では、セッションベースの固定ルーティングを適用し、短文リクエストのリソース飢餓防ぐ帯域制御を行っています。
公開ベンチマーク

評価結果:Claude Fable 5およびGPT-5.6 Solに次ぐ総合性能、研究レベル推理には課題

実測性能について、レポートでは明確な評価が提示されています。総合性能ではClaude Fable 5およびGPT-5.6 Solの後塵を拝するものの、Claude Opus 4.8、GPT-5.5、オープンモデルのGLM-5.2を含むその他の比較モデルを一贯して上回っています

Kimi K3 主要ベンチマーク評価結果
青色のバーがKimi K3。全モデル最高思考設定(GPT-5.5はxhigh)で測定。注記:Fable 5のスコアにはフォールバック処理、GPT-5.6 Solにはセーフティフィルタの介入が含まれます。画像出典:技術レポート Figure 1。

トップスコアを獲得した領域:ProgramBench(77.8分)、SWE-Marathon(42.0分、Fable 5を7ポイント上回る)、BrowseComp(91.2分)、MCPMark(94.5分)、法務リサーチHarvey Lab-AA(94.6分)、ドキュメント解析OmniDocBench(91.1分)。Terminal-Bench 2.1では88.3分を記録し、GPT-5.6 Sol(88.8分)に迫る水準を示しました。

一方で、明確な弱点についても報告されています。

GPT-5.6 Sol
32.3
Claude Fable 5
28.6
GPT-5.5
27.1
Kimi K3
23.4
CritPt(研究レベルの物理推理)における4モデル比較。K3は最下位。データ出典:技術レポート Table 2。

高難度総合評価HLE-Fullにおいて、K3はツールなしで43.5分、ツールありで56.0分となり、いずれもFable 5およびGPT-5.6 Solを下回りました。レポートでは「研究レベルの推論能力は今後の主要な改善領域」と述べられています。

独立機関による評価ランキング

レポートには独立評価機関による実績(7月23日時点)も掲載されています。Artificial Analysisの知能指数で57.1分(580モデル中4位)、Vals AI業界指数で74.7%(39モデル中2位)、ブラインド評価のWebDev Arenaで1678分を獲得し、99モデル中第1位(オープンモデルとして初の首位)を記録しました。またText Arenaで200モデル中8位、Agent Arenaで37モデル中4位となっています。

独自評価ベンチマーク

社内ベンチマーク評価:最終結果の精度は高水準も「タスク遂行の規律性」で改善の余地

公開ベンチマークに加え、レポートでは公開データセットでカバーできない領域を測定する独自の内部評価結果が示されています。

優位性を示した領域:マルチAgentオーケストレーション(Swarm Bench:76.3分)、ディープリサーチ(Deep Research Bench:90.0分)で高いスコアを記録。Web開発のブラインド評価では、Claude Opus 4.8に対して勝率+31%(特に3D・シェーダー関連カテゴリでは+59.1%)の優位性を示しました。

一方、課題が示された領域は以下の通りです。

GPT-5.6 Sol
76.4
Claude Fable 5
75.5
GPT-5.5
70.1
Claude Opus 4.8
65.7
Kimi K3
65.0
Agent Behavior Bench評価結果。データ出典:技術レポート Table 3。

本項目はプロセス品質(タスク遂行手順の規律性・効率性・指示順守度)を評価するものであり、最終的な解答の正否とは独立した指標です。K3はこの項目で最上位モデルより10ポイント以上低いスコアとなりました。同様に、マルチロール企業連携(MIRA Bench:64.1、Fable 5は72.9)、24時間常驻アシスタント、視覚関連の2項目精神下回る結果となっています。

最終出力的正確性与プロセス規律性のギャップは、実際の運用環境における挙動特性を理解する上で重要な指標となります。

コスト効率

コスト比較:同一タスクにおける消費コストは競合モデルの3分の1〜10分の1

同一タスクの実行にかかる費用効率の比較です。

4つのベンチマークにおけるスコア与1タスクあたりコストの比較
4つのグラフの横軸はタスク完了あたりのコスト、縦軸はスコア。赤色の星印がKimi K3(左上に位置するほど費用対効果が高い)。左上:Kimi Code Bench、右上:BrowseComp、左下:GDPval-AA v2、右下:AA-Briefcase。画像出典:技術レポート Figure 13。
  • BrowseComp(Web検索タスク):最高スコア91.2分を獲得しつつ、1タスクあたり2.03ドルを記録。GPT-5.6 Solの半額、最高設定のClaudeと比較して1桁低いコストを達成。
  • Kimi Code Bench 2.0(コーディングベンチマーク):Claude Fable 5より4ポイント低いスコアながら、コストは38%に低減。High設定においてClaude Opus 4.8の最高設定と同等スコアを約3分の1のコストで実現。
  • GDPval-AA v2(専門ナレッジタスク):GPT-5.6 Sol比でコストを13%削減、Claude Fable 5比で2.6倍のコスト効率を達成。
  • AA-Briefcase:Fable 5に次ぐ2位のスコアを獲得し、コストは約半分に抑制。

K3のポジショニングは「最先端水準に近い性能を大幅に低いコストで提供する」点にあります。大量のタスク処理を伴うAgent運用環境において、極めて顕著な経済的メリットをもたらします。

コスト算出基準:Kimi Code BenchおよびBrowseCompのK3コストはMoonshot AIによる実測値、他モデルのコストは各社の公開チャートに基づく引用値です。GDPval-AA v2およびAA-BriefcaseのコストはArtificial Analysisのトークン単価データ(7月23日時点)に基づきます。

サイバーセキュリティ

セキュリティ評価:16件の未知の脆弱性を発見するも、攻撃コード生成能力には課題

公式ブログでは言及されなかったセキュリティ評価のセクションでは、リスクレベルに応じた2段階の検証が実施されています。

フェーズ1:脆弱性検知(防御的リサーチ)

現行バージョンのコードから未報告の脆弱性(ゼロデイ)を特定し、再現可能性を証明するタスクです。OSカーネル、データベース、AIサービス、Webフレームワーク、ブロックチェーン、VPNソフトウェアなど広範囲のシステムを対象としました。

結果:数百件の疑似脆弱性が検出され、手動検証を行った検体の約70%が有効な脆弱性として確認されました。これには6つのプロジェクトにおける16件の未知の脆弱性が含まれます。Linuxカーネルに関する2つの実例が報告されています。

  1. リモートからトリガー可能なヒープメモリバッファオーバーフロー。上流の不完全なパッチ修復によって混入したもので、最新コードを含む全バージョンに影響します。DoS(サービス拒否)攻撃が可能であると確認されました。
  2. RDMAサブシステムで発見された脆弱性。過去の修正時に権限チェック処理が誤って削除されたことで発生し、只読メモリページへの書き込みを許容します。安定したローカル権限昇格パスとして確認されました。

フェーズ2:実効攻撃コード(エクスプロイト)の生成

悪用リスクに直結するエクスプロイト生成能力の検証です。計36問の課題(ユーザー空間アプリ16問、Linuxカーネル権限昇格20問)が設定されました。

Kimi K3
14 / 36
GLM-5.2
8 / 36
人間の専門家
36 / 36
36問全課題がセキュリティ専門家により解決可能性を検証済み(合計約540人時、1問あたり平均15時間)。データ出典:技術レポート §6.2.2。

K3は14問(38.9%)を解決し、GLM-5.2(8問)を上回りましたが、偏りがみられます。成功した14問中10問は比較的容易なユーザー空間の課題であり、カーネル空間の課題では両モデルともに75%で失敗しました。

主な失敗要因として以下の4点が分析されています:エクスプロイトの最終ステップの不全、保護機能有効時の不適切な攻撃戦略選択、無効なデバッグループへの陥没、結果の事前検証不足。

英国AI安全研究所および米国NIST傘下のCAISIによる共同評価でも同様の結論が得られています。K3はエクスプロイト能力でGLM-5.2を上回る(ExploitBench:32% vs 24%)ものの、最先端モデルと比較すると及ばず、41のテストケースにおいて任意のコード実行(RCE)を達成した事例は0件でした。

補足事項:AnthropicおよびOpenAIの最先端モデルはセーフティガードレールにより当該タスクの実行を拒否するため、本比較の対象外となっています。
実証事例

実タスク適用例:48時間でのチップ設計、2時間での論文再検証

モデルの能力限界を踏まえ、レポートで報告された具体的な適用事例を紹介します。

1. 半導体チップ設計

小型言語モデル用の推論チッププロトタイプを設計。オープンソースEDAツール与標準セルライブラリを使用し、48時間の完全自律実行でアーキテクチャ設計・最適化・検証を完了しました。4mm²の面積制約内で100MHzのタイミング収束を達成し、シミュレーション上のデコード速度は8,700トークン/秒を超過。146万ゲート、0.277MiBオンチップメモリ、融合逆量子化付き4bit MACアレイを実装しました(設計コード公開済み)。

2. GPUコンパイラの構築

独自コンパイラ「MiniTriton」を構築。PythonフロントエンドからGPUコード生成、PyTorch風テンソルライブラリ、自動微分、分散学習プリミティブまでを自律的に実装しました。NVIDIA L20 GPU上の性能測定において、PyTorchの実行モードを上回る幾何平均スコアを記録。さらにエンドツーエンドでGPTモデルの学習を実行し、PyTorchの自動微分に対する勾配誤差を浮点丸め誤差の範囲内に収めました。

3. GPUカーネル最適化

単一のカーネル最適化タスクにおける4モデルの最適化軌迹
同一のカーネル最適化課題における24時間評価。横軸は稼働時間、縦軸はベースラインに対する高速化比率。赤線がK3(最終+59.7%)、青線がClaude Fable 5(+57.1%)。K3は初期フェーズで急速な収束を示しています。画像出典:技術レポート Figure 14。

カーネル最適化タスクにおいて、アテンション残差カーネルのレイテンシを283.6ミリ秒から114.4ミリ秒へ短縮し、他2タスク根でも55.1%および73.6%の高速化を達成しました。レポートでは以下の記述があります。

開発の最終段階において、早期のKimi K3チェックポイントが開発チームのカーネル最適化タスクの大半を担当していました。

Kimi K3技術レポート §7より和訳

すなわち、モデルが自身の動作用カーネルコードの最適化を実行していたことになります。

4. 天体物理学論文の再検証

中性子星に関する汎用関係性の再検証にあたり、20本以上の関連論文を照合し、数値計算パイプラインの構築、300以上の状態方程式の評価を実施。既出論文における数式の不整合を特定し、3,000行以上のPythonコード与対話型Webダッシュボードを約2時間で生成しました(従来研究者で1〜2週間を要するタスク)。

その他の事例:AIチップ業界42年の歴史を網羅する研究Webサイトの構築(120回以上のイテレーション、1.1万ページの資料解析)、20基の並列サブエージェントによる391件の重力波イベント解析など。また、56本の動画素材から自モデルのプロモーション動画の編集・生成も行っています。

導入・商用利用

導入時の注意点:ライセンス規約、API仕様上の留意事項、未公開データ

実運用における主要な考慮事項は以下の通りです。

ライセンス体系(オープンライセンス与2つの制限)

Kimi K3は独自のオープンライセンスを採用しており、改変・再配布・商用利用・ファインチューニングが商用・非商用問わず許容されています。ただし、以下の2点に商用制限が適用されます。

  • モデル能力をサードパーティへAPI等で提供する事業において、過去12ヶ月の連結売上高が2,000万ドルを超える場合、個別契約が必要です。
  • 製品の月間アクティブユーザー数(MAU)が1億人を超える、または月売上が2,000万ドルを超える場合、UI上への「Kimi K3」クレジット表記が義務付けられます。

社内での利用や、公式API・認定推論パートナー経由の利用、およびエンドユーザー向け製品の内部機能としてモデルを組み込む形態には上記制限は適用されません。

APIおよびローカル実行

API
platform.kimi.aiにて「kimi-k3」を指定。OpenAIおよびAnthropicの互換フォーマットに対応
ローカル推論
vLLM、SGLang、TokenSpeedの各推論エンジン用デプロイレシピが提供されています
推論強度
reasoning_effortパラメータで制御(low / high / max、デフォルト:max)
重みファイル
Hugging Faceの「moonshotai/Kimi-K3」。重みはMXFP4、アクティベーションはMXFP8形式

API利用上の注意点:K3は思考プロセス(CoT)の保持を前提に学習されています。マルチターン対話やツール呼び出しの際、最終回答だけでなく、モデルが出力した推論プロセス(reasoning content)およびツール呼び出し履歴を含む完全なメッセージオブジェクトを次ターンで送信する必要があります。

レポートにおける非開示情報

評価にあたって留意すべき点として、レポート内では学習に使用したGPU基数、学習データ総量、学習期間、および総開発コストが公開されていません。2.5倍の効率向上を示すスケーリング曲線においても横軸の絶対値は非開示となっています。また、ローカル環境でのデプロイに必要な最小ハードウェア要件についても記載がありません。

本記事で言及したリソース(47ページの技術レポートPDF、モデル重み、およびオープンソースプロジェクト:MoonEP、FlashKDA、AgentENV、MiniTriton、nano-kpu)は、以下の出典リンクより参照可能です。
出典
Kimi K3: Open Frontier Intelligence — Technical Report of Kimi K3Kimi Team(Moonshot AI)·技術レポート PDF·2026-07-28
当サイト注記
本文中の6つの図表(スケーリング法則曲線、アーキテクチャ図、ビジョンエンコーダー勾配比較、主要結果、コスト比較、カーネル最適化軌迹)は技術レポート本文からの引用であり、各キャプションに図番号を記載しています。アテンション残差の比較図は当サイト作成の概念図です。バーチャートはレポートTable 2、Table 3、§6.2.2のデータに基づき作成しました。リポジトリREADMEの概要では対応モーダルが「テキスト・画像」と表記されていますが、レポート本文で動画処理能力(時間軸プーリング、知覚ハッシュによるクレンジング等)が詳述されているため、本文の記述に準拠しています。