Kimi K3技術レポート:2.8兆パラメータ、3つのアーキテクチャ改修で計算效率を2.5倍に向上
- Kimi K3の発表から11日後、Moonshot AIが47ページの技術レポートを公開しました。発表日に示されたベンチマークに対し、本レポートではアーキテクチャの内部構造と製造プロセスが明かされています。
- パラメータ数を1兆から2.8兆へ拡大したのは表面上の変化に過ぎません。本レポートの真の核心は、シーケンス・深さ・幅の3方向におけるアーキテクチャ改修により、同一計算資源で前世代K2の2.5倍の効率を実現した点にあります。
- コストパフォーマンスの高さも極めて強力です。BrowseCompで最高スコア91.2を記録しつつ、1タスクあたりのコストは2.03ドル。GPT-5.6 Solの半分、最高設定のClaudeの10分の1に抑えています。
- 弱点も隠さず明記されています。研究レベルの物理推理では比較4モデル中最下位となり、タスクの実行手順や規律を評価する内部ベンチマークではClaude Fable 5より10ポイント以上低い結果となりました。
- 公式ブログでは触れられなかったサイバーセキュリティ評価も公開されました。実システムでLinuxカーネルの2件を含む16件の未知の脆弱性を発見した一方、脆弱性を動作可能な攻撃コードに変換する課題では36問中14問の成功にとどまりました。
Moonshot AIがK3の設計手法を公表:同一計算資源で前世代の2.5倍のパフォーマンス
7月17日のKimi K3発表時に提示されたのは、ベンチマーク結果と「世界初の3兆パラメータ級オープンモデル」というキャッチコピーでした。それから11日後、Moonshot AIは47ページの技術レポートを公開し、モデル内部の構造と技術的詳細を明らかにしました。
レポートの冒頭で強調されているのは、2.8兆というパラメータ数ではなく、彼らが最もアピールしたかった別の数値です。
開発チームは一連のscaling law(スケーリング法則)実験を実施しました。さまざまな規模の小モデルを用いて「計算資源の投入量に対してどこまで検証誤差を抑えられるか」のスケーリング曲線を測定し、大規模モデルの最適構成を算出しています。K2とK3のフィッティング曲線を比較すると、K3の曲線全体が左側にシフトしています。同一の検証誤差を達成するのに必要な計算量はK2の約40%にとどまり、この横方向の差分が2.5倍の効率向上を示しています。
公式ブログと技術レポートは異なる問いに応えています。ブログが「機能・価格・利用方法」を解説したのに対し、技術レポートは「いかにしてそれを実現したか」を説明しています。価格やアクセス方法、発表当日のベンチマーク詳細については、当サイトの解説記事をご参照ください。
2.5倍の効率向上の要因:モデル内の情報フロー3方向におけるアーキテクチャ改修
モデル内部における情報の流れは主に3つの方向(次元)に分かれます。1つ目はシーケンス方向(横方向)の文脈伝達、2つ目は深さ方向(縦方向)の下位層から上位層への情報伝達、3つ目は幅方向(水平展開)の単一レイヤー内で利用可能な機能モジュールの展開です。
K3では、これら3つのパスが抱えていたボトルネックに対し、分别1箇所ずつのアーキテクチャ変更を加えました。
これら3つの改善与、最適化された学習レシピ・データ構成が組み合わさることで、2.5倍の効率が達成されました。まずはレポートに掲載された全体アーキテクチャ図をご覧ください。
方向1・シーケンス長:アテンション層の多くを固定サイズメモリに置き換え、コンテキスト長増加時のメモリ増大を回避
モデルが長文を処理する際、読み込んだ内容をキャッシュテーブル(KVキャッシュ)として保持し、後続のトークン生成時に毎回参照します。テキストが長くなるほどキャッシュサイズは肥大化し、VRAMを圧迫します。100万トークン規模では、メモリ消費が極めて深刻な課題となります。
K3では大半のレイヤーにおいてKVキャッシュ排し、固定サイズのメモリ構造を維持する手法を採用しました。新しい情報が入力されるとメモリ状態が更新され、古い情報は減衰していきます。この固定メモリは、1万トークンでも100万トークンでも同一のメモリフットプリントを維持します。このアプローチはリニアアテンションと呼ばれ、K3では「Kimi Delta Attention (KDA)」と名付けられた独自実装が採用されています。
一方で、過去の文脈に関する詳細な情報の精度が落ちるという欠点もあります。そのためK3では全面置き換えを行わず、4レイヤーごとに1レイヤーの割合でグローバルな文脈を参照可能なアテンション(Gated MLA)を配置し、文脈全体の再スキャンを担当させています。また、バックボーンの最上位層にもグローバルアテンションを追加配置し、最終出力直前の文脈把握を確実なものにしています。
この4レイヤーを1ブロックとして93レイヤーのバックボーンに繰り返しスタックし、計69レイヤーのKDAと24レイヤーのMLAで構成しています。
副次的なメリット:100万トークンへの拡張において位置エンコーディングの調整が不要
従来、モデルがトークンの並び順を認識するには位置エンコーディング(Positional Encoding)が必要でした。K3では、グローバルアテンション層における明示的な位置エンコーディングを完全に削除し、KDAの減衰機構によって相対的な位置情報を暗黙的に保持させています。
この設計により、コンテキスト長を6.4万から100万トークンへ拡張する際、位置エンコーディング関連のパラメータ調整が不要となりました。RoPEの周波数ベース調整やYaRN補間といった従来の手法を用いることなく、モデル単体で長文外挿が可能です。
コンテキストウィンドウの拡張は4段階で実施されました。事前学習フェーズで8,000から6.4万トークンへ伸長し、クールダウンフェーズで25.6万から100万トークンへと拡大しています。計算コストの高い超長文学習を学習全体の一部に集中させることで、効率的なリソース配分を実現しました。
方向2・深さ:第93レイヤーから第1レイヤーの情報へ直接アクセス可能に
従来の深層ニューラルネットワークでは、各レイヤーの計算結果を前層までの累積和に加算して次層へ伝達する残差接続(Residual Connection)が広く用いられてきました。しかし、層数が深くなると初期レイヤーの細部情報が累積和の中に埋もれ、上位層で特定の個別レイヤーの出力を抽出・再利用することが困難になります。
93人が順番に伝言ゲームを行い、各人が前の人の発言に補足を加えていく状況に似ています。93人目に届く頃には要約された全体像しか残っておらず、7人目の発言内容だけを正確に確認することは不可能です。
アテンション残差(Attention Residuals)はこの課題を解決します。各レイヤーが学習可能なクエリを持ち、過去のすべてのレイヤーの出力を直接参照して動的に重み付けを行います。これにより、第93レイヤーが第7レイヤーの出力を直接参照できる構造が実現します。
すべてのレイヤー間をフル接続するのが理想ですが、全レイヤーの出力をVRAM上に保持するとメモリ消費が著しく増大します。そのため実際にはブロック単位の構成が採用されています。全93レイヤーを12レイヤーずつの8ブロックに分割し、ブロック内では従来通り加算集約を行い、ブロック間でアテンション参照を実行します。これにより、メモリオーバーヘッドはレイヤー数比例からブロック数比例へと大幅に削減されます。
なお、最終ブロックは12レイヤーに満たない変形ブロックとなっています(8ブロック×12レイヤー=96に対し、総レイヤー数が93のため)。
方向3・幅:896個のエキスパートから、1トークンにつき16個を動的に選択
3つ目のアプローチは、各レイヤーを水平方向に拡張し、多数の専門機能モジュールを配置してトークン処理時に一部を動的選択するMoE(Mixture-of-Experts)構造です。K2でも採用されていましたが、K3ではその規模を大きく拡張し、ルーティングエキスパート数を384から896へ増大させ、アクティブ化するエキスパート数を8から16へと倍増させました。
エキスパート数の増加に伴い、通信データ量および重みロードの負荷が増加します。K3における解決策は「Latent(潜在)」構造にあります。アクティブ化されたルーティングエキスパートは、モデル本体の半分の次元数(3584次元、モデル本体は7168次元)に圧縮された潜在空間で処理を行います。一方、常駐する共有エキスパートはフル次元を維持し、全般的な変換処理を担います。この設計により、エキスパート数を大幅に増加させつつ、通信オーバーヘッドの肥大化を抑えています。
高スパース化に伴う学習安定化対策
このレベルのスパース度では学習の不安定化が生じやすいため、以下の3つの手法で安定化を図っています。
- 出力の正規化(レイヤーノーマライゼーション):選択されたエキスパートの計算結果を上位へ投影する前に正規化を行います。選択されるモジュールや重みの組み合わせによる出力スケールの変動を抑制します。
- 新規活性化関数「SiTU-GLU」の導入:標準的なSwiGLUは2つの分岐の乗算構造を持ち、大数値入力時に勾配爆発を引き起こすリスクがあります。SiTU-GLUでは、両分岐にソフトな上限(tanh形状)を設定することで、小数値での特性を維持しつつ大数値出力を滑らかに抑制します。
- 新規負荷分散手法「Quantile Balancing」:896個のエキスパートへの処理割り当てを平準化するため、従来のようなバイアス値の逐次微調整ではなく、スコア分布の分位数から各エキスパートの最適バイアスを直接算出する手法を採用しました。数千基のGPUに分散したスコア分布を追跡するため、ヒストグラム推定による分散型集計を適用しています。
さらにオプティマイザも改修されました。K2で採用されたMuonオプティマイザを、K3ではアテンションヘッド単位でブロック処理する構成に変更しています。投影行列全体を一括直交化する従来手法では大きな勾配を持つヘッドが更新方向を支配していましたが、ヘッド別に分離処理することで各ヘッドの更新スケールが均一化されました。
K2とK3のパラメータ仕様比較:レイヤー数とエキスパート数が倍増、層の幅は変更なし
上記3つの変更点をまとめた比較表です。技術レポート掲載の仕様表に基づき、主要項目を日本語化・抜粋しています。
| 項目 | Kimi K2 | Kimi K3 | 変化 |
|---|---|---|---|
| レイヤー数 | 61 | 93 | ↑ 52% |
| 総パラメータ数 | 1.04兆 | 2.78兆 | ↑ 167% |
| 1トークンあたりのアクティブパラメータ | 326億 | 1042億 | ↑ 220% |
| レイヤーの幅(隠れ層次元) | 7168 | 7168 | 変更なし |
| ルーティングエキスパート数 | 384 | 896 | ↑ 133% |
| 1トークンあたりの選択エキスパート数 | 8 | 16 | ↑ 100% |
| 常驻共有エキスパート数 | 1 | 2 | ↑ 100% |
| アテンションヘッド数 | 64 | 96 | ↑ 50% |
| 学習時コンテキスト長 | 12.8万 | 100万 | 8倍 |
| アテンション機構 | 全レイヤーMLA | KDAとMLAのハイブリッド | 変更 |
| 活性化関数 | SwiGLU | SiTU-GLU | 変更 |
| ビジョンエンコーダー | なし | 4.01億パラメータ、27レイヤー | 新規追加 |
強調表示した項目:レイヤーの幅(次元数)は7168のまま変更されていません。K3の拡張は、深さ(レイヤー数)および幅(エキスパート数)の拡張によるものであり、単一レイヤーのチャネル幅を肥大化させるアプローチではありません。流路を太くするのではなく、情報のフロー構造を最適化していることがわかります。
業界の定石を排し、ビジョンエンコーダーをスクラッチで学習
K3はネイティブなマルチモーダルモデルとして設計されており、テキスト・画像・動画が初期学習フェーズから同一のバックボーンで統合処理されます。「言語モデルを事前学習した後に視覚モジュールをアライメント接続する」という二段階の手法はとられていません。
特筆すべきは、視覚処理を担うMoonViT-V2(4.01億パラメータ、27レイヤー)が事前学習なしのスクラッチで学習されている点です。従来の実装(Moonshot AIのK2.5含む)では、SigLIPなどの対照学習済みビジョンモデルを初期値として利用するのが一般的でした。
さらに重要な点として、スクラッチ学習版の視覚評価スコアはSigLIP初期化版と同等水準に達しました。レポートでは、このスケールにおいて対照学習による事前学習ビジョンモデルを起点とする必要性は低いと結論づけています。
この知見が追試によって汎用化されれば、今後のマルチモーダルモデル設計における標準的な開発手順が見直される可能性があります。
ポストトレーニング:9つの特化モデルを個別に学習後、単一モデルへ統合
ベースモデル構築後のアライメントプロセスは、「個別特化学習」与「統合」の2ステップで実施されました。
対象領域は「汎用タスク」「汎用Agentタスク」「コーディングAgentタスク」の3つ、推論強度は「Low」「High」「Max」の3段階です。計9通りの組合せに対して個別に強化学習モデルを構築し、マルチティーチャーオンライン蒸留(Multi-Teacher Online Distillation)を用いて生徒モデルに各教師モデルの能力を吸い上げさせて統合しました。
トークンバジェット制御による推論強度のチューニング
推論時の思考出力(CoT)長は学習時に厳密に制御されています。各課題にトークンバジェットを設定し、上限を超過した生成軌跡に対しては、回答の正误に関わらず報酬を-1与評価します。許容量の大きい条件でMaxモデルを学習後、段階的に制約を強化してHighおよびLowモデルを作成しています。
また実用上の重要点として、量子化処理は事後圧縮ではなく学習プロセスに組み込まれています。SFTフェーズからエキスパート重みをMXFP4(4bit低精度フォーマット)、アクティベーションをMXFP8で処理し、強化学習フェーズも同一の精度で実施されました。精度低下を見越した上で学習されているため、学習時と推論実行時の挙動乖離が最小化されています。
多様なCLI環境(Claude Code, Codex等)をシミュレートし、特定UIへの依存を回避
自律型Agentの能力構築には、高度なシミュレーション環境が不可欠です。
単一のツール環境のみで学習を行うと、特定のツールフォーマットやシステムプロンプトに過剰適合するリスクがあります。K3ではインターフェース構造をモジュール化し、ツールAPI・システムプロンプト・文脈管理方針・スキル・メモリ・サブエージェントを自由に再構成できる仕組みを構築しました。これにより、Kimi Code、Claude Code、Codex(OpenAIのCLIツール)、OpenClaw、Hermesなどの標準環境および新規構成を動的に生成し、ランダムに切り替えて学習させています。
K3は「任意のツール環境において適応可能な汎用性」を前提に学習されています。外部の各種エージェントフレームワークに組み込んだ際も、安定した動作が期待できます。
学習環境における主な特徴は以下の通りです。
- 主要アプリケーションのシミュレーション環境:Gmail、Notion、Slack、Canvas等のコアロジックを模擬した環境を構築し、外部APIに依存しない大規模高速試行を可能にしました。複数営業日にわたる長期文脈タスクや、千回以上のツール呼び出しを伴う高度な連携シナリオが含まれます。
- 不正検知機能を備えたカーネル最適化評価:実在のGitHubリポジトリから抽出された課題に対し、正確性与実行速度の両面で報酬を評価します。ショートカット(実行グラフの再生、入力の事前キャッシュ、暗黙の精度低減など)による不当な高速化を検出する不正対策システムが組み込まれています。
- 目標指向型自律タスク:手順を示さず、目標・制約・検証APIのみを提示します。評価はモデルの宣言ではなく検証器による最終状態の自動判定に基づきます。過剰適合を防ぐため、公開検証器のフィードバックとは別に、非公開の判定用環境で最終評価を行います。
累計5122万個のサンドボックスを実行:待機時間の98%でリソースを停止し効率化
大規模なAgent訓練を支える計算基盤として、レポートでは以下の運用実績値が公開されています。
サンドボックスはAgent実行用の隔離環境であり、Firecracker MicroVMをベースとした「AgentENV」システム(オープンソース)が採用されています。従来の標準コンテナと比較して高い隔離性を備え、モデルの異常挙動によるホストカーネルのクラッシュを防止します。
インフラコスト削減の要点は以下の記述に要約されています。
一時停止中のサンドボックスはメモリおよびCPUリソースを消費しないため、Agentがモデルの推論結果を待機している間、環境を休止状態に遷移させることができます。この待機時間はサンドボックスのライフサイクルの最大98%を占めます。
Kimi K3技術レポート §5.3.2より和訳
すなわち、モデルの推論待ち時間における計算コストを極限まで排除する設計となっています。133ミリ秒での状態保存与49ミリ秒での復元により、即座の休止・再開が可能です。また、評価用の環境分岐(フォーク)や定期スナップショットによる失敗復旧機能も備えています。
推論基盤における課題として、2つのアテンション層におけるキャッシュ仕様の相違があります。Gated MLA層はトークン単位で増加するのに対し、KDA層はリクエストごとに固定サイズのメモリ状態を保持します。会話コンテキストの再利用(プレフィックスキャッシュ)には両者の同期復元が必要ですが、KDAメモリのサイズが大きいためスナップショット保存間隔が粗くなり、短文リクエストでのキャッシュ再利用が困難でした。この問題に対し、検索処理(512トークン単位の細粒度)与保存処理(粗粒度)を分離し、細粒度の境界点でメモリ状態を復元できる構成を採用することで、512トークン単位でのプレフィックス再利用を実現しました。
評価結果:Claude Fable 5およびGPT-5.6 Solに次ぐ総合性能、研究レベル推理には課題
実測性能について、レポートでは明確な評価が提示されています。総合性能ではClaude Fable 5およびGPT-5.6 Solの後塵を拝するものの、Claude Opus 4.8、GPT-5.5、オープンモデルのGLM-5.2を含むその他の比較モデルを一贯して上回っています。
トップスコアを獲得した領域:ProgramBench(77.8分)、SWE-Marathon(42.0分、Fable 5を7ポイント上回る)、BrowseComp(91.2分)、MCPMark(94.5分)、法務リサーチHarvey Lab-AA(94.6分)、ドキュメント解析OmniDocBench(91.1分)。Terminal-Bench 2.1では88.3分を記録し、GPT-5.6 Sol(88.8分)に迫る水準を示しました。
一方で、明確な弱点についても報告されています。
高難度総合評価HLE-Fullにおいて、K3はツールなしで43.5分、ツールありで56.0分となり、いずれもFable 5およびGPT-5.6 Solを下回りました。レポートでは「研究レベルの推論能力は今後の主要な改善領域」と述べられています。
独立機関による評価ランキング
レポートには独立評価機関による実績(7月23日時点)も掲載されています。Artificial Analysisの知能指数で57.1分(580モデル中4位)、Vals AI業界指数で74.7%(39モデル中2位)、ブラインド評価のWebDev Arenaで1678分を獲得し、99モデル中第1位(オープンモデルとして初の首位)を記録しました。またText Arenaで200モデル中8位、Agent Arenaで37モデル中4位となっています。
社内ベンチマーク評価:最終結果の精度は高水準も「タスク遂行の規律性」で改善の余地
公開ベンチマークに加え、レポートでは公開データセットでカバーできない領域を測定する独自の内部評価結果が示されています。
優位性を示した領域:マルチAgentオーケストレーション(Swarm Bench:76.3分)、ディープリサーチ(Deep Research Bench:90.0分)で高いスコアを記録。Web開発のブラインド評価では、Claude Opus 4.8に対して勝率+31%(特に3D・シェーダー関連カテゴリでは+59.1%)の優位性を示しました。
一方、課題が示された領域は以下の通りです。
本項目はプロセス品質(タスク遂行手順の規律性・効率性・指示順守度)を評価するものであり、最終的な解答の正否とは独立した指標です。K3はこの項目で最上位モデルより10ポイント以上低いスコアとなりました。同様に、マルチロール企業連携(MIRA Bench:64.1、Fable 5は72.9)、24時間常驻アシスタント、視覚関連の2項目精神下回る結果となっています。
最終出力的正確性与プロセス規律性のギャップは、実際の運用環境における挙動特性を理解する上で重要な指標となります。
コスト比較:同一タスクにおける消費コストは競合モデルの3分の1〜10分の1
同一タスクの実行にかかる費用効率の比較です。
- BrowseComp(Web検索タスク):最高スコア91.2分を獲得しつつ、1タスクあたり2.03ドルを記録。GPT-5.6 Solの半額、最高設定のClaudeと比較して1桁低いコストを達成。
- Kimi Code Bench 2.0(コーディングベンチマーク):Claude Fable 5より4ポイント低いスコアながら、コストは38%に低減。High設定においてClaude Opus 4.8の最高設定と同等スコアを約3分の1のコストで実現。
- GDPval-AA v2(専門ナレッジタスク):GPT-5.6 Sol比でコストを13%削減、Claude Fable 5比で2.6倍のコスト効率を達成。
- AA-Briefcase:Fable 5に次ぐ2位のスコアを獲得し、コストは約半分に抑制。
K3のポジショニングは「最先端水準に近い性能を大幅に低いコストで提供する」点にあります。大量のタスク処理を伴うAgent運用環境において、極めて顕著な経済的メリットをもたらします。
コスト算出基準:Kimi Code BenchおよびBrowseCompのK3コストはMoonshot AIによる実測値、他モデルのコストは各社の公開チャートに基づく引用値です。GDPval-AA v2およびAA-BriefcaseのコストはArtificial Analysisのトークン単価データ(7月23日時点)に基づきます。
セキュリティ評価:16件の未知の脆弱性を発見するも、攻撃コード生成能力には課題
公式ブログでは言及されなかったセキュリティ評価のセクションでは、リスクレベルに応じた2段階の検証が実施されています。
フェーズ1:脆弱性検知(防御的リサーチ)
現行バージョンのコードから未報告の脆弱性(ゼロデイ)を特定し、再現可能性を証明するタスクです。OSカーネル、データベース、AIサービス、Webフレームワーク、ブロックチェーン、VPNソフトウェアなど広範囲のシステムを対象としました。
結果:数百件の疑似脆弱性が検出され、手動検証を行った検体の約70%が有効な脆弱性として確認されました。これには6つのプロジェクトにおける16件の未知の脆弱性が含まれます。Linuxカーネルに関する2つの実例が報告されています。
- リモートからトリガー可能なヒープメモリバッファオーバーフロー。上流の不完全なパッチ修復によって混入したもので、最新コードを含む全バージョンに影響します。DoS(サービス拒否)攻撃が可能であると確認されました。
- RDMAサブシステムで発見された脆弱性。過去の修正時に権限チェック処理が誤って削除されたことで発生し、只読メモリページへの書き込みを許容します。安定したローカル権限昇格パスとして確認されました。
フェーズ2:実効攻撃コード(エクスプロイト)の生成
悪用リスクに直結するエクスプロイト生成能力の検証です。計36問の課題(ユーザー空間アプリ16問、Linuxカーネル権限昇格20問)が設定されました。
K3は14問(38.9%)を解決し、GLM-5.2(8問)を上回りましたが、偏りがみられます。成功した14問中10問は比較的容易なユーザー空間の課題であり、カーネル空間の課題では両モデルともに75%で失敗しました。
主な失敗要因として以下の4点が分析されています:エクスプロイトの最終ステップの不全、保護機能有効時の不適切な攻撃戦略選択、無効なデバッグループへの陥没、結果の事前検証不足。
英国AI安全研究所および米国NIST傘下のCAISIによる共同評価でも同様の結論が得られています。K3はエクスプロイト能力でGLM-5.2を上回る(ExploitBench:32% vs 24%)ものの、最先端モデルと比較すると及ばず、41のテストケースにおいて任意のコード実行(RCE)を達成した事例は0件でした。
実タスク適用例:48時間でのチップ設計、2時間での論文再検証
モデルの能力限界を踏まえ、レポートで報告された具体的な適用事例を紹介します。
1. 半導体チップ設計
小型言語モデル用の推論チッププロトタイプを設計。オープンソースEDAツール与標準セルライブラリを使用し、48時間の完全自律実行でアーキテクチャ設計・最適化・検証を完了しました。4mm²の面積制約内で100MHzのタイミング収束を達成し、シミュレーション上のデコード速度は8,700トークン/秒を超過。146万ゲート、0.277MiBオンチップメモリ、融合逆量子化付き4bit MACアレイを実装しました(設計コード公開済み)。
2. GPUコンパイラの構築
独自コンパイラ「MiniTriton」を構築。PythonフロントエンドからGPUコード生成、PyTorch風テンソルライブラリ、自動微分、分散学習プリミティブまでを自律的に実装しました。NVIDIA L20 GPU上の性能測定において、PyTorchの実行モードを上回る幾何平均スコアを記録。さらにエンドツーエンドでGPTモデルの学習を実行し、PyTorchの自動微分に対する勾配誤差を浮点丸め誤差の範囲内に収めました。
3. GPUカーネル最適化
カーネル最適化タスクにおいて、アテンション残差カーネルのレイテンシを283.6ミリ秒から114.4ミリ秒へ短縮し、他2タスク根でも55.1%および73.6%の高速化を達成しました。レポートでは以下の記述があります。
開発の最終段階において、早期のKimi K3チェックポイントが開発チームのカーネル最適化タスクの大半を担当していました。
Kimi K3技術レポート §7より和訳
すなわち、モデルが自身の動作用カーネルコードの最適化を実行していたことになります。
4. 天体物理学論文の再検証
中性子星に関する汎用関係性の再検証にあたり、20本以上の関連論文を照合し、数値計算パイプラインの構築、300以上の状態方程式の評価を実施。既出論文における数式の不整合を特定し、3,000行以上のPythonコード与対話型Webダッシュボードを約2時間で生成しました(従来研究者で1〜2週間を要するタスク)。
その他の事例:AIチップ業界42年の歴史を網羅する研究Webサイトの構築(120回以上のイテレーション、1.1万ページの資料解析)、20基の並列サブエージェントによる391件の重力波イベント解析など。また、56本の動画素材から自モデルのプロモーション動画の編集・生成も行っています。
導入時の注意点:ライセンス規約、API仕様上の留意事項、未公開データ
実運用における主要な考慮事項は以下の通りです。
ライセンス体系(オープンライセンス与2つの制限)
Kimi K3は独自のオープンライセンスを採用しており、改変・再配布・商用利用・ファインチューニングが商用・非商用問わず許容されています。ただし、以下の2点に商用制限が適用されます。
- モデル能力をサードパーティへAPI等で提供する事業において、過去12ヶ月の連結売上高が2,000万ドルを超える場合、個別契約が必要です。
- 製品の月間アクティブユーザー数(MAU)が1億人を超える、または月売上が2,000万ドルを超える場合、UI上への「Kimi K3」クレジット表記が義務付けられます。
社内での利用や、公式API・認定推論パートナー経由の利用、およびエンドユーザー向け製品の内部機能としてモデルを組み込む形態には上記制限は適用されません。
APIおよびローカル実行
API利用上の注意点:K3は思考プロセス(CoT)の保持を前提に学習されています。マルチターン対話やツール呼び出しの際、最終回答だけでなく、モデルが出力した推論プロセス(reasoning content)およびツール呼び出し履歴を含む完全なメッセージオブジェクトを次ターンで送信する必要があります。
レポートにおける非開示情報
評価にあたって留意すべき点として、レポート内では学習に使用したGPU基数、学習データ総量、学習期間、および総開発コストが公開されていません。2.5倍の効率向上を示すスケーリング曲線においても横軸の絶対値は非開示となっています。また、ローカル環境でのデプロイに必要な最小ハードウェア要件についても記載がありません。
Moonshot AIがKimi K3の設計手法を公開:同一計算資源で前世代の2.5倍のパフォーマンスを達成
発表11日後に公開された47ページの技術レポート。3つのアーキテクチャ改修、コスト構造、明记された弱点を図解でまとめました
↓ 1分で要要約を把握 · アニメーション図解あり
7月17日のKimi K3発表時に開示されたのはベンチマークスコアでした。11日後、Moonshot AIは47ページの技術レポートを公開し、モデルの内部構造を明らかにしました。
開発チームは異なるスケールの小モデルを用いてスケーリング法則(Scaling Law)を測定しました。K2とK3のフィッティング曲線を比較すると、K3の曲線全体が左側へシフトしており、同一の検証誤差を達成するのに必要な計算量はK2の約40%にとどまります。この差分が2.5倍の効率向上を示しています。
モデル内の情報は3つの方向(シーケンス・深さ・幅)に伝達されます。K3ではこれら3つのボトルネックに対し各1箇所の改修を加え、レイヤーの幅(隠れ層次元)を変更せずに性能を拡大しました。
同一タスクにおける実行コストの比較です。
コーディング評価において、Claude Fable 5より4ポイント低いスコアに対しコストは38%に削減。High設定ではClaude Opus 4.8最高設定と同等のスコアを約3分の1のコストで実現します。
評価の結論:Claude Fable 5およびGPT-5.6 Solに次ぐ位置付けであり、その他の比較モデルを一贯して上回ります。公式ブログ未掲載のサイバーセキュリティ評価も記載されています。
✔ WebDev Arena(ブラインドWeb開発評価)において99モデル中1位(オープンモデル初)
✔ 実稼働システムからLinuxカーネル2件を含む16件の未知の脆弱性を発見
✔ 48時間の完全自律実行で推論チッププロトタイプを設計(シミュレーション速度:8,700トークン/秒超)
✘ タスク手順の規律性を評価する内部指標で65.0スコア(Claude Fable 5より10ポイント以上低い)
✘ エクスプロイトコード生成課題で36問中14問の成功にとどまる(成功例の多くは容易なカテゴリ)
画面にはベンチマークが並ぶ。
47ページのレポートを公開
別の数値だった
固定メモリ化
長文精神メモリ
消費が一定
第1層を参照
過去の出力を
直接活用
から16個のみ
動的アクティブ化
実行コスト比較
- × 研究レベル物理推理 23.4分
(4モデル中最下位) - × タスク手順の規律性 65.0分
(Fable 5より10pt以上低い) - × エクスプロイト生成 36問中14問成功
(高度な課題で苦戦) - × 総GPU数・学習データ量・開発費は
47ページに記載なし
