2.8 兆パラメータをどうやって学習させたか

パラメータを 2.8 兆まで積むと、厄介ごとも一緒に来ます。これだけ巨大だと、学習時に情報が隅々まで届く必要があり、使うときの計算コストも見合わなければなりません。さもないと、動かないし高すぎる巨獣になります。K3 はこれを解くために構造を 3 か所いじりました。

1 つ目は KDA（Kimi Delta Attention）です。アテンション機構はモデルが文章を読むやり方で、テキストが長くなるほど通常のアテンションは計算量が急激に増えます。KDA は計算量を抑えたアテンションの土台で、これがあるから 100 万トークンの超長文も読めるしコストも見合います。2 つ目はアテンション残差（Attention Residuals、略して AttnRes）。K3 のようなモデルは内部に多数の層があり、従来は各層が前段すべての情報を均等に上へ渡していました。層が増えると、序盤の重要な情報は後段に届くまでに薄まります。アテンション残差はこれを必要に応じた取り出しに変えました。上位層は必要な層の情報を直接取りに行き、伝言を経由しません。

3 つ目はスパースエキスパートです。K3 の本体は、それぞれ得意分野を持つ 896 個の小さなモデル — 専門用語で「エキスパート」— の集まりだと考えてください。フレームワーク名は Stable LatentMoE。トークンを 1 つ処理するたび、K3 は最も適した 16 個だけを選んで働かせ、残り 880 個は休んでいます。2.8 兆パラメータでも通常どおりサービスできるのはこの仕組みのおかげ。総量は膨大でも、ある瞬間に実際に計算しているのはごく一部です。

24 時間から 48 時間ぶっ通しでコードを書く

K3 が前面に出す能力は、長時間の連続コーディングです。人が張り付かなくても、自力で大規模なコードリポジトリを読み解き、ターミナルのツールを操作し、何時間も一気に作業します。Kimi はこれを示すために 4 つの事例を挙げました。後になるほど時間が長くなります。

24 時間かけて GPU kernel を最適化

1 つ目は GPU kernel の最適化です。GPU 上で走る中核の計算プログラムで、これが速いか遅いかが学習と推論のコストを直接決めます。テスト方法は、参加した各モデルを同一のサンドボックス環境に単独で閉じ込め、最長 24 時間を与えて、自力でプロファイリング、コード書き換え、ベンチマーク実行をさせるというもの。タスクは全 4 つ、ハードウェアは NVIDIA H200 と別ベンダーの汎用 GPU です。結果、K3 は Claude Fable 5 と互角で、Opus 4.8、GPT 5.6 Sol、GPT 5.5 をいずれも明確に上回りました。ただし条件を 2 つ押さえておく必要があります。Fable 5 のスコアは第三者による実行で、拒否した後に別のモデルが引き継いだケースが混ざっている可能性があること。もう 1 つ、多くのモデルの一部の手法には精度面の小さな近道がありますが、いずれも許容誤差の範囲内でした。

開発過程の細部も 1 つ。K3 の後半では、チーム自身の kernel 最適化作業の大半を、K3 の初期バージョンにやらせていました。

GPU コンパイラをゼロから書く

2 つ目はさらに一段難しい課題。K3 に GPU プログラミングのシステムをゼロから書かせました。できあがったのが MiniTriton、業界で広く使われる Triton に対抗する小型コンパイラです。フロントエンド言語、中間表現、最適化パス、そして最終的に GPU が実行できる PTX コードの生成まで、全経路を自力で組み上げました。対応するベンチマークでは、MiniTriton の性能は Triton や torch.compile と同等か上回り、一部のタスクでは Triton を逆転しています。これで nanoGPT モデルの学習を一通り回したところ、損失曲線はほぼ参照実装に沿って推移しました。ゼロから書いたこのコンパイラ経路が実タスクで使えることを示しています。

NVIDIA L20 での MiniTriton の roofline ベンチマーク。ゼロから書いたコンパイラが、成熟した Triton のスタックと渡り合えるまでに。出典：Kimi 公式ブログ

48 時間で自分のためのチップを設計

3 つ目は、AI モデル向けのチップ設計です。K3 は 48 時間連続で自律稼働し、オープンソースのチップ設計ツール（EDA）と Nangate 45nm プロセスライブラリを使って、設計から最適化、検証までを通しでやり切りました。このチップが動かすのは小型モデルで、そのモデルが使うのは K3 自身のアーキテクチャ。つまりモデルが同類のためにハードウェアを設計した形です。現状はあくまで概念実証ですが、主要な数字はすべて実際に回して出たものです。

研究者の 1〜2 週間分を 2 時間で

4 つ目は研究の仕事です。計算天体物理学の古典的な成果、I-Love-Q 普遍関係の再現に挑みました。中性子星のいくつかの性質のあいだに成り立つ固定的な関係式のことで、検証には大量の文献を読み、数値計算プログラムを一式書く必要があります。K3 は自分で 20 本以上の論文を読んで相互に突き合わせ、数値計算パイプラインを完成させ、300 以上の状態方程式を計算。その途中で既発表の式にいくつかの不整合を見つけました。書いた Python コードは 3000 行超、最後に触って動かせる Web の結果パネルを納品しています（成果物を見る）。経験のある研究者がやれば通常 1〜2 週間かかる仕事を、K3 は約 2 時間で終えました。

そのまま遊べる 3D デモ 9 本

ゲームと 3D は、K3 の実力を最も直感的に感じられる領域です。アイデア 1 つ、画像 1 枚、動画 1 本から、そのまま遊べる 3D 作品を作れます。支えているのはスクリーンショットを目として使う手法。コードを書いたら自分で走らせ、自分で画面を撮って結果を確認し、画像から不具合を見つけて、またコードに戻る。納得いくまでこの往復を繰り返します。

以下の 9 本のデモはすべて K3 製。それぞれオンラインで遊べる版があり、リンクはキャプション内にあります。

業界レポートから自作のティザー動画まで

コーディングと並ぶ K3 のもう一つの柱がナレッジワーク、つまりリサーチ、レポート作成、スライド作り、動画編集といった日常業務です。公開ベンチマークに加え、Kimi は自社の内部評価でもこの能力を示しています。設問は実際のユーザーが普段 AI にやらせている作業から取ったもの。ただし出題も採点も自社なので、参考程度に見るのが妥当です。

内部ナレッジワークベンチマーク：K3（max）が各種の実務タスクで安定してリード。自己評価基準。出典：Kimi 公式ブログ

42 年の業界史を掘り下げ可能なサイトに

最も重量級の事例が、半導体業界（ASIC）42 年の歴史を扱った調査レポートです。成果物はそのまま、階層をたどって細部まで開けるインタラクティブサイト（成果物を見る）。中の図表、アニメーションの図解、ナラティブのページはすべて K3 が調べた証拠に基づいて作ったもので、120 回以上の自己修正を経ています。リサーチの物量は次のとおり。

同じ手法で、K3 はさらに 2 つの成果物を作りました。1 つは核融合業界のコンサル調のレポートで、タイムライン、ファネル図、レンジバーチャート、ガントチャートが揃っています。もう 1 つは天文データの解析。20 以上のサブ Agent を同時に走らせ、391 件の重力波イベントを全件処理し、科学図表 7 点とデータ表 2 点を作成、10 本以上の論文をまとめた文献レビューも添えました。2 つとも下に埋め込んであり、そのままページをめくって見られます。

核融合業界レポートの表紙（全 16 ページ）。この画像をクリックすると公式ビューアで全ページめくれます。出典：Kimi 公式ブログ

重力波解析レポートの表紙（全 11 ページ）。この画像をクリックすると公式ビューアで全ページめくれます。出典：Kimi 公式ブログ

インフォグラフィック調のプレゼン資料も得意分野です。例は 2 つ、全文編集できるヒートマップと、年間の読書レポート。

Widgets と Dashboard：会話で作った部品が常駐する

K3 と同時に、Kimi Work にも新機能が 2 つ加わりました。1 つは Widgets。チャットの中でデータカードや進捗表のような小さな部品を作らせると、その部品は生きていて、ローカルのデータや外部プラグインにつないで更新し続けられます。もう 1 つは Dashboard。気になる部品をまとめて 1 つの固定ページに収め、あるプロジェクトや目標を中心に常時表示できます。会話しているうちに自分専用のダッシュボードができあがる、という具合です。

動画編集：素材 56 本から自力でティザーを仕上げる

今回やや意外だった強みが動画編集です。理由は K3 のマルチモーダルがネイティブだから。テキスト、画像、動画を同じモデルの中で理解し、映像を見るための別モデルを外付けする必要がありません。1 つ目の例は、K3 が自分のアーキテクチャを 3Blue1Brown 風（あの数学解説チャンネルのアニメーション演出）で解説した動画です。

2 つ目の例では、K3 が 56 本の素材から自分でティザー動画を編集しました。どのカットを使うか、どの動きの瞬間で切るか、映像をどうフレーム単位で音楽のビートに合わせるか、音をどう処理するか。全工程を自力でこなし、途中で何度も自己修正しています。参考までに、この密度の短尺なら熟練の編集者で 1〜2 営業日、初心者なら 3〜5 日かかる仕事です。

31 項目のスコア：どこが 1 位で、どこがまだ足りないか

今回のベンチマーク比較は全 31 項目。相手は Claude Fable 5、GPT 5.6 Sol、Claude Opus 4.8、GPT 5.5、GLM-5.2 です。表を通して読むと構図ははっきりしています。「長時間、多ステップ」を測るテストでは K3 がしばしば 1 位。深い推論と精緻な視覚理解では、最強のクローズドモデルとの差が目に見えて残っています。

公式ベンチマーク比較の総覧。出典：Kimi 公式ブログ

この表を見る前に、テスト条件を 3 つ押さえておきます。第一に、K3 のスコアはすべて最高推論モード（max）で出したもの。第二に、モデルごとに実行環境が異なります（KimiCode、Claude Code、Codex の 3 択でベンチマークごとに割り当て）。一部の対抗モデルは最も成績のよい環境のスコアを採用しています。第三に、PostTrain Bench では Claude Fable 5 が利用ポリシー上できない要求に当たると自動で Opus 4.8 に切り替えて続行しており、表のスコアはそれを含みます。31 項目の全スコアと 15 本の脚注は原文の表にあります。

外部の測定ではどう出たか

リリース当日、独立評価機関の Artificial Analysis が最初のテスト結果を公開し、各テックメディアの報道も続きました。全体の印象は Kimi の自己評価とほぼ一致します。確かに第一線に食い込んだ。ただし自己評価には出ていなかった問題も見つかりました。

この独立テストと公式の数字は相互に裏付けが取れています。GDPval の再測定で出た Elo は、公式の表にある 1668 点そのもの。評価コメントも公式の説明と一致し、K3 は各面がバランスよく、分析の質は Claude Fable 5 に近い水準、プレゼン資料の見栄えでは依然 GPT 5.6 Sol が先行、というものでした。

メディアの報道は 2 つの角度に集中しました。1 つはオープンソースが最前線に追いついたこと自体。Axios は Mozilla の CTO、Raffi Krikorian の見方を引き、米国の AI 研究所はこの種のオープンウェイトモデルを「明らかに警戒している」、でなければワシントンで規制のロビー活動をする理由がない、と伝えています。VentureBeat は史上最大規模のオープンソースモデルで、米国のトップシステムに肉薄すると評しました。もう 1 つは価格。The Decoder は見出しをずばり「超安価な中国 AI 時代の終わり」とし、K3 の価格が自社の先代より 3 倍以上高いことを指摘しています。

価格、入口、オープン化のスケジュール

今すぐ K3 を使うなら、本日 5 つの入口がすべて開いています。重みを取って自分でデプロイしたいなら、7 月 27 日までのオープン公開を待つことになります。API の価格はすでに全公開されています。

• アプリ / Web：アプリストアで Kimi を最新版に更新（iOS、Android、HarmonyOS）、または直接 kimi.com へ
• Kimi Work：デスクトップ版 3.1.0 以降（Windows と Apple silicon Mac）
• Kimi Code：ターミナルで Kimi Code を起動し、/model コマンドで Kimi K3 を選択
• API：platform.kimi.ai で kimi-k3 を選択
• 法人版：企業レベルのデータ分離とメンバー管理。個人アカウントと組織アカウントは完全に分離

この価格は高いのか安いのか

まず自社の先代と比べると、正真正銘の値上げです。先代 K2.6 の公式価格は入力ミス時 $0.95、出力 $4.00。K3 はそれぞれ $3.00 と $15.00 で、2〜3 倍になりました。同じ作業でトークンは多少節約でき（同じ評価群での出力量は K2.6 より 21% 少ない）、それでも値上げ分には遠く及ばず、タスク単価はやはり上がっています。

一方、クローズドの競合と比べればこの価格は高くありません。Claude Sonnet 5 とまったく同じで、入力は GPT 5.6 Sol の 6 割、出力は半額。Claude Opus 4.8 や Claude Fable 5 よりずっと安く済みます。Artificial Analysis は実タスクで走らせて試算しています。K3 はタスク 1 件あたり平均 $0.94 で、GPT 5.6 Sol の $1.04 とほぼ並び、Opus 4.8（$1.80）のおよそ半分。ただし GLM-5.2（$0.32）や DeepSeek V4 Pro（$0.04）といったオープンソース勢と比べると、かなり割高です。

単位：100 万トークンあたりの米ドル。データは各社の公式価格ページ（The Decoder がまとめたもの）。Anthropic の 2 モデルのキャッシュヒット価格は、同社のキャッシュ読み取り 0.1 倍ルールで換算。

重みの公開後に自分でデプロイするつもりなら、実務的な情報がいくつかあります。モデルはファインチューニング段階から低精度で学習されており（MXFP4 の重みに MXFP8 の活性化）、公開される重みは最初から幅広いハードウェアに適合します。自分で量子化をやり直す必要がありません。デプロイ規模としては、アクセラレータ 64 基以上のスーパーノード構成が推奨。通信帯域が十分でないと、このスパース構造は活きません。エコシステム面の動きもあります。KDA のような新しいアテンション構造は、現在デプロイで広く使われるオープンソース推論フレームワーク vLLM のキャッシュ機構と相性が悪いため、Kimi は対応実装を vLLM コミュニティへ直接コントリビュートし、モデルと同時に公開する予定です。この段落は、2.8 兆パラメータであの価格で売れる理由の説明にもなっています。KDA とプリフィルキャッシュが、サービスコストを押し下げているのです。

使う前に知っておく 3 つの弱点

K3 には既知の弱点が 3 つあり、いずれも使い勝手に直接響きます。そのまま書き留めておく価値があります。

今回 Moonshot AI は、オープンモデルの規模を初めて 3 兆級へ引き上げました。Kimi K3 のパラメータは 2.8 兆（パラメータはモデル内部の「つまみ」。多いほど通常は強く、学習も難しくなります）。画像も直接読め、一度に数十万字を処理できます。「長時間ぶっ通しの作業」を測る一群のテストで 1 位を取り、総合力は最強クローズドに迫るもののまだ並んではいません。アプリ、Web、API（プログラムから呼ぶ窓口）は本日すべて開放、重みは 7 月 27 日までに公開されます。

ただしここで大きな難題が出ます。2.8 兆パラメータは天文学的な数字。これほど巨大なモデルを、どうやって学習させ、しかも通常価格で数百万人に提供できるのか？

K3 は 3 か所の構造変更で、2.8 兆パラメータを学習可能かつ提供可能にしました。KDA（数十万字の超長文でも計算が見合う）、アテンション残差（重要な情報が深いネットワークで薄まらない）、そして最も分かりやすい一手 — モデルを専門家だらけの一室に分け、毎回ほんの一握りだけ起こす。下の図がその一手です。

「N 倍速い」ではピンと来ません。同じ作業に何時間かかるかに換算すると分かります。Kimi 公式が挙げた一例。天体物理学の古典研究の再現（論文 20 本以上を読み、300 以上の方程式を計算し、3000 行超のコードを書く）は、経験ある研究者で通常 1〜2 週間。K3 は約 2 時間で終えました。