深掘り · 小互の解説

Hugging Face と Cerebras、Gemma 4 の音声対話を人と話すように滑らかに

Doubao や GPT-Live とは土俵が違います。あちらのモデルは借りるだけ。こちらは 4 つの工程すべてが Apache 2.0 で、商用利用も改変も自分のマシンへの持ち帰りも自由です。代わりに、会話のテンポでは勝てません。
1 分でわかる
  • 今の音声 AI は頭が悪いのではなく、遅いのです。話し終えてから数秒待たされ、人と話している感じがしません。
  • Hugging Face と Cerebras は、いちばん遅い工程を超高速な推論ハードに差し替えました。毎秒 1851 字を出力し、一般的な GPU の 35 倍です。
  • ただし Doubao、GPT-Live、Gemini Live はどれもエンドツーエンドの全二重。聞きながら話せて、声色まで拾います。こちらは 4 段リレーの半二重で、テンポでは及びません。
  • 価値は別のところにあります。4 段すべてがオープンソースで差し替え可能。丸ごと自分のマシンに持ち帰ってオフラインで動かせ、途中のテキストも手に入ります。
  • テンポ差を埋めるため、話し終わる前にフライングして答えを考え、外したら全部やり直します。標準の音声認識はヨーロッパ系 25 言語のみで、日本語や中国語は別途設定が必要です。
共同発表による内容です。速度の数値は先方が引用した第三者測定、仕組みの詳細は公開リポジトリのソースコードから。
課題

音声 AI のボトルネックは今、速度

モデルの実力はとっくに十分で、答えも正しい。体験を壊しているのは遅延です。話し終えてから数秒、無音が続く。往復のたびにこれでは会話がぎこちなく、人と話している気がしません。

やっかいなのは、速いときと遅いときがあることです。10 回のうち 9 回は 1 秒ちょっと、10 回目だけ 3 秒。聞こえていないのかと思ってもう一度言うと、ふたりで同時に話し出す。エンジニアリングで測るのはまさにここです。100 回の応答のうち、いちばん遅い数回がどれだけ遅いか。これを P95 レイテンシと呼びます。平均値がきれいでも意味はなく、引っかかる感覚はその数回が生んでいます。

たとえるなら

反応がワンテンポ遅い相手との電話です。頭は悪くないし答えも合っている。それでも一言ごとに空く数秒のせいで、普通に会話できません。

アプローチ

いちばん遅い工程を丸ごと差し替えた

まず Cerebras が何者かをはっきりさせます。そうしないと「35 倍」という数字の真偽を判断できません。

AI チップの会社ですが、NVIDIA とはやり方が違います。他社はウェハー 1 枚を数百個のチップに切り出してつなげて使う。この会社は切らず、ウェハー 1 枚をそのまま巨大な 1 個のチップにします。利点は、データをチップ間で行き来させずに済むこと。モデルの重みをオンチップメモリに直接置けるので、読み出しが格段に速くなります。学習には向きませんが、推論——つまり学習済みモデルに文字を吐かせる用途では非常に高速です。ここ数年の商売も、その速度を売ることが中心です。

音声 AI は、あなたの声を聞いてから返事を発するまでに 4 つの工程を通ります。いちばん遅いのは真ん中、答えを考える工程です。前後の 3 つがどれだけ速くても、ここに足を引っ張られます。

Hugging Face と Cerebras は、この工程を Cerebras の推論ハードに任せました。モデルは Google DeepMind がオープンウェイトで公開した Gemma 4 31B です。

① 発話の検知 Silero VAD v5 ローカル ② 音声を文字に Parakeet TDT ローカル、6 種から選択 ③ 答えを考える 最遅、遅延の元凶 Gemma 4 31B Cerebras 上で実行 互換サービスに差し替え可 ④ 文字を読み上げ Qwen3-TTS ローカル、5 種から選択 あなたが話す AI が答える

4 つの工程はそれぞれ別スレッドで動く。真ん中だけが標準でネットワーク越し、あとの 3 つはローカル

Cerebras
1851
一般的な GPU 環境
≈ 53

単位は毎秒の出力字数。1851 は Artificial Analysis の測定値。一般的な GPU 環境の欄は「35 倍」から逆算した目安値

35 倍になれば、たまに起きる大きな引っかかりも消えます。これが P95 レイテンシ改善の直接の理由です。答えを考える工程の所要時間が極小になれば、パイプライン全体のばらつきも自然に小さくなります。

ついでにモデルの「思考」もオフにしています。接続コマンドに --responses_api_reasoning_effort none が入っているのがそれです。同じモデルでもコードを書くときは思考を入れたほうが賢い。会話では、切らないと話す速さに追いつけません。

公式の実機デモ。返しのテンポを聞いてみてください。出典は Hugging Face ブログの付属素材

Gemma 4 31B は当サイトで 2 度取り上げました。今回は別の顔で登場します——オープンソースのパイプラインから、いつでも外して差し替えられる「脳」として。

関連記事
Gemma 4 技術レポート:オープンモデルが「小さいパラメータ + 思考 + 省メモリ」で巨大モデルに挑む
この「脳」自体がどう作られたか。31B がなぜこのパイプラインを支えられるのかは、この記事から。
関連記事
LiveKit が Gemma 4 31B を最適化、リアルタイム音声で GPT-4.1 より 5 倍速・コスト 6 分の 1
同じモデルで同じくリアルタイム音声を狙いつつ、LiveKit は推論を自前で最適化する道を選びました。この 4 段リレー型と読み比べる価値あり。
背景

あちらのモデルは持ち出せない、こちらは持ち出せる

この技術の価値を理解するには、まず Doubao や GPT-Live とは土俵がまったく違うと知る必要があります。あちらが競うのは「どれだけ人らしく話せるか」。こちらが競うのは「そのモノが誰のものか」です。