Hugging Face と Cerebras、Gemma 4 の音声対話を人と話すように滑らかに
- 今の音声 AI は頭が悪いのではなく、遅いのです。話し終えてから数秒待たされ、人と話している感じがしません。
- Hugging Face と Cerebras は、いちばん遅い工程を超高速な推論ハードに差し替えました。毎秒 1851 字を出力し、一般的な GPU の 35 倍です。
- ただし Doubao、GPT-Live、Gemini Live はどれもエンドツーエンドの全二重。聞きながら話せて、声色まで拾います。こちらは 4 段リレーの半二重で、テンポでは及びません。
- 価値は別のところにあります。4 段すべてがオープンソースで差し替え可能。丸ごと自分のマシンに持ち帰ってオフラインで動かせ、途中のテキストも手に入ります。
- テンポ差を埋めるため、話し終わる前にフライングして答えを考え、外したら全部やり直します。標準の音声認識はヨーロッパ系 25 言語のみで、日本語や中国語は別途設定が必要です。
音声 AI のボトルネックは今、速度
モデルの実力はとっくに十分で、答えも正しい。体験を壊しているのは遅延です。話し終えてから数秒、無音が続く。往復のたびにこれでは会話がぎこちなく、人と話している気がしません。
やっかいなのは、速いときと遅いときがあることです。10 回のうち 9 回は 1 秒ちょっと、10 回目だけ 3 秒。聞こえていないのかと思ってもう一度言うと、ふたりで同時に話し出す。エンジニアリングで測るのはまさにここです。100 回の応答のうち、いちばん遅い数回がどれだけ遅いか。これを P95 レイテンシと呼びます。平均値がきれいでも意味はなく、引っかかる感覚はその数回が生んでいます。
反応がワンテンポ遅い相手との電話です。頭は悪くないし答えも合っている。それでも一言ごとに空く数秒のせいで、普通に会話できません。
いちばん遅い工程を丸ごと差し替えた
まず Cerebras が何者かをはっきりさせます。そうしないと「35 倍」という数字の真偽を判断できません。
AI チップの会社ですが、NVIDIA とはやり方が違います。他社はウェハー 1 枚を数百個のチップに切り出してつなげて使う。この会社は切らず、ウェハー 1 枚をそのまま巨大な 1 個のチップにします。利点は、データをチップ間で行き来させずに済むこと。モデルの重みをオンチップメモリに直接置けるので、読み出しが格段に速くなります。学習には向きませんが、推論——つまり学習済みモデルに文字を吐かせる用途では非常に高速です。ここ数年の商売も、その速度を売ることが中心です。
音声 AI は、あなたの声を聞いてから返事を発するまでに 4 つの工程を通ります。いちばん遅いのは真ん中、答えを考える工程です。前後の 3 つがどれだけ速くても、ここに足を引っ張られます。
Hugging Face と Cerebras は、この工程を Cerebras の推論ハードに任せました。モデルは Google DeepMind がオープンウェイトで公開した Gemma 4 31B です。
4 つの工程はそれぞれ別スレッドで動く。真ん中だけが標準でネットワーク越し、あとの 3 つはローカル
35 倍になれば、たまに起きる大きな引っかかりも消えます。これが P95 レイテンシ改善の直接の理由です。答えを考える工程の所要時間が極小になれば、パイプライン全体のばらつきも自然に小さくなります。
ついでにモデルの「思考」もオフにしています。接続コマンドに --responses_api_reasoning_effort none が入っているのがそれです。同じモデルでもコードを書くときは思考を入れたほうが賢い。会話では、切らないと話す速さに追いつけません。
Gemma 4 31B は当サイトで 2 度取り上げました。今回は別の顔で登場します——オープンソースのパイプラインから、いつでも外して差し替えられる「脳」として。
あちらのモデルは持ち出せない、こちらは持ち出せる
この技術の価値を理解するには、まず Doubao や GPT-Live とは土俵がまったく違うと知る必要があります。あちらが競うのは「どれだけ人らしく話せるか」。こちらが競うのは「そのモノが誰のものか」です。