产品发布 · 小互解读

LiveKit 针对 Gemma 4 31B 进行优化，在实时语音方面比 GPT-4.1 快 5 倍、成本六分之一

在 LiveKit 自家推理平台上跑 Google 的 Gemma 4 31B，专门为语音 Agent 优化：又快、又省、能力还在线，改一行代码就能用上。数据均为 LiveKit 自测。
30 秒速览
  • LiveKit 上线一项新服务：在自家推理平台 LiveKit Inference 上跑 Google 新一代大模型 Gemma 4 31B，专门给语音 Agent 优化。
  • Gemma 4 是 Google DeepMind 的开源模型（Apache 2.0），权重公开、能本地跑，预训练覆盖 140 多种语言；31B 这档 30.7B 参数、256K 上下文、可读文本和图像。
  • 它想告诉开发者一句话：用我们的平台跑 Gemma 4，又快、又便宜、效果还好，做语音 Agent 正合适。
  • 跟 GPT-4.1 比：接话延迟低 5.2 倍（首字 192 毫秒对 1006 毫秒）、成本便宜约 83%（大概六分之一）。
  • 能力也没含糊：酒店前台场景测试任务完成率 88%，超过 GPT-4.1（73%）和 Gemini 2.5 Flash（64%）。
  • 为什么这么快：LiveKit 用同机房托管的专属 GPU、专门优化低延迟；接入只改一行代码，把模型指到 google/gemma-4-31b-it。
⚑ 这是 LiveKit 官方产品页的解读。页面上所有延迟、成本、能力分数都是 LiveKit 用自家的「酒店前台」参考 Agent 在自家平台上跑出来的自测结果，成本是 LiveKit Inference 的挂牌价对比，未经第三方验证。
LiveKit 干了件什么事

把 Google 的 Gemma 4 搬上自家平台，专门伺候语音

语音 AI 公司 LiveKit 上线了一项新服务：在自家的推理平台 LiveKit Inference 上跑 Google 新一代开源大模型 Gemma 4 31B，还专门为语音 Agent 做了优化。

它想跟开发者说的其实就一句话：用我们的平台跑 Gemma 4，又快、又便宜，效果也够好，拿去做能跟人实时对话的语音 Agent（比如电话客服、语音助手）正合适。
⚡ 先记三个数：接话前的等待只要 192 毫秒（GPT-4.1 要 1006 毫秒），成本大概是 GPT-4.1 的六分之一，酒店前台测试里的任务完成率 88%（GPT-4.1 是 73%）。
192ms
开口接话前的等待，越短越像真人
1/6
成本大概是 GPT-4.1 的六分之一
88/100
酒店前台测试的任务完成率

先看一段官方演示，感受下它接话有多快：

Google 官方发布视频（中英双语字幕）：一段「LiveKit 酒店」前台的语音 demo，接待员由 Gemma 4 31B 驱动，实时完成订房对话，随后亮出首字 192 毫秒、首次出声 354 毫秒的延迟。来源：Google Gemma
先认识一下 Gemma 4

它到底是个什么模型

在讲 LiveKit 怎么优化之前，先花一分钟认识下 Gemma 4 本身。它是 Google DeepMind 今年推出的开源模型家族，走的是「开放权重」路线：权重公开、用的是宽松的 Apache 2.0 许可，任何人都能下载下来自己用，也能在自己的机器上本地跑，不一定非得走云端 API。

谁做的
Google DeepMind。开源模型，Apache 2.0 许可，可免费商用。
能本地跑吗
能。整个家族有五个尺寸（E2B、E4B、12B、26B A4B、31B），最小的能塞进高端手机和笔记本，31B 这档适合消费级显卡和工作站；Ollama、LM Studio 上都有现成版本。
支持语言
预训练覆盖 140 多种语言，开箱即用支持 35 种以上，中文在内。
这次用的 31B
30.7B 参数的 Dense 模型，256K 上下文（约二三十万字），能读文本和图像，原生支持函数调用（方便做 Agent）。

LiveKit 这次挑的就是 31B 这一档：在整个家族里它能力最强，又还没大到跑不动，放在服务器上给语音 Agent 用正合适。接下来说的所有数字，都是这一档在 LiveKit 平台上跑出来的。

核心卖点

又快、又省、又聪明

LiveKit 把 Gemma 4 31B 跟市面上几个主流的商业大模型摆一起比了一番，对手是 GPT-4.1、GPT-4.1 mini 和 Gemini 2.5 Flash。结论就三个字：快、省、聪明。一个一个看。

⚡快：接话几乎是秒回

打字聊天时，AI 想两秒再回你，没人在意。可换成打电话就不一样了：你话音刚落，对面停顿超过半秒就让人别扭，拖到一秒开外，这通电话就聊得很假了。衡量这个「多快开口」的指标叫首字延迟，指模型从你说完、到吐出第一个字要等多久。Gemma 4 31B 只要 192 毫秒，GPT-4.1 要 1006 毫秒，差的这 800 多毫秒，基本就是「秒回」和「尬住」的分界线。

首字延迟对比（毫秒，越短越快）
Gemma 4 31B
LiveKit
192ms
GPT-4.1 mini
OpenAI
802ms
Gemini 2.5 Flash
Google
911ms
GPT-4.1
OpenAI
1006ms

💰省：花不到两成的钱

成本这块可以摆出实价来看。大模型按 token（大致对应字/词）收费，分输入和输出两种价。下面是每百万 token 的挂牌价（美元）：

每百万 token输入输出
Gemma 4 31B
LiveKit		$0.40$1.20
GPT-4.1 mini
OpenAI		$0.40$1.60
GPT-4.1
OpenAI		$2.00$8.00

跟 GPT-4.1 比，输入价是它的五分之一（0.4 对 2 美元），输出价不到七分之一（1.2 对 8 美元）。按语音场景常见的输入输出 3:1 混合下来，综合成本大概是 GPT-4.1 的六分之一，也就是便宜约 83%。就算跟同样主打便宜的 GPT-4.1 mini 比，输出价也更低。对要 7×24 小时接电话、按量烧钱的语音服务来说，这笔账能省出不少。

🧠聪明：便宜快，但没变笨

又便宜又快，最让人担心的就是「是不是变笨了」。LiveKit 把能力拆成几项分别打分，用的还是那套酒店前台参考评测。结果是几乎项项接近满分：工具调用、多轮对话连贯、信息真实性都是满分，指令遵循 98，简洁度 96，综合下来任务完成率 88。对语音助手来说，照着流程一步步办事、还要记住前面聊过什么，靠的正是这几项。

能力细分（满分 100，越高越好）
工具调用准确
100
多轮连贯
100
信息真实性
100
指令遵循
98
简洁度
96
总任务完成率
88

把快、省、聪明三项摆一张表，Gemma 4 31B 这一行三项全占：延迟最短、成本最低、能力分最高。对实时语音这个场景，它是这几个里最划算的选择。

模型首字延迟相对成本能力分
Gemma 4 31B
LiveKit Inference		192ms1×88
GPT-4.1 mini
OpenAI		802ms约 1.2×69
Gemini 2.5 Flash
Google		911ms约 1.4×64
GPT-4.1
OpenAI		1006ms约 6×73
怎么做到的

为什么同一个模型，在 LiveKit 上就是更快

同样是 Gemma 4 31B，放在不同平台上跑，快慢能差出好几倍。LiveKit 说这是他们特意选的一条路：路线和硬件都是奔着「快」去优化的。

先分清两个词：吞吐 和 延迟

吞吐，是一台服务器每秒能处理多少请求，越高越能摊薄成本；延迟，是单次回应的快慢，用户体验看的是这个。别家的推理平台大多更看重吞吐，一次多接点活、把成本压下去，代价是你的请求可能得排队、延迟变高。LiveKit 反着来，为了把延迟压到最低，宁可少接点活，因为语音助手一秒都等不起。

落到硬件上，LiveKit 用的是同机房托管的专属 GPU，模型和算力就近放在一起，少绕路。测下来，从你说完话、到听见第一句回复，LiveKit 只要 354 毫秒；走 OpenRouter 这种在多个供应商之间转发的传统路由，要 1876 毫秒。每秒能生成的字数也是一个天上一个地下：158 对 33。

LiveKit · 专属 GPU 就近部署
354ms
从你说完到听见第一句
158
每秒生成字数
OpenRouter · 测试时最优路由
1876ms
从你说完到听见第一句
33
每秒生成字数

要说明的是，OpenRouter 会在多个第三方供应商之间转发请求，延迟和可用性随路由变化，这里取的是测试时它能选到的最优 Gemma 4 31B 路由。

开发者怎么用

加一行代码就切过来

接入很省事。如果你已经在用 LiveKit Agents 搭语音 Agent，切到 Gemma 4 31B 只要加一行配置，把模型指过去，就直接用上了 LiveKit 的 GPU 算力。

把语音 Agent 指到 Gemma 4 31B（一行代码）
# Gemma 4 31B，跑在 LiveKit 自己的 GPU 上
from livekit.agents import AgentSession

session = AgentSession(
    llm="google/gemma-4-31b-it",
)

这些数字靠不靠谱，LiveKit 也交代了口径：页面上每一个数，都来自同一个开源的「酒店前台」参考 Agent（放在 GitHub 上），用同一套评测流程、同一个延迟定义，按真实语音通话的方式测出来。首字延迟是跨每个场景、每一轮对话逐次采样的；能力分用的是带任务式判分的同一批对话。对比对象是 GPT-4.1、GPT-4.1 mini 和 Gemini 2.5 Flash。这些都是 LiveKit 一方给的数据，最终以官方页面为准。

🧰 上手卡 · LiveKit Inference（Gemma 4 31B）
入口livekit.com/products/inference
价格约为 GPT-4.1 的六分之一（LiveKit Inference 挂牌价，3:1 输入输出混合价对比）
门槛已有 LiveKit Agents 项目，把模型指到 google/gemma-4-31b-it 即可，改一行代码
来源：LiveKit 产品页《Gemma 4 31B on LiveKit Inference》 https://livekit.com/products/inference/gemma-4 。页面延迟、成本、能力数据均为 LiveKit 用自家参考 Agent 在自家平台上的自测结果，未经第三方验证。本文为中文解读，供快速理解，细节与最新价格以官方页面为准。