通義が音声モデル Qwen-Audio-3.0-TTS を公開、参考音声ひとつで 16 言語と 20 の方言を話す
- ある人の声をクローンして別の言語で読ませると、声色が別人になってしまう。参考音声に少しでもノイズや反響が入ると、品質はさらに崩れます。
- 通義実験室が Qwen-Audio-3.0-TTS を公開。Flash と Plus の 2 グレードで、Flash の初回応答は 300 ミリ秒級。Alibaba Cloud Model Studio(百炼)の API 経由で利用します。
- 同じ参考音声のまま 16 言語を読ませても声色がぶれません。CV3-Eval では話者類似度が 16 言語すべてで首位、Plus は平均 82.75 点(100 点満点で、100 に近いほど本人に近い)。
- 読み間違いの少なさは完勝ではありません。平均文字誤り率は 3.87(Flash)と 3.96(Plus)。16 言語のうち 10 言語で最小、残り 6 言語は他社に譲っています。
- テキストに
[angry]や[giggles]といったタグを直接書くだけで感情や擬音を制御できます。公式ドキュメントで公開されているのは 31 個。ただし今世代は重みを公開しないため、ローカル実行には今年 1 月にオープンソース化された Qwen3-TTS を使うしかありません。
通義が 16 言語を話す音声モデルを公開
通義実験室は 7 月 20 日、音声合成モデル Qwen-Audio-3.0-TTS を公開しました。
まずは実際の音から。以下は同じ声で言語をまたいだ例です。参考音声は中国語 1 文だけ。それを使って英語、日本語、韓国語を読ませています。読みの正確さは一旦置いて、同じ人が話しているかどうかに注目してください。
対応する 16 言語のうち 7 言語は今世代で新たに加わったもの。東南アジアと中東に集中しています。
新規のこれらは従来のオープンソース版では未対応でした。東南アジア市場向けのプロダクトにとって、ようやく選択肢が生まれた形です。
言語を変えても声が変わらない——この難しさは、声色と発音の癖が絡み合っている点にあります。モデルがある人の声を学ぶとき、その人の母語のなまりまで一緒に取り込んでしまう。別の言語に切り替えれば発音の組み立て方を作り直すことになり、声色もつられて漂います。
中国語の方言 20 地域を話せる
この項目は中国語圏の読者なら真偽を判断しやすいはずです。どの一文が「らしくない」かは耳でわかります。方言の参考音声を与え、同じ声で別の方言テキストを読ませています。
リリースページが挙げる方言 20 地域はこの範囲をカバーします。
山東 · 青島
寧夏
湖南
寧波 · 江西
貴州 · 雲南
ノイズ混じりでもクローンできる
現実に手に入る参考音声が録音スタジオ品質であることは、まずありません。オフィスでスマホ録音すればエアコンやキーボードの音が入り、会議室なら部屋の反響が声にかぶさります。従来はどちらもクローン品質を崩す要因でした。
これまでの対処は前処理を 1 段はさむ方式でした。まずノイズ除去で参考音声をきれいにし、それからクローン処理へ回す。問題は、ノイズ除去アルゴリズムがノイズを消すと同時に声色の特徴まで削ってしまうこと。きれいにするほど声が磨り減り、クローン結果はかえって本人らしくなくなります。
ノイズ入り参考音声 → ノイズ除去モジュールで洗浄 → クローン。ノイズ除去は独立した工程で、後段が声色を守りたいことを知りません。ノイズを消すときに声色の細部まで一緒に削ります。
学習の段階からノイズ・残響入りの参考音声を与え、音声強調をクローン処理そのものに組み込みました。呼び出し時にノイズ除去を別途オンにする必要はなく、モデル自身が残響とノイズを抑えつつ声色を保ちます。
次の組で違いが聴き取れます。参考音声は明らかなノイズが乗った中国語で、出力 3 本は本モデルと比較対象モデルのものです。
リリースページが検証している劣化条件は 3 種類。ノイズ、残響、そして聴き取りにくい参考音声(電話帯域で高域が切られたようなもの)です。
読み方を普通の言葉で指示できる
話し方の制御は、これまで音響パラメータをいじる作業でした。基本周波数、話速係数、エネルギー包絡。今世代は制御が 2 層になり、どちらもパラメータに触れずに済みます。
ほしい効果を 1 文で書く
指示はかなり自由に書けますし、構造化して書くこともできます。リリースページのサンプルには 请用温柔、缓慢的语速,像讲睡前故事一样朗读。(優しくゆっくり、寝る前のお話のように読んで)のような日常的な言い回しもあれば、角色:女性早间电台音乐节目主持。场景:节目开场,气氛活泼但克制。风格:清亮、有亲和力、节奏轻盈。语速:偏快。(役柄:朝のラジオ音楽番組の女性 DJ/シーン:番組冒頭、活発だが抑制的/スタイル:明るく親しみやすく軽快/話速:やや速め)のような箇条書きの設定もあります。{"speed": "fast", "volume": "loud", "rhythm": "urgent"} のような JSON 記法も受け付けます。
テキストにタグを挿し、特定箇所を制御する
指示が決めるのは段落全体の基調、タグが決めるのは具体的な位置です。タグは 2 種類。制御タグは感情やスタイルを設定し、出現した位置から次の制御タグが現れるまで、あるいは文が長すぎて自動分割されるまで効き続けます。擬音タグはその位置に音の効果を 1 つ挿入するもので、前後の感情には影響しません。
[excited] 哇!快看外面的雪!积雪已经有十几厘米厚了,我们赶紧下楼去堆雪人、打雪仗吧!Alibaba Cloud の API ドキュメントは完全なタグ一覧を公開しています。制御タグ 24 個 + 擬音タグ 7 個、合わせて 31 個。リリースページには今世代で細粒度タグを 86 個追加したとありますが、2 つの数字は合いません。差分はドキュメントに記載がなく、リリースページにも説明はありません。
| 制御タグ(以降の話し方を決める) | 意味 |
|---|---|
[sad] [crying] | 悲しみ / 泣き声 |
[angry] [shouting] | 怒り / 叫び |
[deep and loud shouting] | 低く大きな叫び |
[excited] [amazed] | 興奮 / 驚嘆 |
[panicked] [trembling] | 動転 / 震え |
[sarcastic] [scornful] | 皮肉 / 侮蔑 |
[curious] [serious] | 好奇 / 真面目 |
[bored] [tired] | 退屈 / 疲労 |
[empathetic] [reluctantly] | 共感 / しぶしぶ |
[mischievously] | いたずらっぽく |
[whispers] [asmr] | ささやき / ASMR の小声 |
[singing] | 歌うように |
[like dracula] | 吸血鬼風の低く不気味な声 |
[very slowly] [very fast] | とても遅い / とても速い話速 |
| 擬音タグ(その位置に音を 1 つ挿入) | 意味 |
|---|---|
[gasp] | 息をのむ |
[sighing] | ため息 |
[clears throat] | 咳払い |
[giggles] | くすくす笑い |
[laughing] | 大笑い |
[cough] | 咳 |
[snorts] | 鼻で笑う |
[excited]What a beautiful day today![laughing]Let's go out and have fun together!
[serious]Please pay attention to the safety precautions.[excited]Alright, let's get started now!
注意すべき制限が 1 つ。タグ機能は単方向ストリーミングモードでのみ使えます。単方向とは、テキストを一度に送り、音声をストリーミングで返す方式のこと。入力しながら音を出す双方向のリアルタイム対話では、タグは使えません。
速さと安定を両立させた方法
速さを支える部品は前世代から引き継いだもの。今世代が新しく作ったのは学習の流れです。2 つに分けて見ていきます。
1 秒を 12.5 個に切る
モデルが音声を生成する工程は 2 段階。まず音声を細かい離散単位に切り分け、それを 1 個ずつ生成して、最後に音波へ戻します。切る密度をフレームレートと呼びます。フレームレートが高いほど 1 秒あたりに生成する個数が増え、生成は遅くなる。下げればステップ数が減り、当然速くなります。今世代は 12.5 Hz、1 秒を 12.5 個に切ります。
録音をコマ撮りアニメにするようなもの。1 秒を 25 枚で描くか、12 枚で描くか。枚数が少なければ描くのは速いけれど、1 枚あたりに詰める情報を増やさないと動きが飛びます。フレームレートを下げる難しさはここ。個数が減ると内容や声色が抜け落ちやすいのです。
1 枚に多くを詰める具体的なやり方はこうです。1 個ごとに 16 層の符号を重ね、深さで密度を稼ぐ。層数でフレームレート低下による細部の欠落を受け止めます。この切り分け器は今回登場したものではなく、今年 1 月の Qwen3-TTS ですでに使われていました。しかも当時はモデルと一緒にオープンソース化されており、技術報告書での初回応答時間は 97 ミリ秒です。
5 段階で損失を取り戻す
フレームレートを下げて稼いだ速度は、学習の流れで内容の正確さと声色の安定を取り戻さなければ成立しません。今世代が新たに作ったのがこの流れです。まず 2 つの部品を区別します。LM は文字をもとにどの音声単位を出すかを決める担当、FM はその単位を聴ける音波へ戻す担当。片方は楽譜を見てどの音を弾くか決める役、もう片方は実際に音を鳴らす役です。
5 段階の筋書きは「まず個別に鍛え、つないで一緒に鍛え、最後にそれぞれの弱点を戻って直す」。前半 2 段階が土台作り、後半 3 段階が弱点別の補習です。LM の弱点は読み間違いと話し方の硬さ、FM の弱点はノイズ入り参考音声で崩れることと声色の再現不足です。
この 5 段階のほか、リリースページは付随する能力を 2 つ挙げています。1 つは再現可能な話者ファインチューニングの手順で、モデルを指定の声に適応させるもの。もう 1 つはボコーダー超解像で、48 kHz サンプリングレートの音声を出力します。リリースノートでは 48 kHz 出力は近日提供と表示。16 言語をカバーするプリセット音色ライブラリは今回公開済みの内容に含まれ、クローンせずに音色を選んですぐ使えます。
ベンチマークで勝った相手、負けた項目
評価は CV3-Eval 上で 16 言語それぞれ実施。相手は MiniMax-Speech-2.8-HD-API、ElevenLabs-v3-API、DotsTTS-SOAR(サンプリング 10 ステップ)、VoxCPM2、そして自社が今年 1 月にオープンソース化した Qwen3-TTS-1.7B-Base です。レーダーチャート 2 枚、外側にあるほど良好です。
差をつけたのは声色の再現で、16 項目を総取り。読みの正確さについては、リリースページは Flash と Plus の 2 グレード合計で 16 言語中 10 言語の文字誤り率が最小、残り 6 言語は 1 位ではないとしています。注意したいのは、上のチャートに描かれた Qwen-Audio-3.0-TTS の線は 1 本だけで、2 グレードに分かれていないこと。したがってチャート上で 10 対 6 を数えることはできず、両者は対応しません。
第三者アリーナの順位
上の 2 枚は公開元自身が測ったものです。第三者評価サイトの Artificial Analysis にもランキングがあり、こちらは人間による盲聴の 2 者比較を Elo スコアに換算した順位。7 月 14 日時点の「プロバイダー提供音色」部門では、Qwen-Audio-3.0-TTS-Plus が 1 位でした。
この 1 位は重みを見極める必要があります。2 位 Simba 3.2 の 1234 点に対し 1236 点、わずか 2 点差。誤差範囲は重なり、ランキング側も両者の順位レンジを 1-2 と表示しています。以下は Google の Gemini 3.1 Flash TTS(1214)、Cartesia の Sonic 3.5(1207)と続きます。ElevenLabs の Eleven v3 は 12 位で 1174 点です。
同じランキングには、リリースページが触れていないデータが 2 項目あります。生成速度と価格です。
| モデル | Elo | 生成速度 | 価格(100 万文字あたり) |
|---|---|---|---|
| Qwen-Audio-3.0-TTS-Plus | 1236 | 16 文字/秒 | $27.59 |
| Simba 3.2(SpeechifyAI) | 1234 | 30.2 文字/秒 | $10.00 |
| Gemini 3.1 Flash TTS(Google) | 1214 | 27 文字/秒 | $18.31 |
| Sonic 3.5(Cartesia) | 1207 | 120 文字/秒 | $39.00 |
生成速度の欄では最下位。16 文字/秒で、Simba は約 2 倍、Sonic 3.5 は 7.5 倍です。価格は Simba の倍以上、Gemini より 5 割高く、Sonic より 3 割安い。つまりこの 1 位は品質点で勝ち取ったもので、速度も価格も優位ではありません。
いま使うには
呼び出しは Alibaba Cloud Model Studio 経由。モデル名は qwen-audio-3.0-tts-flash と qwen-audio-3.0-tts-plus、プロトコルは WebSocket です。公式は Python、Java、Go、C#、PHP、Node.js の 6 言語のサンプルコードを用意しています。
1 つ誤解しやすい点があります。今年 1 月、通義は Qwen3-TTS 一式をオープンソース化し、重みは HuggingFace からダウンロードしてローカル実行できました。しかし今回の Qwen-Audio-3.0-TTS はオープンソース化されておらず、HuggingFace でこの名前のモデルは見つかりません。2 世代の関係はこうです。
| Qwen3-TTS | Qwen-Audio-3.0-TTS | |
|---|---|---|
| 公開時期 | 2026 年 1 月 | 2026 年 7 月 |
| 入手方法 | HuggingFace で重みをダウンロード | API のみ |
| ライセンス | Apache 2.0 | クラウドサービス規約に準拠 |
| 規模 | 0.6B / 1.7B の 2 サイズ | Flash / Plus の 2 グレード |
| 言語 | 10 種 | 16 種、加えて中国語方言 20 地域 |
| 向く人 | ローカル配備したい、モデルを改造したい、データを外に出したくない | すぐ使える品質がほしい、方言と多言語をカバーしたい、クラウド呼び出しを許容できる |
ローカルで動かしたいなら、いまダウンロードできるのは 1 月の一式のままです。その 1.7B-CustomVoice 版は HuggingFace でダウンロード数が 200 万回を超え、コミュニティが GGUF や MLX など各種の量子化版を作っています。
記事前半のデモでは触れていない手順が 1 つあります。合成リクエストに参考音声を直接同梱することはできません。自分の声を使うには、まず音声複製機能で音声を独自音色として登録し、音色 ID を取得。合成時に voice にその ID を指定します。直接呼び出す場合、voice にはシステムのプリセット音色名が入ります。
voice パラメータに音色 ID、model に対応するモデル名を設定します。音声クローン:言語を変えると別人 → 同じ参考音声で 16 言語
通義実験室が公開した Qwen-Audio-3.0-TTS。何をしたか、速さの差はどれくらいか、どこで勝てていないか。図つきで 1 枚に。
↓ 1 枚で読了 · 動く図が 1 つあります
この種のモデルの仕事は音声合成です。文字を渡すと読み上げてくれる。さらに誰かが話す短い録音(参考音声)を渡せば、その人の声で読み上げます。これが音声クローンです。もう成熟して見えますが、2 か所ずっと不調でした。
7 月 20 日公開の Qwen-Audio-3.0-TTS は 2 グレード。Flash は速さ重視で、リクエストから最初の音まで約 300 ミリ秒。Plus は音質重視です。参考音声 1 つで 16 言語を読めます(うち 7 言語が新規、東南アジアと中東に集中)。加えて中国語方言 20 地域をカバーし、広東語や上海語から甘粛方言、青島方言まで。ノイズ入りの参考音声もノイズ除去なしで済みます。学習時から汚れた録音で鍛えており、ノイズ抑制と声色保持を同時にこなします。
話し方の制御方法も変わりました。以前は音響パラメータをいじる必要がありましたが、いまはタグをテキストに直接書き込み、書いた位置から効きます。
意味のわからない数値をひとそろい調整し、直すたびに試聴
普通の言葉の指示で段落全体、角括弧タグで特定箇所
Alibaba Cloud のドキュメントが公開しているタグは 31 個(話し方 24 個、音の挿入 7 個)。一方リリースページは 86 個追加としており、差分の説明はありません。これらの利点は、十分速く、十分安定して読めることが前提。その 2 つを支えるのが次の仕掛けです。
小互が自分の中国語の参考音声を録り、日本語で読ませたいとします。モデルはまず音声を細かく切り分け、1 個ずつ生成し、最後に音波を合成します。1 秒を何個に切るかが生成ステップ数を決め、速さの総元栓になります。
「1 秒あたり何文字」を具体的な作業に置き換えます。3000 文字の原稿を読ませたら、各社どれだけ待つか。
彼の声じゃ
ない
- × 言語を変えると声色が別人に漂う
- × 参考音声にノイズや反響が入ると崩れる
20 方言
Qwen-Audio-3.0-TTS 登場
参考音声で
日本語も韓国語も
16 言語すべてで首位
Hz
12.5 個だけ
読み間違いを直す → ノイズ耐性 →
声色の質感
文字/秒
最速の相手は
7.5 倍
Alibaba Cloud の API のみ。自分の
マシンで動かすなら 1 月の Qwen3-TTS。