研究解読 · 小互解読

Liquid AI が Antidoom を発表：たった1つのトークンを変えるだけで推論モデルの「デッドループ」問題を修正、OSS公開

デッドループの起点となるたった1つのトークンだけを微調整し、2つのモデルのデッドループ率を1%前後まで抑え込んだ。
要点
  • Liquid AI は2026年7月7日、Antidoom を発表した。Final Token Preference Optimization（FTPO）という手法で、AI推論モデルの「デッドループ」——モデルが同じ一文（たとえば「Wait, let me reconsider...」）を延々と繰り返し、コンテキストウィンドウを使い切ってしまう現象——を専門に修正する。
  • LFM2.5-2.6B の初期チェックポイントでは、難易度の高い数学・コード問題でのデッドループ率が10.2%から1.4%に低下。Qwen3.5-4B では、貪欲サンプリング下で22.9%から1%に低下した。
  • この手法は「デッドループを引き起こすたった1つのトークン」だけをピンポイントで訓練し、モデルがその位置でより自然な代替語を選びやすくする一方、それ以外の出力分布にはほとんど手を加えない。
  • デッドループは3つのメカニズムが重なって生じる——過剰学習された高頻度語（the、So、Wait など）がモデルの迷いの局面で「無難な選択肢」になってしまうこと、直前の繰り返しがループの確率を1に近づけていくこと、低温の貪欲サンプリングにループからの脱出経路がないこと。
  • 訓練・検出・生成の全コードは GitHub で公開済み（Liquid4All/antidoom）。README には完全なハイパーパラメータ選定ガイドが付属し、NVIDIA/CUDA と AMD Instinct MI シリーズ（ROCm）の両方に対応する。
⚑立場の明示：本稿が解読するのは Liquid AI 公式ブログとオープンソースプロジェクトである。文中のデッドループ率や評価スコアの向上といった数値はすべてベンダー自己申告であり、現時点で第三者による独立した再現検証はない。
1デッドループとは何か

AIも壊れたレコードのように詰まる

Liquid AI は2026年7月7日、AI推論モデルの「デッドループ」を専門に修正する訓練手法 Antidoom を発表し、GitHub で全コードを公開した。

デッドループ（doom loop）は推論モデルによくある事故のパターンだ。モデルはまず短い一文、たとえば「Wait, let me reconsider...」を吐き出し、その後この一文を延々と繰り返し、コンテキストウィンドウを埋め尽くすまで止まらない。結局答えは最後まで出てこない。小さな推論モデルほど、そして長い思考連鎖や難問に取り組むときほど、この症状は起きやすい。

reasoning trace · 難問推論中

この問題の2番目のステップの導出をもう一度確認しよう。

Wait, let me reconsider...

Wait, let me reconsider...

Wait, let me reconsider...

Wait, let me reconsider...

Wait, let me recons

（コンテキストウィンドウが埋め尽くされ、答えは最後まで出てこなかった）

数学の問題やコードで詰まると、モデルはこうして同じ一文を繰り返し唱え続け、止まらなくなる。貴重なコンテキストはすべてその場での空回りに費やされる。Antidoom が直そうとしているのはまさにこの症状だ。
📊公式データ：LFM2.5-2.6B の初期チェックポイントでは、難問でのデッドループ率が 10.2%から1.4% に低下。Qwen3.5-4B では貪欲サンプリング下で 22.9%から1% に低下。Liquid AI はこの手法でデッドループ率を最大 9割 カットできるとしている。
2既存の対処法

従来の方法はなぜ対症療法にとどまるのか

Antidoom 以前、デッドループへの対処は主に2つの方向があった。それぞれに弱点がある。

1つ目は推論時に repetition_penalty を加える方法で、すでに出現した語の確率を一時的に下げる。これは絆創膏のようなもので、再訓練は不要だが、良し悪しの区別なく押さえつけてしまうため、正常な出力の質まで一緒に引きずり下げかねない。2つ目は強化学習（RL）で、ピンポイントでループを直せる一方、報酬信号を丁寧に設計する必要があり、コストの高いオンラインのロールアウトサンプリングも回さなければならない。

手法やり方コスト副作用
repetition_penalty推論時に重複語を一時的に減点低、訓練不要正常な出力の質を引きずり下げる可能性
強化学習（RL）報酬信号でモデルを再訓練高、報酬設計＋オンラインサンプリングが必要報酬設計を誤ると狙いから外れる
Antidoomデッドループの起点となる1トークンのみ訓練低、LoRA＋単一GPUで数時間それ以外の出力にはほぼ影響なし
3核心のアイデア

1トークンだけを変え、他はすべてそのまま

Antidoom は修正範囲を極限まで絞り込んだ。

まずデッドループが始まるその1つのトークンを特定し、その位置でのみモデルがより自然な代替語を選ぶよう訓練する。語彙表の他の部分の確率分布はほぼそのまま保たれる。モデル全体の出力の癖には手をつけず、ループを引き起こす継ぎ目にだけ正確なパッチを当てる。

核心のイノベーション

これは外科手術のようなピンポイント修正だ。モデル全体を再調整するのは、答案用紙全体を採点し直すようなものだが、Antidoom は生徒が繰り返し間違えているその1問の横に印をつけるだけで、正解している他の問題には一切手をつけない。変更が小さいほど、モデルが元々持っていた能力へのダメージも小さくて済む。