Memories.aiがO-MARCを発表——動画と音声を同時処理するAIを、速く・省メモリに・より正確に動かす方法
- 映像を見ながら音声も聞き取れるAIは、現在の動画理解の最前線にある。だが1秒の動画だけで大量のトークンを消費してしまう。複数カメラを連続稼働させるコストの高さが、この種のモデルが今なお実験室にとどまっている主な理由だ。
- Memories.aiのO-MARCがやっているのは「賢く捨てる」ことだ。質問に関係する重要な画面フレームと音声アンカーだけを残し、残りはノイズとして捨てる。これにより推論は34.6%高速化(1.53倍)し、メモリは34.7%削減される。
- 圧縮は通常、精度を犠牲にして速度を得るものだが、この手法は「同じモデルにオープンブック方式とクローズドブック方式で1回ずつ解かせる」蒸留学習によって精度を取り戻す。4つのテストの平均スコアは45.8で、圧縮なしの44.1を上回った。
- 圧縮コンポーネントのOMACは学習不要で、すでに運用中のモデルの前段に組み込むだけで使える。より高い精度を得たい場合は、続けて強化学習を1ラウンド行う必要がある。
- あわせて公開されたUGC-AVQAは、動画1000本、設問4816問を収録。候補問題はすべて事前に音声トラックを削除して解かせ、それでもAIが正解できたものは一律除外。残ったのは、聞こえていなければ解けない問題だけだ。
Memories.aiは7月8日、O-MARCと呼ばれる研究成果を公開した。あわせて論文は5月26日にすでにarXivに掲載されている。これが解決するのは、非常に具体的な課題だ——動画と音声を同時処理するAIを、どうすれば速く・省リソースに・より正確に動かせるか。
現在の視聴覚AIが行き詰まる2つの点
一、高コストで遅すぎる——計算資源がまるで足りない
モデルは動画を直接「見て」いるわけではない。動画がモデルに入力される前に、一連のトークンへと分解される。各フレームは多数のブロックに切り分けられ、1ブロックが1トークンになる。音声も時間軸に沿って一連のトークンへ切り分けられる。そこにユーザーが尋ねた質問文が加わる。この3つを1本の長いシーケンスにつなぎ合わせ、モデルが最初から最後まで読み通す。
シーケンスが長いほど、VRAM(GPUメモリ)と処理時間のコストは高くなる。しかも画面と音声はどちらも特にトークンを消費するモダリティで、両者を重ねると、シーケンス長は単純に倍増する。
概念図(本サイト作成)。濃いオレンジのブロックが画面トークン、薄いブロックが音声トークン、濃いグレーがテキストです。32フレームの短い動画でも数千トークンに達します。
論文中の実測値では、1秒に1フレームのみ、1本あたり最大32フレームに抑えた条件でも、長尺動画データセットのWorldSenseで1本(64フレーム構成)を処理するのに3.81秒かかり、VRAMを24.2GB消費する。1枚のGPUで1系統回すだけで、ほぼ限界に達してしまう。
この2つの数値にカメラの台数と稼働時間を掛け合わせれば、監視センターや工場のラインのように24時間体制で複数系統の映像を回し続ける現場において、コストが受け入れがたいほど高くなる理由がわかる。
二、見せかけの精度——現行のテストではまるで測れない
画面と音声を同時に理解できると謳う2つの動画解析システムを評価するとしよう。既存の音声・映像テストセットで走らせた結果、Aが70点、Bが60点だったとする。ここで疑問が生じる。Aのその70点のうち、どれだけが「見るだけ」で得られたものなのか。
大半の音声・映像テストセットはこの疑問に答えられない。設問のかなりの部分は画面だけを見ても正解できてしまう。交通事故現場、人が転倒する場面、機械から煙が上がる場面などは、音を聞かなくても判別できる。音声をまったく使わないモデルでも良い成績を出せてしまうため、「音声と映像の統合理解」という能力は、評価の次元では曖昧なまま放置されてきた。
英語がわかる人を採用したいのに、出題した試験は全問選択式で、4つの選択肢のうち3つが明らかに不自然な文になっているようなものだ。英語がわからない人でも消去法で80点は取れてしまう。この試験では、本当に測りたい能力を測ることはできない。
こうしたシステムの導入を検討する側にとっては、どのベンダーが本当に音声信号を統合しているのか、どのベンダーが音声を単なる飾りにしているだけなのかを見分ける確実な手段がないということを意味する。業界には「本当に聞き取れているか」を検証できる試験問題が欠けていた。
Memories.aiの共同創業者であるShawn ShenとBen Zhouは、いずれもMetaの出身だ。2人は以前、MetaのRay-Banスマートグラスに搭載されたAIシステムを専門に担当していたが、開発を進めるうちに避けて通れない問題に気づいた。眼鏡はずっと録画し続けているのに、録画したものをユーザーがまったく呼び出せない——AIは「見た」はずなのに「覚えていない」のだ。この課題こそが、2人が2024年に退職して起業し、Memories.aiを創業した動機だった。動画を検索・想起可能なものへと変える研究に特化した会社であり、O-MARCはその延長線上にある最新の一歩だ。
OMACはどうやって残すべき画面と音声を選び出すのか
まず公式が公開したこのアニメーションを見てほしい。37秒で3つのことを説明している。