LM StudioがBionicを発表——オープンソースモデル専用のCodex、モデルをローカルで動かすかクラウドに上げるかは自分で決める
- LM StudioがBionicを発表。オープンソースモデル向けのAIエージェントで、既存のLM Studioとは別の独立した新アプリです。
- 実際に手を動かして作業をこなせます。Workプロジェクトではリサーチ・執筆・文書処理を、Codeプロジェクトではローカルのコードベース内でのファイル検索・コード修正・コマンド実行を担当します。
- 目玉機能は、モデルをどこで動かすか自分で選べること——ローカル実行(無料、データは端末外に出ない)、クラウドで最先端のオープンソースモデルを実行(デフォルトでゼロデータ保持)、あるいはLM Linkで同一LAN内の別のPCのモデルを借りる、の3通りです。
- リアルタイムのローカル音声書き起こしに対応。発話からテキスト化まで全て端末内で完結し、音声はアップロードされません。
- ローカルとLM Linkのモデルは無料で、請求先の登録も不要。クラウドモデルを使った時だけ利用量に応じてcreditsが差し引かれます。MacとWindows向けにプレビュー版が本日リリースされました。
LM Studioが、代わりに作業をこなしてくれるアシスタントを出した
ローカル大規模言語モデルツールのLM Studioが、オープンソースモデル専用に作られたAIエージェント「Bionic」を発表しました。
ここ数年、自分のPCでオープンソースの大規模言語モデルを動かしたい人が真っ先にインストールするのは、たいていLM Studioでした。モデルのダウンロードやローカル推論といった面倒な作業を、使いやすいデスクトップアプリにまとめてくれるからです。ただ、これまではチャット画面とモデル管理機能を足したようなツールに近く、モデルと対話はできても、何か一つの作業を最初から最後までやり切ってもらうのは難しいものでした。
AIに本当に作業を任せたければ、以前は二者択一だった
実際に手を動かしてくれるAIアシスタントを求めると、これまでは避けられないトレードオフがありました。
例えば、大量のリサーチノートを読ませて比較サマリーを作らせたり、プロジェクトのコードからタイムアウトのバグを見つけて直接修正させたいとします。ファイルを実際に読ませ、コードを実際に修正させるには、AIにそれらを渡す必要があります。現在最も使い勝手のいいアシスタントの多くは、処理の際に資料をメーカーのクラウドに送って一巡させます。仕上がりは見事でも、あなたの契約書やコード、録音データは、他人のサーバーを一度通過することになります。
もう一つの道は、自分でローカルにオープンソースモデルを動かすこと。プライバシーは守れますが、こうしたツールの多くはチャットレベルにとどまり、質問すれば答えてくれるものの、実際にファイルを操作させたり、一連のコマンドを実行させたり、結果を保存させたりするのは、たいてい力不足でした。
重い作業もこなせて仕上がりも良いですが、ファイルやコード、音声はメーカーのクラウドにアップロードしないと処理されません。
データは自分のPC内に留まりプライバシーは良好ですが、多くはチャットしかできず、一連のまとまった作業はこなせません。
Bionicはこの両方を同時に手に入れようとしています。実際に手を動かして作業をこなせる上に、データを端末外に出すかどうかを自分で決められるのです。
2種類のプロジェクト——文書用とコード用
Bionicは作業を2種類のプロジェクトに分けており、やりたいことに応じてどちらかを選んで始めます。
- 文書・スライド・PDFの作成と編集
- ファイルやフォルダをドラッグして資料として投入
- 生成されたファイルは全てプロジェクト内にまとめられ、自動保存
- ファイル・検索・Git・コマンドラインツールを標準搭載
- リポジトリ全体を横断し、一度に複数ファイルを修正可能
- ローカルでコマンドを実行でき、変更を反映する前にdiffを提示
1つのプロジェクト内で複数の独立したsession(セッション)を開き、それぞれ別々のタスクをこなせます。プロジェクトをまたいで同時に複数走らせ、いくつもの作業を並行して進めることも可能です。生成・変更されたファイルはプロジェクトのファイル領域にまとめられ、同一プロジェクト内の全sessionがそれらを共有します。Codeプロジェクトではコマンドの実行やファイルの修正を行いますが、変更を確定させる前にdiffとコマンド出力を提示し、残すかどうかはユーザーが判断します。
モデルをどこで動かすかは、自分で決める
ここがBionicと大半のAIアシスタントとの最大の違いです。同じタスクでも、使用するモデルをどこで動かすか自分で決められます。
Bionicのsessionには3つの実行先を選べ、プライバシーと費用もこの3つの経路によって分かれます。
3つの経路のうち2つは完全無料で、データも自分の管理下から出ません。ローカルモデルは自分のPCの計算力を使い、LM Linkは同一LAN内の別のマシンの計算力を借ります。最強の最先端オープンソースモデルを使って一番重い作業をこなす時だけ、クラウドという有料の経路を選ぶことになりますが、この経路もデフォルトでゼロデータ保持です。プライバシーと費用は、ひと目で分かり、その場で切り替えられる選択肢へと分解されています。
ここでまず、この仕組みに出てくる2つの新しい用語を説明しておきます。
ZDRはZero Data Retentionの略称です。クラウドサーバーに送った内容は、モデルが処理し終えた瞬間に破棄され、サーバー側にデータのコピーは残りません。クラウド推論サーバーは全て米国に設置されており、このポリシーは全ラインでデフォルトで有効になっています。
LM Linkは、Bionicが同一LAN内の別のPCにあるモデルを借りて使える仕組みです。例えば自宅のデスクトップに大型のグラフィックカードが挿さっていて、ノートPCの計算力が足りない場合、ノートPCをデスクトップに接続してそのモデルで計算させることができます。モデルもデータも自分の端末同士でやり取りされ、外に出ることはありません。この経路もローカルと同様に無料で、creditsを消費しません。
話しかけても、文字は自分のPCから出ない
タイピングだけでなく、Bionicは話しかけることもできます。ローカルのリアルタイム音声書き起こし機能を搭載しており、自然に話しかけるとその内容がリアルタイムでテキスト化されます。
ポイントは処理される場所です。音声とオーディオデータは終始端末のローカルで書き起こされ、自分のPCから出ることはありません。これはタイピングでローカルモデルを使うのと同じ考え方で、最もプライベートな部分のデータを自分の手元に残しています。
基盤はLM Studio、MacとWindowsで今すぐインストール可能
自分のPCで各種オープンソースモデルをスムーズに動かせるのは、Bionicの土台にある、長く磨き込まれてきた推論技術のおかげです。
はっきりさせておきたいのは、Bionicは既存のLM Studioとは別の、独立した新アプリだという点です。より低レベルの高度な設定を行いたい場合は、既存のLM StudioをBionicと併用し続けることができます。
料金はかかるのか
ローカルモデルとLM Linkのリモートモデルはどちらも無料で、creditsも消費せず、事前の請求先登録も不要です。creditsが差し引かれるのは、sessionがクラウドモデルを使った時だけで、消費量は選んだモデルと処理した文字数によって決まります。アカウントはPersonal(個人)とOrganization(チーム)の2種類に分かれます。現時点でタスクごとの固定単価は公表されておらず、利用量ページで累計消費量を確認できるのみです。
AIが代わりに作業をこなす時代、「資料は必ずクラウドに渡す」から「ローカルかクラウドか、自分で決める」へ
LM StudioがBionicという名の作業アシスタントを出しました。文書もコードも編集でき、ローカル実行は無料でデータは外に出ません。MacとWindows向けにプレビュー版が本日公開。図解付きで1ページにまとめました。
↓ 1ページで完結 · 動く図あり
自分のPCでオープンソースの大規模言語モデルを動かしたい人が真っ先にインストールするのは、たいていLM Studioでした。モデルのダウンロードやローカル演算といった面倒な作業を、使いやすいデスクトップソフトにまとめてくれるからです。
ただ、これまではチャット画面とモデル管理機能を足したようなものに近く、モデルとは対話できても、何か一つの作業を最初から最後までやり切ってもらうのは難しいものでした。
✘ まとまった実作業はこなせない——ファイルを自分で探す、コードを直す、コマンドを実行する、結果を保存する、といったことは苦手
「モデルを動かす」ことは得意でも、基本的にはチャットどまり。実際に一つの作業をまるごと終わらせようとすると、たいてい力不足でした。
BionicはLM Studioとは別の独立した新ソフトで、「チャットツール」から実際に手を動かせるアシスタントへと引き上げました。そして解決しようとしているのは、これまで避けられなかったトレードオフです。
これまでAIに作業を任せようとすると、基本的に二者択一でした。クラウドアシスタントを使えば仕上がりは見事ですが、ファイルやコード、録音は先にメーカーのサーバーに送る必要があります。ローカルツールを使えばプライバシーは守れますが、大半はチャットにしか付き合ってくれず、実作業はこなせません。
資料をメーカーのクラウドに送って作業をこなしてもらうか、ローカルツールでプライバシーを守りつつチャットだけで我慢するか。二者択一でした。
両方とも手に入ります。実際に作業をこなせる上に、データを外に出すかどうかは自分で決められます。作業は2種類に分かれ、Workプロジェクトが文書・リサーチを、Codeプロジェクトがローカルのコードベースを担当します。
→ Bionicがリポジトリを横断 · 複数ファイルを修正 · コマンドを実行。変更後はまずdiff(変更対照)を提示し、残すかどうかはユーザーが判断
話しかければ、ローカルでリアルタイムに音声をテキスト化することもでき、音声は終始PCの外に出ません。では「作業もこなせて、データも自分で管理できる」を、どうやって両立させているのか。カギは次の図にあります。
Bionicが大半のAIアシスタントと最も違う点。同じタスクでも、モデルをどこで動かすかは自分で選べ、プライバシーと費用もこの3つの経路によって分かれます。
普通の人は「3種類のモデルを動かせる」と言われてもピンと来ませんが、「お金がかかるかどうか」には敏感です。Bionicの計算はシンプルで、日常の作業は無料、最強モデルを使う重い作業の時だけ課金されます。
- × クラウドに任せる:仕上がりは良いが、ファイルが全部送信される
- × ローカルに留める:プライバシーは守れるが、チャットにしか付き合えない
データを出すかも自分で決められる
データは外に出ない
処理後は削除・有料
データは自分の手元に
無料、請求先登録も不要