RAGは杖だ——「パラメトリック知識注入」がそれを投げ捨てた
清華大学の研究チームがAIの最も頑固な問題の一つをたった今解決した——そしてその答えは誰もが予想していたよりもエレガントだった。
あなたが使ってきたすべてのAIチャットボットは、実は「ズル」をしていた
AI業界が大々的に宣伝しないことがある。ほとんどのAIアシスタントは、実際には物事を「知って」いない。本当の意味では。
現代のAIチャットボットに最近の出来事や社内文書、専門的なトピックについて質問すると、AIは深い理解の井戸から答えを引き出しているわけではない。古い訓練データから推測する——時には自信満々に間違えることもある——か、答える前に慌てて何かを検索するかのどちらかだ。この2番目の手法には名前がある：RAG（検索拡張生成、Retrieval-Augmented Generation）。過去数年間、これがAIの知識問題に対する業界の万能絆創膏だった。
RAGは持ち込み可の試験のようなものだ。AIは勉強しない。ただノートを持ち込むことが許されているだけだ。質問に答える前に検索を実行し、関連文書をいくつか取得し、その場で読み、見つけた内容を要約しようとする。毎回。すべての問い合わせについて。
機能はする。しかしそれは杖だ。そして清華大学の8人の研究者からなるチーム——Baoqing Yue、Weihang Su、Qingyao Ai、Yichen Tang、Changyue Wang、Jiacheng Kang、Jingtao Zhan、Yiqun Liu——が、その杖を投げ捨てる何かを作り上げた。
その「杖」は何が問題なのか？
解決策に入る前に、RAGがなぜ不十分なのかを正直に見ておこう。
遅い。 すべての問い合わせが、AIが考え始める前に検索プロセスを発動させる。答えを得る前に検索エンジンを待たなければならない。
浅い。 AIは読んでいるだけで、学んでいない。取得した資料への深い理解を持たない——一度も見たことのないノートを急いで目を通し、うまくいくことを期待しているだけだ。
脆い。 間違った文書が取得されれば、間違った答えが生成される。ゴミを入れればゴミが出てくる——それも検索速度で。
規模が大きくなるとコストが跳ね上がる。 何百万件もの問い合わせに対して長い取得文書を処理することは、莫大な計算コストの積み重ねになる。
明らかな代替案——実際にAIに新しい知識を再訓練する——はより良く聞こえるが、実際にはしばしばより悪い結果になる。大型モデルの再訓練には数週間かかり、計算費用は莫大で、破滅的忘却のリスクがある：モデルは新しい情報を吸収する過程で、すでに知っていたことを失い始める。会社の方針が変わるたびに、最優秀の社員を大学に送り返すようなものだ。
そのため、この分野は居心地の悪い中間地帯に留まり続けてきた。一方にはRAG——更新は速いが浅い。もう一方には再訓練——深いが、遅く、高価で、リスクがある。
DMoEによる パラメトリック知識注入は、その袋小路からの出口だ。
核心となる発想：知識をプラグイン・モジュールにする
DMoEは**Decoupled Mixture-of-Experts（デカップルド・混合専門家モデル）**の略称だ。名前は技術的に聞こえるが、コンセプトは驚くほどシンプルだ。
図2：密なモデル、従来型MoE、そしてDMoEを並べて比較。標準的なMoEはフィードフォワード層を、モデルに組み込まれた結合型のルーター・エキスパートのスタックに置き換える。DMoEはルーターとエキスパートの両方を凍結された基盤モデルから切り離す——推論時には知識注入に必要なエキスパートだけを呼び出し、モデルが既に知っていることに触れずに知識を適応的に更新する。
あなたのAIを、非常に熟練したシェフだと想像してほしい。何年もの料理訓練が本能に刻み込まれている——それが基盤モデルだ。今、あなたはこのシェフに四川料理、フランスの製菓、ヴィーガン料理もマスターしてもらいたい。
再訓練の方法： シェフを6ヶ月間料理学校に戻す。高価で、遅く、その過程で元々の技術の一部を忘れてしまうかもしれない。
RAGの方法： 料理をするたびにシェフにレシピ本を手渡す。彼はレシピに従うことはできるが、本当の四川料理シェフではない。ただの速読者だ。
DMoEの方法： シェフに3つの短い、集中した強化トレーニングを与える——料理ごとに1つ——そして、それぞれを別々の、独立したスキルセットとして内面化させる。四川料理が注文されれば、四川の専門知識が起動する。フランスのデザートが必要なら、製菓の知識が発動する。シェフのコアスキルは決して変わらない。新しい専門知識は単に隣に追加されるだけだ。
これがパラメトリック知識注入だ。それぞれのエキスパートモジュールは、小さく軽量な訓練済み知識の断片——特定の文書、トピック、データセットから構築される——であり、主要なAIモデルの外側に存在するが、呼び出されるとそのパラメータに本当に吸収される。カンニングペーパーから読むのではない。実際に「知る」のだ。
DMoEを特別にする3つのこと
コアAIは決して触れられない
これが最大の見出しだ。DMoEを通じて新しい知識を追加するとき、基盤モデルは完全に凍結される。再訓練は不要。忘却のリスクなし。ダウンタイムなし。6桁の計算費用もなし。
各エキスパートモジュールは、LoRAと呼ばれる技術を使って構築された小さな訓練済みアダプターであり、特定の知識のチャンクを符号化する。最新の医学研究を追加したい？1つの小さなモジュールを訓練する。会社の内部方針を更新したい？そのモジュールを1つ入れ替える。他のすべてはそのままだ。知識の追加は、今やアプリをインストールするのと同じくらい簡単になった。
AIは助けが必要なタイミングを知っている
DMoEは、生成するすべての単語に対して盲目的にエキスパートモジュールを起動するわけではない。それでは目的が損なわれる。代わりに、リアルタイムで——トークンごとに——自分自身の確信度を監視する。
前方の混雑を感知した瞬間に自動的にリアルタイムの交通データに切り替えるが、それ以外はほとんど自分の地図を信頼するGPSのようなものだと考えてほしい。AIは通常どおり答えを生成する——そして不確実な領域に入ったことを検知した時にだけ、エキスパートモジュールに手を伸ばす。
この不確実性の技術的な指標はトークン不確実性と呼ばれ、本質的にはAIが次の単語について持つ確率分布のエントロピーだ：
この不確実性スコアが閾値τを超えると、ルーターが発動する。利用可能なすべてのエキスパートモジュールに対して高速なキーワード検索を実行し、最も関連性の高いものを選んで呼び込む。確信度が高いときは、AIは単独で動作する。クリーンで、効率的で、賢い。
一つの巧妙な工夫が超高速を保つ
これはチームが優雅に解決しなければならなかった問題だ。AIモデルはKVキャッシュと呼ばれる速度メカニズムを使う——すでに処理した内容の記憶であり、回答の途中で再計算しなくて済むようにするものだ。AIの思考プロセスの複数の地点にエキスパートモジュールを取り付けると、このキャッシュを乱してしまい、速度の利点を完全に失う。
DMoEの解決策：すべてのエキスパート知識をAIの処理パイプラインの最後の層だけに取り付ける。その最後のステップより前のすべては、キャッシュされたまま、変更されずに保たれる。エキスパート知識は最後にちょうど重ねられる——すでに草稿が書かれた文書を、すべての段落を最初から書き直すのではなく、専門家が最終レビューするような形だ。
結果：ほぼ標準的な推論速度での、深いパラメータレベルの知識統合。
数字は嘘をつかない
チームはDMoEを4つの厳格な知識ベンチマーク——HotpotQA、ComplexWebQuestions、Quasar-T、StrategyQA——で、2つの実世界のAIモデル（Llama-3.2-1B-InstructとQwen2.5-1.5B-Instruct）を基盤として用いてテストした。
| 測定項目 | DMoEの結果 |
|---|---|
| 回答精度 vs. 基盤AI | 4つのベンチマークすべてで向上 |
| 速度 vs. 最良のRAG競合（FLARE） | 約3倍高速 |
| GPUメモリ vs. 従来型MoEバックボーン | 7～8GB vs. 26GB |
| 回答あたりの時間 vs. 従来型MoE | 2～4秒 vs. 20秒以上 |
| 元の知識を忘れたか？ | 劣化はゼロ検出 |
賢く。速く。安く。安全に。すべて同時に。
これが現実世界で解き放つもの
医療
ある病院が1つの基盤AIモデルを導入する。心臓内科、腫瘍内科、救急医療といった各部門が、それぞれのエキスパートモジュールを持つ。1つの専門分野の臨床ガイドラインを更新する？そのモジュールを1つ入れ替えるだけ。システムの残りは完全に影響を受けない。
企業
あなたの会社のAIアシスタントは、社内方針、製品仕様、顧客履歴をモジュール化された知識パックとして保持する。新四半期、新しい価格表？1つのモジュール更新だけ。ITプロジェクトは不要。再訓練予算も不要。待ち時間もない。
ニュースと金融
メディア企業やトレーディング会社は毎日新しい知識モジュールを配信する——継続的な再訓練のコストや遅延なしに、AIに現在の出来事について本物の認識を与える。
教育
AIチューターは科目と学年ごとにカリキュラム固有のモジュールを読み込み、各生徒の質問に関連するものだけを起動する。個別化され、深く、効率的——すべて同じ基盤モデルから。
それでは、RAGは本当に終わったのか？
完全にではない——そして研究者たちもそう主張しているわけではない。
本当に巨大で予測不能な、絶えず変化するコーパス——オープンウェブのような——を横断して検索する必要がある場合、RAGはまだ意味を持つ。そのような広範な検索には、検索エンジンが依然として正しいツールだ。
しかし、AIに単に調べさせるのではなく本当に知ってもらいたい、構造化された、特定領域の、または独自の知識については——DMoEが根本的に優れた答えだ。それは、図書館のカードを持つAIと、実際に本を読んだAIとの違いだ。
RAGは常に回避策だった。パラメトリック知識注入こそが本当の解決策だ。
まだ取り組み中の課題
チームは未解決の問題について正直だ。現在のルーティングシステムはキーワードマッチング（BM25）を使用している——速くて実用的だが、質問の完全な意味を常に捉えられるわけではない。将来のバージョンでは、ルーティングにより賢いセマンティック検索を使用できるかもしれない。非常に大規模なエキスパートライブラリ——数千のモジュールになる可能性がある——を管理するには、新しい組織化ツールが必要になる。そして単層への取り付けはスピードには優れているが、多層のエキスパート統合は将来さらに豊かな知識の深さを解き放つ可能性がある。
結論
AIは常に、生まれた時点で知識の有効期限が刻印されている。どのモデルも、訓練の締め切りまでのすべてを知っている——そしてその後は何も確実には知らない。
RAGはAIに検索エンジンを持たせることでこれを修正しようとした。それは役に立った。しかし、それは常に杖であり——業界の誰もがそれを知っていた。
DMoEはその杖を投げ捨てる。新しい知識は軽量なモジュールにパッケージ化され、必要に応じて差し込まれ、パラメータレベルで本当に吸収される——基盤モデルに触れることなく、検索パイプラインを実行することなく、そして数ヶ月の再訓練に費やすこともなく。
清華大学のチームは、シンプルに説明すると出来過ぎに聞こえるものを作り上げた。しかしベンチマークは本物であり、アーキテクチャは公開されており、結果が物語っている。パラメトリック知識注入は、もはや研究上の夢物語ではない。それは実際に動くシステムであり——そしてRAGをとても、とても疲れて見せてしまった。
出典
- Yue, B., Su, W., Ai, Q., Tang, Y., Wang, C., Kang, J., Zhan, J., & Liu, Y. (2026). Decoupled Mixture-of-Experts for Parametric Knowledge Injection. arXiv:2606.14243. https://arxiv.org/abs/2606.14243
- arXiv完全版論文HTML。https://arxiv.org/html/2606.14243
- The Moonlight — 文献レビュー。https://www.themoonlight.io/en/review/decoupled-mixture-of-experts-for-parametric-knowledge-injection
