Microsoft Agent Lightning v1.0：出荷するのと同じハーネスでAIエージェントを訓練する
AIエージェントにはもう「身体」がある。訓練はそれを無視しがちだった
いまのAIエージェントは単なるチャット欄ではありません。ツール、メモリ、サンドボックス、そして目標を行動に分解する制御ループを担う ハーネス の中で動いています。
本当の仕事が起きるのもそこです。ファイルを開き、テストを走らせ、Webを検索し、サブエージェントに仕事を渡す。ところが長いあいだ、強化学習（RL）の訓練は「モデルだけがシステム」であるかのように扱ってきました。チームはトレーナ内部にエージェントループを作り直すか、出荷物とまるで違うものを訓練するか、のどちらかになりがちでした。
Microsoft Researchと共同研究者が公開した Agent Lightning v1.0 は、軽量なオープンソース枠組みです。発想はシンプル——デプロイするのと同じハーネスでモデルを訓練する。彼らはこれを harnessed agentic RL と呼びます。
技術レポート Agent Lightning v1.0: Towards Harnessed Agentic RL（arXiv:2608.17528）は、約6,000件の訓練例だけでコーディングエージェントが目を見張る結果を出した実例を含めて、この考え方を示しています。
Agent Lightning v1.0とは？
Agent Lightningは、既存のエージェントとRL訓練スタックのあいだのミドルウェアです。OpenHands、mini-SWE-agent、OpenClawをトレーナ内に書き直す必要はありません。モデル呼び出しをAgent Lightningの proxy に向けるだけです。ハーネスはいつもどおり動き、トレーナはリクエストとレスポンスを観察して、現場のループで起きたことからモデルを改善します。
v1.0は意図的に小さい——およそ 3,500行——で、ネイティブなKubernetes対応も備え、エージェントのrolloutを本物のJobとして実行できます。トレーナに無理矢理くっつけた玩具サンドボックスではありません。
本物のハーネス、ほぼゼロ改修
ツール、文脈ルール、制御フローはそのまま。変えるのはLLMエンドポイントをproxyへ——エージェント設計そのものではありません。
軽さを第一原理に
シンプルさが設計原則です。コンパクトなコードは理解・監査・拡張がしやすい。
本番クラスタ向け
デバッグはローカルで、スケールが必要ならKubernetes Jobsで——ループを別サンドボックス製品に外注しなくてよい。
どうつながるか
大まかには、3つのサービスが「エージェント世界」と「訓練世界」をつなぎます。
| 部品 | 役割 |
|---|---|
| API Gateway | モデル呼び出しをプロキシし、rollout・イベント・訓練トレースを保存 |
| Rollout Controller | エージェントの起動と監視（ローカルプロセスプールまたはKubernetes） |
| Customized Trainer | サンプルを組み立てポリシーを更新（verl / vLLM上） |
一方にハーネス付きエージェント、他方に推論・訓練エンジン。GatewayとControllerが橋渡しし、エージェントループをGPUトレーナに押し込める必要はありません。
図1：Heら “Agent Lightning v1.0: Towards Harnessed Agentic RL”（arXiv:2608.17528）。
「ハーネス付き」訓練が別ゲームである理由
従来のagentic RLでは、訓練エンジンが相互作用ループを持つことが多い。モデルはターンごとに伸びる一本のトークン履歴を見ます。
harnessed agentic RLでは ハーネス がそのループを持ちます。プロンプトを組み立て、ツールを呼び、文脈を管理し、サブエージェントを生むこともあります。トレーナが見るのはAPI風のリクエスト–レスポンス列だけ——製品がすでに使っている境界と同じです。
帳簿の細かい話に聞こえますが、そうではありません。1タスクが多数の訓練サンプルに膨らむとき、信用割り当て、ターン結合、損失正規化のやり方が変わります。論文は落とし穴を丁寧に整理し、Agent Lightning v1.0はその正しさを確かめる実用的な試験場でもあります。
図2：Heら “Agent Lightning v1.0: Towards Harnessed Agentic RL”（arXiv:2608.17528）。
作り手にとっての意味
訓練と本番の溝を埋める
ユーザーが触るのと同じ足場の中でモデルを改善する——簡略版の代役ではない。
好きなエージェントスタックを残す
本物のコーディング／汎用ハーネスに対応。トレーナ専用への強制書き換えは不要。
Rolloutを独立にスケール
エージェント実行とGPU訓練は別リソースに置け、別リズムで伸ばせる。
再現可能なコーディングエージェントRL
データ清掃、reward hacking対策、訓練スクリプトを公開——グラフ一枚ではない。
見出し結果：控えめな計算資源でもコーディングエージェントが伸びる
著者は指示追従、検索、コーディングの各エージェントを評価しています。ソフトウェアエージェント向けRLツールが薄いと感じているチームには、コーディングの話が特に役立ちます。
オープンな SWE-smith データセットと Qwen3.5-9B を使い、Agent Lightningによる強化学習でSWE-bench Verifiedは 41.8%から56.4% へ——絶対で 14.6ポイント——約 6,000 件の訓練例と、著者が控えめと呼ぶ計算資源だけで到達しました。
| 項目 | 内容 |
|---|---|
| モデル | Qwen3.5-9B |
| ベンチマーク | SWE-bench Verified |
| RL前 | 41.8% |
| RL後 | 56.4% |
| 絶対改善 | +14.6ポイント |
| 訓練規模 | 約6K例、控えめな計算資源 |
| 枠組み規模 | 約3,500行 |
「閉じたスタックに無限GPUを投げる」話ではありません。本物のハーネス挙動から学ぶエージェントへ、研究室と製品チームがたどれる再現可能な道です。
注目すべき人
エージェント製品チーム
すでにコーディング／研究エージェントを出荷しているなら、依存するハーネスを捨てずにモデルを上げる方法です。
RL／プラットフォームエンジニア
訓練バックエンドを守るなら、サンプル結合・advantage・損失正規化の議論は実務的で、空論ではありません。
オープンソースの作り手
コード、ドキュメント、訓練スクリプトはオープンに公開——スライドではなくrepoとdocsから。
次に見る場所
- 技術レポート：arXiv:2608.17528
- GitHub：microsoft/agent-lightning
- ドキュメント：Agent Lightning v1.0 docs
- Microsoft Researchによる初期の解説：Agent Lightning blog
Agent Lightning v1.0は、あらゆるエージェントを「一晩で賢く」しません。もっと静かで大切なことをします。本番と同じハーネスの中でモデルに練習させる——だから訓練が、本物の利用に見え始めます。
