Baidu の Unlimited OCR：一冊の本を一気に読み切るAI

June 25, 202614 min read

はじめに：OCRが大きな進化を遂げた

50ページのレポートをスキャンしようとして、途中でソフトウェアが動かなくなった経験はありませんか？あなただけではありません。何十年もの間、画像内の文字を実際に読み取れるテキストに変換する技術である光学文字認識（OCR）には、あまり知られていない欠点がありました。長い文書になると機能しなくなるのです。

しかし、それが今変わりました。中国のテック大手Baidu（百度）は、Unlimited OCRという画期的なAIモデルをリリースしました。その名の通り、事実上長さの制限なしに文書を読み取ることができ、それをすべて一度の処理で行います。ページごとの分割処理はなく、メモリのクラッシュもありません。表紙から裏表紙まで、スムーズかつ継続的に読み進めるだけです。

問題点：なぜ長い文書はOCRを破綻させるのか

Unlimited OCRがなぜそれほど重要なのかを理解するために、通常のOCRが長い文書で苦戦する理由について見ていきましょう。

現代のほとんどのOCRシステムは、Transformerと呼ばれるAIアーキテクチャの一種の上に構築されています。これらのモデルは、新しい単語を生成するたびに、それまでに生成したすべての内容を「振り返る」という仕組みで動作します。短い文書であれば問題ありません。しかし長い文書ではどうなるでしょうか？状況は急速に悪化します。

文書が長くなるにつれて、以下のようなことが起こります。

  • メモリ使用量が増え続ける — モデルはますます多くの内容を記憶する必要がある
  • 速度が遅くなる — 新しい単語を生成するたびに、より多くの計算が必要になる
  • GPU要件が急増する — ますます強力な（そして高価な）ハードウェアが必要になる
  • ページごとの回避策 — ほとんどのシステムは単純に諦め、一度に1ページずつ処理し、各ページの後にメモリをリセットする

Baiduの公式研究論文はこう述べています。「既存のモデルは、単一のフォワードパスで10ページすら解析できない。」その代わり、すべてのモデルが「forループ」的なアプローチに頼っています——1ページ目を処理し、それを忘れ、2ページ目を処理し、それを忘れる……というように。それは機能しますが、真の解決策ではなく、エンジニアリング上の場当たり的な対処に過ぎません。

着眼点：人間はそのようには読まない

ここでBaiduの研究者たちは巧みな視点に着目しました。彼らはシンプルな問いを立てました。人間は長い文書をどのように読み、書き写すのだろうか？

考えてみてください。本を手作業で書き写しているとき、次の単語を書く前に、すでに書いたすべての単語をもう一度読み直すことはしません。代わりに、あなたは以下のことを行います。

  • 元の文書を目の前に置いておく
  • たった今書いた最後の数語をちらっと見る
  • 次の単語を書く

それだけです。古い内容は自然にワーキングメモリから消えていきます。47ページ目にいるとき、1ページ目の内容を覚えておく必要はありません。

この人間らしい振る舞いが、Unlimited OCRの核心的なイノベーションの発想源となりました。

解決策：参照スライディングウィンドウ注意機構（R-SWA）

Unlimited OCRの背後にある魔法は、Reference Sliding Window Attention（参照スライディングウィンドウ注意機構）、略してR-SWAと呼ばれる新しい注意機構です。

「注意（アテンション）」とは、モデルが関連情報に焦点を当てる能力だと考えてください。従来のOCRモデルは完全な注意機構を持っています——それまでに生成したすべての内容を見ているのです。R-SWAはよりスマートです。

R-SWAニューラルネットワークアーキテクチャ — プレースホルダー図

図：参照スライディングウィンドウ注意機構（R-SWA）——デコーダは圧縮された文書参照トークンへの完全なアクセスを保持しながら、最近生成されたテキストの固定サイズのスライディングウィンドウ（約128トークン）のみに注意を向け、長文書のデコード中もKVキャッシュのサイズを一定に保ちます。

モデルが見ているもの従来のOCRUnlimited OCR（R-SWA）
元の文書画像あり — 常にあり — 常に
最近生成されたテキストありあり（直近約128トークン）
これまでに生成されたすべてのテキストあり — 無限に増加なし — 固定のまま

R-SWAは、増え続けるメモリの代わりに、小さく固定されたサイズの最近の出力ウィンドウ（デフォルトで128トークン）を保持し、常に元の文書画像への完全なアクセスを維持します。重要な点は、視覚/参照トークン（文書画像）が再帰的な状態更新を一度も受けないということです——これにより、古いスライディングウィンドウ手法で問題となっていた、画像が時間とともに「ぼやける」あるいは劣化することが防止されます。

KVキャッシュ問題の解決

AIの「KVキャッシュ」問題について耳にしたことがあるなら、Unlimited OCRが本当に光る部分がここにあります。KVキャッシュは本質的に、モデルの短期記憶ストレージです。従来のTransformerでは、生成されるトークンごとに増大していきます。

従来のOCR：

出力が増える → KVキャッシュが大きくなる → GPUメモリが増える → 推論が遅くなる

Unlimited OCR：

出力が増える → KVキャッシュのサイズは変わらない → メモリが安定 → 速度が一定

デコード処理全体を通じてKVキャッシュを一定サイズに保つことで、Unlimited OCRは40ページの文書を2ページの文書と同じくらい効率的に処理できます。

DeepSeek OCRの上に構築：巨人の肩の上に立つ

Unlimited OCRはゼロから構築されたわけではありません。BaiduはDeepSeek OCRを基盤とし、2つの重要なアーキテクチャ上の改良を加えました。

DeepEncoder（DeepSeek OCRから継承）

このコンポーネントは、文書画像を非常に少数の視覚トークンに圧縮します。例えば、1024×1024の画像はわずか256個の視覚トークンに圧縮されます。この積極的な圧縮によって、モデルはサイズを爆発的に増やすことなく大きな文書を処理できます。

MoEデコーダ（R-SWAでアップグレード）

デコーダはMixture-of-Experts（MoE）アーキテクチャを使用しており、以下の特徴があります。

  • 総パラメータ数30億
  • 推論時にアクティブなパラメータはわずか5億（軽量かつ高速に保つ）
  • すべての注意層がR-SWAに置き換えられている

結果は？前身のモデルよりも効率的かつ高精度なモデルです。

結果：より優れ、より速い

AI研究では通常起こらないことがここで起きました。効率の向上が精度の向上を伴ったのです。

  • OmniDocBench v1.5（人気の文書解析ベンチマーク）で93%のスコアを達成
  • DeepSeek OCRのベースラインから+6%の改善
  • DeepSeek OCRと比較して長文書での処理速度が約35%向上
  • 2ページ、5ページ、10ページ、20ページ、40ページ以上の文書を単一のフォワードパスで正常に解析

この改善はすべての文書タイプに及びます。

  • 平文テキスト認識
  • 数式抽出
  • 表の理解
  • 読み順の予測

OCRを超えて重要な理由

この研究の最も興奮させる部分は、おそらくR-SWAがOCR専用ではないという点でしょう。Baiduのチームは、これが以下に適用可能な汎用の注意機構であると明確に述べています。

  • 自動音声認識（ASR） — 長い音声録音の文字起こし
  • 長文書のエンドツーエンド翻訳
  • 参照ベースの入力に対する長距離解析を伴うあらゆるタスク

これは、長文コンテンツを扱う次世代AIモデルの基盤的な構成要素となる可能性があります。

Unlimited OCRを試す方法

このモデルは完全にオープンソースであり、今すぐ利用可能です。

Hugging Faceのtransformersライブラリを使えば、わずか数行のPythonコードで実行できます。

結論：文書AIの新時代

BaiduのUnlimited OCRは、単に優れたOCRツールというだけではありません。それは、AIモデルが長距離タスクをどのように扱うべきかについての再考です——無制限のコンテキストウィンドウを力任せに拡張するのではなく、人間のワーキングメモリが実際にどのように機能するかを模倣することによってです。

大量の文書アーカイブを扱う企業、契約書を処理する法律事務所、書籍をデジタル化する研究者、あるいはOCRツールのページ数制限にこれまでイライラしたことがある人にとって——これは本物のゲームチェンジャーです。

一度の処理で文書全体を解析する時代がやってきました。

参考文献

長文コンテンツ向けの文書AIを拡張する準備はできていますか？

OCR、文書解析パイプライン、大規模アーカイブ向けの本番RAGの導入にお困りですか？私たちのチームが、概念実証から企業向け文書AIまでご案内します。

その他のブログ

プロプライエタリLLM APIから推論トレースを盗む：重大なセキュリティ脆弱性が露呈

プロプライエタリLLM APIから推論トレースを盗む：重大なセキュリティ脆弱性が露呈

August 13, 202610 min read

Anthropic、OpenAI、GoogleなどのプロプライエタリLLM APIから隠された推論トレースを抽出できることが示され、知的財産とプライバシーにリスクをもたらします。

LLM SecurityAI VulnerabilityReasoning TracesAPI SecurityAnthropic ClaudeOpenAI GPT-4Google AIAI Privacy
Meta の Muse Glimmer：ローカルエージェントワークフローを革新するオープンウェイト AI モデル

Meta の Muse Glimmer：ローカルエージェントワークフローを革新するオープンウェイト AI モデル

August 10, 20268 min read

Meta が Muse Glimmer を発表——300億パラメータの Apache 2.0 オープンウェイトモデル。常時稼働のローカルエージェント向けに最適化され、NVIDIA 単一 GPU で約毎秒 20,000 トークン。

MetaMuse GlimmerOpen WeightLocal AIApache 2.0NVIDIAAMDAI Agents