RAGは文書を「通読」しない ― チャンクの仕組み
RAGの内部では、規程や手順書は数百〜千文字程度の断片(チャンク)に分割されます。分割は多くの場合、見出しの境界で行われます。質問が来ると、関連するチャンクだけが検索で取り出され、AIはその断片だけを根拠に回答を組み立てます。
つまり「通読すれば分かる」文書は、チャンク化した瞬間に意味を失います。「上記の場合」と書かれた断片が単独で取り出されたとき、「上記」の参照先はもうそこにないからです。これからのナレッジ整備の基本原則は、断片だけ読んでも意味が立つ書き方に変わります。文書の構造が、そのまま検索品質になるのです。
自己診断は簡単です。文書から節を1つだけ切り出して、それだけを読んで意味が通るか。通らなければ、その文書はAIには読めていません。
AIが読みやすい文書の6原則 ― NGとOKの対比で
私たちは「AIが読みやすい文書」の要件を6つの原則に整理しています。➀見出しで構造化する(見た目だけ太字にしない)、➁1トピック1ブロック(「なお書き」で別の話を混ぜない)、➂代名詞・文脈依存を減らす、➃表は結合セルなしの1行1レコードにする、➄固有名詞・日付・条件を明示する、➅有効期限・対象範囲を書く、の6つです。
NG文書の典型は、こんな一文です。「なお、上記の場合は前述の基準に従い処理すること。細部は従来どおりとし、不明点は担当者まで。」― 人間なら前後を読んで補えますが、断片化すると「上記」「前述」の参照先が消え、「従来どおり」「最近改定した」は日付も条件も特定できません。これが「旅費最新版(2)_修正_final.xlsx」というファイル名のExcel方眼紙(セル結合でレイアウトを作った文書)に入っていれば、構造ごと壊滅します。
同じ内容をAI-readyに書き直すと、例えばこうなります。見出し「国内出張の宿泊費」の下に「対象: 正社員・契約社員(2026年度適用)」「宿泊費の上限は1泊12,000円とする(2025年4月改定)」(金額・日付は架空の例です)。自己完結し、日付と対象が明示され、見出しで構造化されている。この断片は単独で取り出されても回答の根拠になります。
先に手を打つべきは新規文書、既存資産は厳選して救出
既存文書の変換にはコストがかかりますが、これから生まれる文書を最初から整えるのはほぼゼロコストで、効果は永続します。表紙メタ情報(タイトル・オーナー部門・作成日・有効期限・機微度)と見出しスタイルを備えたテンプレートの配布、1〜2枚の文書作成ガイドライン、そして保存ルール(命名は「名称_v版_改定日」、原本はWordやMarkdownで作りPDFは配布用)。エンジニアがいなくても今日から始められる、最も費用対効果の高い施策です。
一方、既存資産は全部は変換しないのが鉄則です。利用価値の高いものだけを選び、形式別に対処します。
| 形式 | 問題 | 対処 |
|---|---|---|
| テキストPDF | 段組み・ヘッダフッタ・表がノイズ化 | 抽出結果を確認し、崩れる箇所は原本(Word等)から再出力 |
| スキャンPDF・画像 | 文字が画像でそのままでは読めない | OCRで文字化し、数値・固有名詞は人のスポット検証を必須に |
| Excel方眼紙 | セル結合・レイアウト依存で構造が壊滅 | 「読む文書」はWord/Markdownに書き直し、「データ」は1行1レコードの表に再構成 |
| チャットログ・メール | 断片的・文脈依存・私語混在 | そのまま取り込まず、FAQ化・手順書化の材料として扱う |
日本語には特有の落とし穴もあります。CSVのShift_JIS/UTF-8混在は取り込み事故の定番なので基盤側はUTF-8に統一する。丸数字や旧字体などの機種依存文字はOCR・抽出で化けやすいので検証の重点項目にする。日本語ファイル名は正規化差異(NFC/NFD)でシステム間の不一致を起こすため、基盤内の命名は正規化を統一する。地味ですが、入口で処理を決めておかないと後から全件やり直しになります。
書かれていない知は、変換では救えない
AIは書かれていないことは答えられません。属人化した業務知識は、変換ではなく新規に書き起こす必要があります。即効性が高いのはFAQ化です。問い合わせの多いテーマについて担当者に30〜60分インタビューし、1問1答のQ&A形式に書き起こす。Q&Aは1件ごとに自己完結するためチャンクとの相性が最も良く、RAGの回答品質を短期間で引き上げます。下書きはLLMに任せて速く作り、確定は必ず本人のレビューを通すこと。誤った形式知化は、属人化より危険です。着手は、退職・異動が近い担当者の領域からです。
「探せる」を支えるメタデータは最小セットで設計する。項目が多いほど付与されなくなり、付与されないメタデータは無いのと同じ。新規はテンプレートから自動抽出、既存はLLMの下書き+人の確認で回し、機微度・個人情報フラグだけは秘寄りに倒して人が確定する。
まとめ ― 今週から始める4つのこと
- チャンクテストをやってみる。主要な規程から節を1つ切り出し、単独で意味が通るか確認する。
- 新規文書に先に手を打つ。表紙メタ付きテンプレートと1〜2枚のガイドラインを配布し、保存・命名ルールを定める。
- 既存資産は厳選する。価値の高い文書だけを形式別に変換し、数値・固有名詞の検証基準を自社で持つ。
- 問い合わせ集中領域のFAQ化を始める。LLM下書き+担当者レビューで、書かれていない知を文書にする。
なお、整えた文書をAIに接続する前に、権限・機微データの統制設計を必ず通すこと。この論点は次回のコラムで扱います。