なぜ基盤は腐るのか ― 4つの経路と、たったひとつの根
整備したはずの基盤が使われなくなる経路は、ほぼ決まっています。第一に更新されない。規程改定や組織変更が反映されず、AIは古い方を答え続けます。第二に捨てられない。失効文書や旧版が現役の場所に残り、正しい文書と競合します。検索は「よく書けた古い文書」を拾いがちです。第三に二重管理。基盤の外 ― 個人フォルダやメール、新しいSaaS ― に「本当の最新版」が生まれ、基盤が形骸化します。第四に新しい知が載らない。新規領域の文書が入るフローがなく、カバレッジが痩せていきます。
4つの根は共通して、更新が誰の仕事でもないこと。だから運用設計の中心は検索技術のチューニングではなく、「誰が・いつ・何をきっかけに更新するか」を仕組みにすることです。
文書ライフサイクルと、3つの更新トリガー
まず文書のライフサイクルを定義します。作成 → 承認・格納 → 現役 → 見直し → 改定/失効 → アーカイブ。ここでの原則は、旧版・失効文書を「削除」ではなく「検索対象からの除外+アーカイブ保持」にすること。監査には応えられる状態を残しつつ、現役フォルダには常に1つの正だけを保ちます。
次に、見直しを人の記憶に頼らず、3つのトリガーで駆動します。➀有効期限ベース: 期限の接近をオーナーに自動通知し、「延長/改定/失効」の3択を1クリックで選ばせる。➁イベントベース: 規程改定や組織変更など業務イベントの決裁フローの最終ステップに「基盤への反映」を組み込む。➂フィードバックベース: 利用者の「この回答は古い」という低評価報告を、オーナーへの更新依頼に直結させる。利用者こそ最強の鮮度センサーです。
どのトリガーも「無応答なら出さない」に倒すのが設計の肝。期限通知に一定期間応答がなければ自動で検索対象から外し、「古いまま出続ける」を既定値にしない。放置の結果を安全側に落とします。
あわせて二重管理の芽も摘みます。「正はここ」という単一の置き場(Single Source of Truth)を宣言し、メール添付や個人フォルダでの版の流通を止める。新しい保存先が生まれたら、取り込み経路の追加か置き場の移転かを必ず決める。放置が二重管理の始まりです。
再インデックスは「差分を基本、失効は最速」
検索インデックスの更新にもルールが要ります。基本は差分更新。追加・改定・失効を検知して該当部分だけを更新し、全量の再インデックスはチャンク戦略や埋め込みモデルを変えたときに計画的に行います。ただし優先度には非対称性があります。追加の反映が半日遅れても実害は小さい一方、失効文書が検索に残り続けるのは事故です。除外だけは即時反映の経路を持ちましょう。再インデックス後には、定点測定セットと権限フィルタの回帰テストを必ず流します。
品質は「定点」で測る ― 5つの指標と月次30分レビュー
検索品質の劣化は静かに進むため、気づくには測定の定点が要ります。私たちは次の5指標の定期実行を推奨しています。
| 指標 | 測り方 | 気づけること |
|---|---|---|
| 検索的中率 | 代表質問セット(30〜100問)で正しい文書が上位に来るか | チャンク・埋め込み・文書構成の劣化 |
| 「分からない」率 | 回答不能・低確信の割合の推移 | カバレッジの穴、新領域の未整備 |
| 古い版ヒット率 | アーカイブ対象が検索結果に混入していないか | 失効反映の漏れ |
| 利用者フィードバック | 高評価/低評価の比率、「古い」報告の件数 | 実利用での品質と鮮度 |
| カバレッジ | 問い合わせ実績のうち基盤で答えられた割合 | 次に整備すべき領域 |
数字そのものより「先月からの変化」を読むのがコツです。例えばモデルケースでは、検索的中率が88%から79%へ下がった月があり、原因は組織改編による部署名の変更。用語辞書を更新して翌月に回復しました。「分からない」率12%やカバレッジ64%も、絶対値の良し悪しでなく変化の兆候として読む ― そのための定点です。
レビューは重くしないこと。月次30分で十分です。数値確認(5分)→ シグナルの深掘り(10分)→ 更新滞留と二重管理の芽の確認(10分)→ 次月アクションの決定(5分)。会議のために資料を作らず、ダッシュボードを直接見ながら回します。
体制は3役の最小構成で。基盤オーナー(全体の責任・優先順位・予算)、文書オーナー(内容と更新の責任。人ではなく役職に紐づけ、異動で消えないようにする)、運用担当(再インデックス・測定の実務)。実務は外部委託できても、測定結果を読む役は社内に残すのが原則です。
成熟度を「未整備 → 可視化 → 整備済み → 運用定着 → 自己成長」の5段階で捉えると、目指すべき最初のゴールは「運用定着」です。整備が済んだだけの基盤は、運用が立ち上がらなければ1年で腐ります。「整備プロジェクト」ではなく「運用の立ち上げ」として、接続したその日から更新フローと測定を回し始めてください。
まとめ ― 鮮度を保つ5原則
- 腐る根は「更新が誰の仕事でもない」こと。運用設計の中心は技術ではなく、フローと責任の設計。
- ライフサイクルとトリガーを仕組みにする。削除ではなく検索除外+アーカイブ。期限・イベント・フィードバックの3トリガーで更新を駆動する。
- 失効の反映は最速で。差分再インデックスを基本に、失効は即時除外。事後は回帰チェックを流す。
- 測定の定点を持つ。5指標を定期実行し、先月からの変化を読む。
- 役割は役職に紐づけ、月次30分の軽いレビューで回す。最初から「運用定着」を狙って設計する。