社内チャットボットが古い規程を答える理由
木村 優志
Published: 8/14/2026, 1:20:00 AM
社内チャットボットを導入したあと、「出張費の上限が違う」「在宅勤務の日数が古い」「その制度はもう廃止されている」といった指摘が出ることがあります。利用者から見ると、AIの知識が古いように見えます。しかし、多くの場合、モデルが2023年の知識で止まっているわけではありません。
チャットボットは、社内文書を検索してから回答します。検索対象に古い規程が残っていれば、もっともらしい根拠として使い、古い内容を自信を持って答えます。本記事では、なぜこの失敗が起きるか、どこを確認すればよいかを整理します。
以前の記事では、RAGが答えられないとき、最初に疑うべきは検索であることを説明しました。今回は、答えられない問題ではなく、古い正答のように見える回答に焦点を当てます。
チャットボットは、規程の正しさを保証しない
社内チャットボットの多くは、次の流れで動きます。
質問 → 社内文書を検索 → 見つかった断片をLLMへ渡す → 回答LLMは、渡された文書が現行版かどうかを独自に判定できるわけではありません。「出張費精算」という質問に対して、2023年版の規程と2026年版の規程の両方が検索結果に入れば、どちらも根拠として使えます。古い文書の方が見出しが明確で、文章が長く、質問との意味的な近さが高いと、そちらが選ばれることもあります。
利用者は「AIが答えた」と受け取りますが、実際には「検索された資料を要約した」に近い動作です。資料の鮮度を管理していない限り、回答の鮮度も管理できません。
古い規程が残る、よくある経路
1. 正本以外のコピーが検索対象になっている
規程の改定後も、次のようなファイルが残ることがあります。
- 共有フォルダの
就業規則_最終版.pdf - メールに添付された旧版
- 部門Wikiに貼った抜粋
- Slackへ投稿した画像やPDF
- オンボーディング資料に転記した古い表
チャットボットの索引が、文書管理システムの正本だけでなく、これらのコピーも含んでいると、改定後も旧版が検索されます。ファイル名に「最終版」と書いてあっても、それが現行版である保証はありません。
2. 原本は更新されたが、検索インデックスが更新されていない
文書管理システム上では2026年版に差し替わっていても、チャットボット側の索引が前日、あるいは導入時のまま、ということがあります。追加は同期されても、更新や削除が反映されない構成も少なくありません。
この場合、利用者は「社内ポータルでは新しい規程なのに、チャットボットだけ古い」と感じます。原因はモデルではなく、原本と索引の同期です。
3. 有効期間や版数が、検索条件になっていない
各文書に更新日があっても、検索時に使っていなければ意味が薄くなります。同じテーマの文書が複数あるとき、新しい版を優先する、失効した版を除外する、対象組織や適用開始日で絞り込む、といった条件が必要です。
更新日だけで判断できないケースもあります。たとえば、来月から適用する改定案と、本日まで有効な現行規程が同時に存在する場合です。必要なのはファイルの更新日時ではなく、いつから・誰に・どの版が有効かです。
4. 下書きや改定案まで投入している
「来期からこう変わる予定」の資料や、レビュー中の改定案が索引に入ると、現行ルールと混ざります。チャットボットは、確定した規程と検討中の案を区別できません。下書き、コメント付きコピー、会議資料の抜粋は、公開用の知識ベースから外す必要があります。
5. 回答に出典と日付を出していない
古い回答が問題になるのは、利用者が検証できないときです。文書名、版数、更新日、該当見出しを示していれば、「これは2024年版だ」と気づけることがあります。出典のない自然な文章だけを返すと、誤りに気づくのが遅れます。
まず確認する3点
モデルを替える前に、失敗した質問について次を見ます。
- 検索結果に、どの版の規程が入っていたか
現行版だけか、旧版やコピーも含まれていたか。 - 原本の正本はどこか、いつ更新されたか
文書管理システム上の現行版と、索引上の文書が一致しているか。 - 回答は、どの断片を根拠にしているか
新しい版も検索されていたのに、古い断片を優先していないか。
この3点が分かると、「AIが古い」のか、「古い資料を渡している」のかを切り分けられます。後者であれば、LLMの性能比較より先に、投入対象と同期、版のフィルターを直します。
運用で止めるための最低限のルール
技術的な検索改善の前に、次を決めます。
- 投入してよいのは正本だけにする
共有フォルダのコピー、Slack添付、転記資料は対象外にする。 - 文書ごとに責任者と有効期間を持つ
誰が現行版を更新し、いつ失効させるかを明確にする。 - 更新と削除を、索引へ同じ優先度で反映する
追加同期だけでは不十分です。差し替えと削除の失敗を監視します。 - 失効した版は検索対象から外す
アーカイブとして残す場合も、通常の質問には出さない。 - 回答には出典を付ける
文書名、版または更新日、該当箇所を返し、必要なら原本へのリンクを示す。 - 改定直後の質問を、評価セットに入れる
「改定前の正しい答え」が残っていないかを、定期的に確認します。
社内チャットボットの品質は、モデルの賢さより、どの文書を現行の根拠として認めたかで決まります。
お客さまへ説明するときの言い方
「AIの学習データが古い」と説明すると、より新しいモデルへ替える話になりがちです。社内規程の誤りでは、次のように伝える方が正確です。
チャットボットは、社内に置いてある資料を探して答えています。
古い規程のコピーが残っていると、それを根拠に答えてしまいます。
まず、現行の正本だけを検索対象にし、改定したら索引も更新する必要があります。
この説明なら、情報システム部門だけでなく、規程の所管部門にも役割が見えます。所管部門が正本を更新し、システム側が索引と出典表示を維持する、という分担です。
まとめ
社内チャットボットが古い規程を答えるとき、原因はモデルの知識カットオフより、検索対象に残った旧版であることが多いです。コピー、未同期の索引、有効期間のない検索、下書きの混入、出典のない回答が重なると、利用者には「AIが古い」と見えます。
対策の起点は、正本・有効期間・索引同期・出典表示です。改定があった制度から評価セットを作り、チャットボットが現行版を根拠にしているかを確認すると、再発を見つけやすくなります。
