CCCMKホールディングス TECH LABの Tech Blog

TECH LABのエンジニアが技術情報を発信しています

ブログタイトル

AI時代のRAG開発で改めて痛感する「ドキュメント管理」の壁

はじめに

こんにちは。テックラボの井上です。

現在、AI開発の活発化は業種・企業規模を問わず見られる現象ですが、弊社テックラボでも様々なAI関連プロジェクトが進行しています。そして、これらのプロジェクトを推進する中で、私たちはある共通の、かつ本質的な課題に直面しています。それは、「ドキュメント管理」の重要性です。

🤖 AI開発の「前処理」としてのドキュメントの存在

機械学習やデータ分析の世界では、データの前処理に多くの工数が割かれます。これは、RAG(Retrieval-Augmented Generation)のようなAIアプリケーション開発においても同様です。

RAGの精度向上というと、モデルのチューニングや埋め込み(Embedding)技術に目が行きがちです。しかし、それ以前に、AIが参照すべき「ドキュメントの存在と状態」こそが、成否を分ける大前提となります。

RAGの対象となるドキュメントは多岐にわたります。マニュアル、提案書、要件定義書、顧客との対話履歴など、高品質な回答を生成するために、多種多様なナレッジを取り込む必要があります。

問題は、「必要なドキュメントがそもそも手元にあるか、そして容易にアクセスできる状態にあるか」という、技術のさらに手前の部分にあります。ドキュメントが不在だったり、無秩序に散財していたりすると、それを集約するだけで開発者のモチベーションは大きく削がれてしまいます。

AI時代だからこそ、土台となるドキュメント管理の重要性は、以前にも増して高まっていると痛感しています。

💬 チャットツールの普及がもたらした「仕様の蒸発」

個人的な見解も含まれますが、このドキュメント管理の難しさは、コロナ禍で加速したTeamsをはじめとするチャットツールの利用爆増が深く関わっていると考えられます。(※これは全社的な話ではなく、弊社テックラボ内での課題として捉えています。)

以前は、共有されたドキュメントはフォルダに分類・格納し、重要な決定事項は議事録として残すプロセスが定着していました。しかし、現在では以下のような課題が顕在化しています。

  • ドキュメントの拡散: Teamsのグループチャットや個人チャット内でドキュメントが共有され、本来格納されるべき共有フォルダ内で整理されずに保存されてしまう。
  • 仕様の蒸発: チャットメッセージ内でのやり取りを通じて仕様が合意され、公式な「仕様書」が存在しない、または作成されないままプロジェクトが進行してしまう。
  • 決定プロセスの不透明化: 会議体を経ずにチャットメッセージ内で重要な決定が下され、決定に至るまでのプロセスや背景が、メッセージを辿らなければ追跡できなくなっている。

つまり、ナレッジの断片化・属人化が急速に進み、AIが学習すべき高品質な構造化データ(ドキュメント)の生成が難しくなっているのです。

💡 技術的解決への期待と、現時点での組織的な対応

この「チャット内に散在するナレッジ」をAI開発に活用するには、以下のソリューションが理想的です。

  1. 決定事項の自動ドキュメント化: Teamsメッセージから、重要な決定プロセスや合意事項を抽出し、ドキュメントとして構造化・記録する。
  2. ドキュメントの自動分類・整理: Teams内で共有されたファイルを、指定された共有フォルダに自動で分類・格納する。

しかし、この領域は個別企業の努力だけではどうにもならず、プラットフォームを提供しているビッグテックの対応を待つ必要があります。

もし、このブログがマイクロソフトのCEO、サティア・ナデラ氏の目に留まることがあれば幸いです。

Hey, Satya Nadella, please contact me!

🎯 ドキュメント管理の本質

AIという新しい視点からドキュメントの重要性を訴えてきましたが、ドキュメント管理の本質的な価値は、AI活用有無にかかわらず揺るぎません。

  • 組織としてのノウハウの蓄積と継承
  • 属人化の抑制
  • 新メンバーの円滑なオンボーディング

現時点では、チャットツールの利便性から生じたナレッジの拡散を、技術だけで解決することは困難です。だからこそ、私たちは組織として明確なルールを定め、それを徹底するという、地道で最も効果的な手段に立ち戻る必要があります。

技術で全てが解決できる日が来るのを待ち望みつつ、まずは足元のドキュメント環境を整えることが、AI開発成功への最短ルートだと考えます。


(なお、テックラボが現在ドキュメント管理を徹底できているかどうかは、秘密です。この問題は、私たち自身が日々格闘している課題でもあります。)