こんにちは。テックラボの高橋です。
テックラボでは、CCC創立40周年を記念して、CCC創業者である増田宗昭会長（以下「増田会長」）の人格を再現した対話型AI「AI増田宗昭」を開発しました。 本記事では、アバターの会話制御に用いた仕組みを簡単にご紹介します。
データクリーニング
LLM APIの開発において、重要なものにデータのクリーニングがあります。
本プロダクトはRAG（Retrieval-Augmented Generation）を用いており、 アバターの回答に用いる知識の部分はRAGでの参照データが主となります。
RAGの参照先のデータには、過去の増田会長のブログデータが含まれています。 これらは2025年現在から見ると過去のデータであり、いくつか修正が必要な文言がありました。
特に、TSUTAYAを運営するCCCは、長らく「Tポイント」を提供してきました。 しかし2024年4月以降、Tポイントは「青と黄色のVポイント」として生まれ変わっています。 回答中のTとVの混在を防ぐため、取り込んでいる資料中に存在するTポイントという表記は、Vポイントと書き換えてRAGの参照データとしています。
利用しているAzure OpenAI APIのモデル側にも事前知識として過去の情報が含まれるため、 このような時間経過によっておこるハルシネーションに近い出力は、完全に防ぐことはできません。
しかし可能な限り、コンテキストに含めるデータを綺麗にすることで発生を軽減させています。
事前の社内での性能調査
今回のような人格を模したアバターの回答が妥当かどうかは、非常に曖昧な問題です。
質問と回答の正解セットが得られるようなシステムとは異なり、開発開始時点では想定される質問が固定されていません。
また、「人格を模した」とはいえ、本人の発言がすべて正解データというわけではありません。
例えば、増田会長は大阪府出身で関西弁を話しますが、書籍等の体外的な文章の書き言葉は標準語です。 質問があった場合に、どちらで回答するのがより「増田会長らしい」のでしょうか？
以下の記事ではLLMの指標の一つとして"Correctness（正確さ）"が挙げられていますが、正解/不正解データがなければCorrectnessを計測できません。
そのため今回のプロダクトでは、実際に開発に携わった部署だけに閉じず、あらかじめ社内全体に開発版のAI増田宗昭を使ってもらい、フィードバックを集めました。
ご協力いただいた社内の方々、ありがとうございました。
※なお、今回のAI増田宗昭としては標準語にて回答させる開発方針を取っています！
入出力チェック
AI増田宗昭のAPIでは、大きく三段階の評価機構を仕込んでいます。
- (1) Azure OpenAI組み込みのフィルター
- (2) 質問の評価
- (3) 回答の評価
(1)について、Azure OpenAI APIは組み込みのフィルター機能を持っています。
"Violence"、"Hate"、"Sexual"等の検知項目が存在し、こちらを設定することで、ある程度の入力については検知することが可能です。
しかし、Azure OpenAI APIのフィルターだけでは検知することが難しいテキストも存在します。 そのような入出力は、(2)・(3)の部分で、入出力の評価にはAzureの組み込み機能だけではなく、独自の評価・監視の仕組みを追加しています。
これによって、回答生成に用いているロジックとは独立して、制御したい入出力の観点を柔軟に調整できます。
入力と出力を評価した値はログ基盤でもあるDatadogに送信し、一定のしきい値を超えるとアラートを発報する仕組みを構築しています。
こちらについては弊社の三浦から後日イベントでの口頭発表がある予定です。詳細はあらためてお知らせさせていただきます。お楽しみくださいませ。
おわりに
本記事では「AI増田宗昭」の会話制御について、紹介させていただきました。
LLMを用いたプロダクトという性質上、ぶれのある出力は避けられません。
AI増田宗昭はアプリケーション内での多層的な制御と監視を組み合わせ、安定して運用できるような仕組みを目指しています。
「AI増田宗昭」との対話は、CCC創立40周年記念特設サイトでお楽しみいただけます。ぜひ一度、デジタル空間に再現した創業者との対話を体験してください。
