RAGの精度、どう改善する？AIアシスタント「たまちゃん」の改善事例 vol.2

前回の記事「RAGの精度、どう改善する？AIアシスタント「たまちゃん」の改善事例 vol.1 」では、たまちゃんの精度を向上させるために行った取り組みの一部をご紹介しました。

今回の記事でも、精度向上のために実施した新たな取り組みについてお伝えします。特に今回は、以下の2つの施策について、その目的、実施内容、そして結果をご紹介します。

RAG（検索拡張生成）の精度改善にご興味のある方の参考になれば幸いです。

現在、たまちゃんではRAGの検索エンジンにAzure AI Searchを採用しています。ユーザーからの質問に対して、Azure AI Searchに検索を行い、検索でヒットした関連ドキュメントを生成AIに渡すことで、生成AIが回答生成を行っています。

また、Azure AI Searchでは3種類の検索方式（全文検索、ベクトル検索、ハイブリッド検索）を組み合わせて検索を行っています。

しかし、この検索方式だけでは「質問に類似するドキュメントは上位にヒットしやすいが、質問に対する回答が含まれるドキュメントは上位にヒットするとは限らない」という課題があります。

そのような課題を解決するための手法として「リランク」という手法が存在します。リランクは、検索によって得られたドキュメントの順位を、より高度な手法を用いて並び変える手法です。例えば、ユーザーからの質問に、より関連するドキュメントを上位に並び変えることができます。

当該手法は、Azure AI Searchの「セマンティックランカー」で実現できます。セマンティックランカーは、Microsoft Bingでも使われているAIモデルが活用されており、検索クエリの意図や意味を理解して、関連性の高いドキュメントを優先的に上位に並び変えます。

補足情報ですが、生成AI関連のスタートアップ企業であるCohere（コーヒア）は、Cohere RerankというAIモデルを提供しています。Azure AI Searchを利用していないケースには、こちらのモデルを活用することも可能です。

本施策では、図2のように、たまちゃんにおいてセマンティックランカーを適用することで、生成AIが回答できる頻度が向上するか検証しました。

現在、セマンティックランカーでは、表1に記載した機能が利用可能です。本施策においては「L2 ランク付け」機能を利用することにしました。

Azureの公式ブログ「Raising the bar for RAG excellence: query rewriting and new semantic ranker」によると、表2のように、どの検索クエリの種類においても、セマンティックランカーのSR（L2 ランク付け）やQR（クエリの書き換え）を適用する方が、ハイブリッド検索のみ適用する場合に比べ、検索精度が高いことが報告されています。

また、セマンティックランカーで、1件あたり2000トークンのドキュメントを50件並び変えた場合、処理時間は約150ミリ秒とも報告されています。このことから、セマンティックランカーは精度と速度、両方の面で優れており、Azure AI Searchを利用しているケースでは、基本的にセマンティックランカーを採用した方が良いと考えられます。

セマンティックランカーでは、いくつか指定が必要なプロパティがありますが、たまちゃんでは表3のようにプロパティを指定しました。

たまちゃんにおいて、セマンティックランカーを適用した場合の正解率は、表4のようになりました。セマンティックランカーを適用することで、現行に比べ、精度が大きく向上することが分かりました。

また、セマンティックランカーを適用した場合、以下のケースが確認できました。

この検証結果を踏まえ、たまちゃんでは、Azure AI Searchのセマンティックランカーを採用することを決定しました。

検索システムやRAGを活用したAIアシスタントを提供している場合で「検索の精度がなかなか上がらない」と感じている時は、より検索クエリの意図や意味に合ったドキュメントが検索の上位でヒットするように、リランク（Azure AI SearchのセマンティックランカーやCohereのリランクモデルなど）を活用してみてはいかがでしょうか？

生成AIを活用する際には、プロンプト（生成AIへの指示内容）の質がとても重要です。どれほど高性能な生成AIであっても、生成AIにとって分かりにくいプロンプトでは、期待した結果が得られないことがあります。

たまちゃんでは、RAGという仕組みを採用しています。RAGでは、まずユーザーの質問に関連するドキュメントを検索し、その後「ドキュメントを参考にしてユーザーの質問に回答してください」といった内容のプロンプトを生成AIに与え、回答を生成しています。

RAGを使う際にも、やはりプロンプトの質はとても重要です。例えば、仮に「ユーザーの質問に関連するドキュメントを上手く検索できた」としても、生成AIにとってプロンプトが分かりにくい場合、回答生成に失敗することがあります。

そこで、今回は回答生成の部分を見直す施策として、図3のように、生成AIにとって指示が分かりやすくなるよう「プロンプト内の文章構成見直し」に取り組みました。

生成AIに分かりやすく指示を伝えるためのプロンプトの工夫は、一般的にプロンプトエンジニアリングと呼ばれています。プロンプトエンジニアリングには、主に以下のようなテクニックが存在します。

今回の施策では、これらの中から「マークダウン記法を用いる」テクニックを活用し、プロンプト内の文章構成を見直すこととしました。

まず、改善前のプロンプトは以下のようになっていました。

このプロンプトには、まずユーザーの質問が禁止事項にあたるかどうかを確認し、その後、ドキュメントを参考にして「回答できる場合」と「回答できない場合」それぞれで、どのように対応してほしいかが書かれています。

しかし、このプロンプトでは文章の構成が分かりにくく、人間が読んでも「どこまでが回答できる場合にしてほしい対応で、どこからが回答できない場合にしてほしい対応」なのかがはっきりしません。そのため、生成AIにとっても理解しづらい内容になっていると考えられます。

先ほどの文章構成が分かりづらかったプロンプトに対して、マークダウン記法を用いて改善したプロンプトは以下となります。

改善前のプロンプトと比較すると、「回答できる場合の対応」を「回答できない場合の対応」がそれぞれどこから始まり、どこで終わるのかが明確になりました。

そのため、人間にとっても生成AIにとっても分かりやすいプロンプトとなりました。また、文章構成が整理されていることで、プロンプトを今後改良していく上での保守性も向上しました。

改善前と改善後のプロンプトで、精度評価を行った場合、正解率は表5のようになりました。

プロンプト内の文章構成を見直したところ、正解率が若干向上しました。

このことから、改善前のプロンプトは、生成AIにとって指示が分かりにくいプロンプトであったことが推測されます。

たまちゃんでは、プロンプト内の文章構成を見直すことで、保守性を向上させつつ、さらに正解率も向上することが分かりました。そのため、今回の文章構成を見直したプロンプトを採用することにしました。

今回の記事で紹介した2つの施策の結果を表6にまとめました。