AIアシスタント「たまちゃん」をより良いサービスにするために

AIアシスタントの改善活動に取り組もうとしているが、どこから手を付けて良いか分からない、といった課題はお持ちでしょうか？

私たちは、生成AIを活用したAIアシスタント「たまちゃん」を社内に公開したことで、実際にサービスを使用したユーザーから様々な声をいただきました。その声を受け、私たちは、たまちゃんをより良いサービスに改善していく活動に取り組むことにしました。

今回のコラムでは、たまちゃんの改善活動の足がかりとして行った、課題と問題点の整理、タスクのリストアップについて実施した内容をご紹介させていただきます。

AIアシスタントや生成AIを活用したサービスの改善活動に、ご興味のある方の参考になれば幸いです。

たまちゃんをリリースして実際にユーザーに使っていただいたところ、「便利だった」という声から、「使い勝手が不十分だった」という声まで、様々な声がありました。

このようなユーザーからの声を踏まえ、私たちは、まず、たまちゃんの課題を整理しました。

たまちゃんはRAG（Retrieval Augmented Generation：検索拡張生成）の仕組みを活用したサービスです。

RAGは、ユーザーからの質問に関連するドキュメントを検索し、そのドキュメントを生成AIへの入力（プロンプト）に加えて渡す仕組みです。

たまちゃんでは、ユーザーからの質問に対して、関連する社内ドキュメントを検索し、生成AIに渡すことで、生成AIが社内ドキュメントを参照しながら回答を生成しています。

このRAGの仕組みを踏まえ、私たちは、主に3つの課題を解決していく必要があると考えました。

それぞれの課題で実現したいことは以下となります。

課題を解決するため、次は問題点の整理と問題点に対するタスクをリストアップしていく必要があります。そこで私たちは、マインドマップを用いて、問題点の整理とタスクのリストアップを行いました。

マインドマップとは、思考の整理やアイデア発散に役立つツールです。1つのテーマから想起されるキーワードなどを線で繋げながら書き出していくことで、頭の中で次々と思いついた内容を整理しながら書き出すことができるツールです。

私たちプロジェクトメンバーが実際に作成したマインドマップは以下のようになりました。

課題に対して、問題点を整理しながら多くのタスクをリストアップできたことが分かります。

検索の課題に対しては、主に検索精度の向上と検索コンテンツの拡充に関するタスクをリストアップしました。特に検索精度の向上に関しては多くのタスクをリストアップしました。

回答生成の課題に対しては、プロンプトエンジニアリングやドキュメントの加工まで、様々なタスクをリストアップしました。

UI/UXの課題に対しては、まず管理者とユーザーを区別してから、問題点の整理とタスクのリストアップを行いました。

管理者向けの学習データ管理については、専用アプリを提供するタスクをベースに、「検索の課題」の調査に役立つ機能（検索だけでも試せるようにしたい）や「回答生成の課題」の調査に役立つ機能（回答できなかった質問を確認したい）に関するタスクもリストアップしました。

ユーザー向けのタスクとしては、回答できなかった場合に提示される情報を拡充したり、有人サポートに対応しているチャンネルに誘導するタスクなどをリストアップしました。

今回は、たまちゃんをより良いサービスに改善していく活動の足がかりとして、実施した課題の検討や問題点の整理、タスクのリストアップについて、紹介させていただきました。

特にマインドマップを使った問題点の整理とタスクのリストアップについては、生成AIを活用したサービスに限らず、どのサービスにおいても有効なプロセスなので、ぜひご活用ください。

また、リストアップしたタスクについて実際に取り組んだ成果は、今後のコラムに投稿させていただきますので、ご期待ください。