Copilot Studio で作成したCopilot の生成型の回答の実行ログを利用して、継続的な改善を行うためのアプリです。GitHub にソリューションを公開しておりますのでCopilot の改善を考えていらっしゃる方は是非ご利用ください。

こちらの利用方法とインストール方法はYouTubeで紹介しております。

Copilot for Microsoft 365 には対応しておりません。

Copilot 改善アプリ(CopilotImprove)はあくまでもDataverse に保存されているCopilot の実行履歴をJSON形式から情報を抽出、さらにUnicodeエスケープシーケンスとなってしまっている会話内容を読める形式に変換、表示し、さらに改善活動につなげていくワークベンチを実行するアプリです。

参考までに、標準で会話履歴が表示されているConversationTranscript テーブルには以下のように複雑に会話履歴が保存されております。

動画

1分ぐらいで実際に改善を行う流れを紹介しています。

作成した背景

Copilot の会話の改善を簡単に行えるようにしたい、ということで開発を思いつきました。

動いたよ、できたよという結果は是非、 ギークフジワラのXアカウント までメンションしてご報告ください！！

標準のレポートではCopilot 毎の情報は提供してくれますが、こちらのアプリは環境毎のCopilot の情報を提供してくれます。

Copilot の実際の改善活動を行うチームは、環境ごとに配置されている想定で作成しています。

例えば、環境が会社毎などで分けれれている場合、その会社ごとでCopilot の改善活動を行っていくのではないか、として想定しています。

テナント全体ではCoE Starter Kit による管理を想定しており、環境はこちらのアプリ、テナントはCoE Starter Kit という分担で考えております。

Copilot 改善アプリの利用イメージ

各種レポート

Copilot Studio で作成したCopilotの、環境内で生成型の回答(Generative Answers)を行った際、そしてその改善活動の各種レポートを確認することが出来ます。

利用イメージ

改善対象のログに対して、バックグラウンドで連携されてきます。

Copilot を利用しているユーザーや管理者はデータの収集に関して特に何もする必要がありません。

一度、このアプリを環境にインポートしたら自動的に収集されるようになります。

ただし、Copilot での会話実行後、データ収集まで1時間ほどのタイムラグがあります。

詳細を確認するとメッセージとして送った内容と回答内容、そしてその結果等について確認することが出来ます。

改善アクションへの活用

可視化できるだけでなく、担当者の割当や改善アクションにつなげることが出来ます。

ビジネスプロセスフローでステージを管理することも出来ます。

生成AI による結果の確認

成功したパターン

回答の生成に成功した場合は「回答した」という結果となり、その応答も返ってきます。

返答が実行されなかったパターン

不正なメッセージなどでは「OpenAI によってフィルターされた」などの履歴も確認することが出来ます。

Copilot Studio 側でコンテンツ モデレーションによってフィルターされた結果も反映されてきます。

データソースに関連性が高い情報がなかったときには「検索結果なし」として返ってきます。

Power Automate で行っている処理

Power Automate クラウドフローにて各種変換、Dataverse カスタムテーブルであるCopilot 改善 テーブルへ格納処理を行っています。

ConversationTranscript テーブルにデータが作成されると、フローが起動します。そして、生成AIでの処理が行われるとGenerativeAnswersSupportDataに関するActivityが発生しますのでヲの情報を見を抽出しています。値がないときはCopilot 改善テーブルへの値の保存は実行されません。

環境へのインストール

前提条件

以下のライセンスが必要です。

• Copilot Studio
• Power Apps Premium またはPower Apps per app

ソリューションのインポート

ソリューションはリリースに提供されています。不定期でアップデートします。最新のリリースを利用するようにしてください。

アップデート情報は ギークフジワラのXアカウント でご案内します。フォローしてお待ち下さい。

ソリューションをダウンロードして、Zip形式のままインポートを行います。

インポート後、カスタマイズをすべて公開し、クラウドフローがオフになっている場合オン(有効)にしてください。

ウイザードに則って行えば問題なくインポートができるはずです。ご不明な方はインポート方法は以下を参考にしてください。

Power Appsのソリューションのインポート