Udemy 新コース: 作って学ぶPower BI!

Copilot Studio で作成したCopilot による生成AIの結果を改善していくための運用アプリをGitHub に公開しました

Copilot Studio で作成したCopilot の生成型の回答の実行ログを利用して、継続的な改善を行うためのアプリです。GitHub にソリューションを公開しておりますのでCopilot の改善を考えていらっしゃる方は是非ご利用ください。

こちらの利用方法とインストール方法はYouTubeで紹介しております。

image

Copilot for Microsoft 365 には対応しておりません。

Copilot 改善アプリ(CopilotImprove)はあくまでもDataverse に保存されているCopilot の実行履歴をJSON形式から情報を抽出、さらにUnicodeエスケープシーケンスとなってしまっている会話内容を読める形式に変換、表示し、さらに改善活動につなげていくワークベンチを実行するアプリです。

参考までに、標準で会話履歴が表示されているConversationTranscript テーブルには以下のように複雑に会話履歴が保存されております。

動画

1分ぐらいで実際に改善を行う流れを紹介しています。

作成した背景

Copilot の会話の改善を簡単に行えるようにしたい、ということで開発を思いつきました。

動いたよ、できたよという結果は是非、 ギークフジワラのXアカウント までメンションしてご報告ください!!

標準のレポートではCopilot 毎の情報は提供してくれますが、こちらのアプリは環境毎のCopilot の情報を提供してくれます。

Copilot の実際の改善活動を行うチームは、環境ごとに配置されている想定で作成しています。

例えば、環境が会社毎などで分けれれている場合、その会社ごとでCopilot の改善活動を行っていくのではないか、として想定しています。

テナント全体ではCoE Starter Kit による管理を想定しており、環境はこちらのアプリ、テナントはCoE Starter Kit という分担で考えております。

Copilot 改善アプリの利用イメージ

各種レポート

Copilot Studio で作成したCopilotの、環境内で生成型の回答(Generative Answers)を行った際、そしてその改善活動の各種レポートを確認することが出来ます。

image
image
image
image
image

利用イメージ

改善対象のログに対して、バックグラウンドで連携されてきます。

Copilot を利用しているユーザーや管理者はデータの収集に関して特に何もする必要がありません。

一度、このアプリを環境にインポートしたら自動的に収集されるようになります。

ただし、Copilot での会話実行後、データ収集まで1時間ほどのタイムラグがあります。

image

詳細を確認するとメッセージとして送った内容と回答内容、そしてその結果等について確認することが出来ます。

image

改善アクションへの活用

可視化できるだけでなく、担当者の割当や改善アクションにつなげることが出来ます。

image

ビジネスプロセスフローでステージを管理することも出来ます。

image

生成AI による結果の確認

成功したパターン

回答の生成に成功した場合は「回答した」という結果となり、その応答も返ってきます。

image

返答が実行されなかったパターン

不正なメッセージなどでは「OpenAI によってフィルターされた」などの履歴も確認することが出来ます。

image

Copilot Studio 側でコンテンツ モデレーションによってフィルターされた結果も反映されてきます。

image

データソースに関連性が高い情報がなかったときには「検索結果なし」として返ってきます。

image

Power Automate で行っている処理

Power Automate クラウドフローにて各種変換、Dataverse カスタムテーブルであるCopilot 改善 テーブルへ格納処理を行っています。

ConversationTranscript テーブルにデータが作成されると、フローが起動します。そして、生成AIでの処理が行われるとGenerativeAnswersSupportDataに関するActivityが発生しますのでヲの情報を見を抽出しています。値がないときはCopilot 改善テーブルへの値の保存は実行されません。

image

環境へのインストール

前提条件

以下のライセンスが必要です。

  • Copilot Studio
  • Power Apps Premium またはPower Apps per app

ソリューションのインポート

ソリューションはリリースに提供されています。不定期でアップデートします。最新のリリースを利用するようにしてください。

アップデート情報は ギークフジワラのXアカウント でご案内します。フォローしてお待ち下さい。

ソリューションをダウンロードして、Zip形式のままインポートを行います。

インポート後、カスタマイズをすべて公開し、クラウドフローがオフになっている場合オン(有効)にしてください。

ウイザードに則って行えば問題なくインポートができるはずです。ご不明な方はインポート方法は以下を参考にしてください。

Power Appsのソリューションのインポート

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

Index