---
title: "Copilot Studio の「評価」が本格化 ― AI エージェントは「作る」から「品質を測る」へ"
url: "https://www.geekfujiwara.com/copilot-studio/9644/"
author: ギークフジワラ
published: "2026-11-02T09:32:08+00:00"
updated: "2026-11-02T09:32:08+00:00"
categories: [Copilot Studio]
tags: [AI エージェント, Copilot Studio, エージェント評価, グレーダー, 品質管理]
description: "Copilot Studio に、仕事を終えたかを測る Task completion、道具の選び方を測る Tool accuracy、再利用できるカスタムの採点者（グレーダー）、自動化の評価、評価の閲覧者ロールが加わりました。作る・テストする・評価する・直すの流れと、何をどう測るかを図で整理します。"
---
# Copilot Studio の「評価」が本格化 ― AI エージェントは「作る」から「品質を測る」へ
Copilot Studio でエージェントを作るのは、とても簡単になりました。次に問われるのは、==そのエージェントは本当に仕事をこなしているのか==です。
2026 年 10 月 29〜30 日、Microsoft 365 管理センターのメッセージセンターで、Copilot Studio の**評価（Evaluation）**の更新がまとめて案内されました。答えの良し悪しだけでなく、**仕事を最後までやり遂げたか**、**正しい道具を正しい入力で使ったか**まで測れるようになります。
{.point}
- なぜ AI エージェントに「評価」が要るのか
- 今回の更新（7 つのメッセージ）で何が変わるのか
- どの採点のしかた（グレーダー）で、何を測るのか
- 作る → テストする → 評価する → 直す、を回す進め方
## なぜエージェントに「評価」が要るのか
エージェントの答えは、毎回少しずつ変わります。指示を 1 行直す、ナレッジを足す、モデルを替える。そのたびに、前は正しく答えていた質問で間違えるかもしれません。
テスト用のチャットで数問試すだけでは、この変化に気づけません。Copilot Studio の**エージェント評価**は、質問と期待する答えをまとめた**テストセット**を何度でも流し、合格率で比べられる仕組みです[^1]。
:::raw
エージェントは「作って終わり」ではなく、評価を回し続けて品質を保ちます。
:::
## 今回の更新：7 つのメッセージ
メッセージセンターで案内された、Copilot Studio の評価の更新です。
| メッセージ ID | 機能 | ひとことで |
| --- | --- | --- |
| MC1530742 | Task completion grader | エージェントが、利用者の求めた結果まで**やり遂げたか**を測る |
| MC1530748 | Tool accuracy grader | **期待したツールを、期待した入力で**使ったかを測る |
| MC1531932 | Custom Graders Library と Microsoft の既製のグレーダー | 自分で作った採点基準を**保存して、ほかのエージェントでも使い回す** |
| MC1531924 | Generated custom grader | エージェントと場面に合わせた採点基準を、**Copilot Studio が作ってくれる** |
| MC1531903 | Evaluation for automation flows | 会話だけでなく、**自動化（フロー）**も評価できる |
| MC1532073 | Evaluation Viewer role | 作る権限が無い人も、**評価の結果だけを見られる** |
| MC1532071 | Agent status evaluation warnings | **評価していない・モデルが変わった**エージェントに警告を出す |
Copilot Studio の公式ブログ（2026 年 9 月の更新のまとめ）でも、これらが紹介されています[^2]。要点は次のとおりです。
{.check}
- **Task Completion** は、利用者が求めた結果をエージェントが達成したかを確かめます。
- **Tool Accuracy** は、期待したツールと入力を選んだかを評価します。
- **Safety** は、設定した安全性のしきい値に照らして答えを測ります。応答時間の確認（Latency）も加わります。
- **Custom Graders Library** で、カスタムのグレーダーをエージェントやテストセットをまたいで再利用できます。
- 生成したグレーダーは、テナントごとに作られ、そのテナントの中だけで見えます。
- 評価は、エージェントの会話だけでなく、自動化の中の AI のノードと自動化全体にも広がります。
- **Evaluation Viewer** ロールで、レビューする人や関係者が、作る権限なしで評価の結果を見られます。
> [!NOTE] 提供の時期は、テナントのメッセージセンターで確かめてください
> 機能ごとに、一般提供とプレビュー、展開の時期が違います。自分のテナントの Microsoft 365 管理センター → **メッセージセンター**で、上のメッセージ ID を検索すると確かめられます。
## 何を測るのか：グレーダーの地図
評価で使う採点のしかたを、Copilot Studio では**テスト方法（グレーダー）**と呼びます。いま使えるものと今回加わるものを、「何を測るか」で並べると次のようになります。
:::raw
:::
### いま使えるテスト方法
Microsoft Learn では、次のテスト方法が案内されています[^3]。
| テスト方法 | 測るもの | 結果 |
| --- | --- | --- |
| 総合的な品質（General quality） | 関連性・根拠があるか・十分か・答えようとしたか。期待する答えが無くても使える | 100 点満点 |
| コンテンツの安全性（Content safety） | 憎悪と不公平・性的な内容・暴力・自傷 | 合格・不合格 |
| 意味の比較（Compare meaning） | 期待する答えと、意味が合っているか | 100 点満点 |
| ツールの使用（Tool use） | 期待したツールやトピックを使ったか | 合格・不合格 |
| キーワード一致（Keyword match） | 決めた言葉が入っているか | 合格・不合格 |
| テキストの類似度（Text similarity） | 言い回しまで近いか | 0〜1 の類似度 |
| 完全一致（Exact match） | 一字一句同じか。番号やコード向き | 合格・不合格 |
| カスタム（Custom） | 自分で書いた評価の指示とラベルで判定 | ラベルごとの合格・不合格 |
> [!TIP] 断るべき質問は「カスタム」で
> 総合的な品質は「答えようとしたか」も見るので、==断るのが正しい質問==でも低く出ることがあります。このときは、正しい断り方をラベルにしたカスタムのテスト方法を使います[^3]。
### 今回加わるもの
{.steps}
1. **Task completion**：答えの文章ではなく、==利用者が頼んだ仕事が終わったか==を見ます。複数の手順を自分で進めるエージェントほど、これが大事になります。
2. **Tool accuracy**：「ツールを使ったか」だけでなく、==正しいツールを、正しい入力で==使ったかを見ます。会話の記録を 1 件ずつ追う手間が減ります。
3. **Custom Graders Library と生成**：人事の規程、営業の言い回し、法務の確認など、自社の基準を一度グレーダーにすれば、別のエージェントでも使えます。最初の案は Copilot Studio に作らせられます。
## 会話だけでなく「自動化」も評価する
エージェントは、フローの中の 1 つの手順（AI のノード）としても動きます。今回、評価は**個々の AI のノードと、自動化全体**に広がります[^2]。
Microsoft Copilot harness（旧称 GitHub Copilot harness）で作るワークフローでは、エージェントのノードを**テスト → 評価 → 改善**できます[^4]。
{.check}
- テストした結果に対して、グレーダーを作るか選んで評価します。
- グレーダーごとに、合格・不合格と、その理由が返ります。
- 不合格のときは、AI が改善の案を出すことがあります。
- テストの方法は、指示とツールから AI に作らせることもできます（1 つのノードで 5 つまで）。
- 評価は、1 つのノードで 1 日 20 回までです。
テストセットの評価は、Power Platform の API や Microsoft Copilot Studio のコネクタからも動かせます[^5]。毎朝テストセットを流し、合格率を Power BI に貯めて、下がったら通知する、といった仕組みも作れます。
```mermaid
flowchart LR
A[毎朝のスケジュール] --> B[Evaluate Agent
テストセットを実行]
B --> C[Get Agent Test Run Details
完了を待って結果を取る]
C --> D[合格率を記録
Dataverse・Power BI]
D --> E{前回より
下がった?}
E -- はい --> F[作った人に通知]
E -- いいえ --> G[そのまま]
```
## 見る人と、気づく仕組み
### Evaluation Viewer ロール
品質を確かめるのは、作る人だけではありません。業務の担当者、品質保証のチーム、AI CoE も結果を見たいはずです。**Evaluation Viewer** ロールは、作る権限を渡さずに、評価の結果だけを見せられる役割です[^2]。
### 評価していないエージェントへの警告
画面上部の **Review** には、次のときに警告が出ます[^6]。
{.check}
- まだ一度も評価していない。
- 最後に評価したあとで、エージェントのモデルが変わった。
警告があっても公開は止まりません。ただ、==モデルが変わったら評価し直す==という習慣を、画面が思い出させてくれます。
## 進め方：まず 20 問から
{.steps}
1. **合格の基準を決めます。** 業務の担当者と、「この質問にはこう答えてほしい」を 20 問ほど書き出します。テストセットは CSV で取り込めます[^1]。
2. **測り方を組み合わせます。** まずは総合的な品質と意味の比較。ツールを使うエージェントなら Tool accuracy、仕事を任せるエージェントなら Task completion を足します。
3. **3 回流して基準の点を取ります。** AI の採点はぶれます。3 回以上流した平均を基準にし、5% くらいの差は誤差と考えます[^7]。
4. **失敗した理由から直します。** 結果には、使ったナレッジ・トピック・ツールと、判定の理由が出ます[^8]。
5. **変えたら、同じテストセットで流し直します。** 結果は 89 日で消えるので、残したいものは CSV に出しておきます[^8]。
> [!WARNING] 評価にも Copilot Credits がかかることがあります
> Microsoft Copilot harness で作るエージェントは、作る・テストする・**評価する**ときにも Copilot Credits を使うことがあります[^6]。毎日自動で流すときは、テストセットの数と回数も予算に入れましょう。
https://www.geekfujiwara.com/copilot/9462/
## まとめ
{.check}
- エージェントの答えは変わります。テストセットで何度も流して、合格率で比べるのが評価です。
- 今回の更新で、==仕事をやり遂げたか（Task completion）==、==道具を正しく使ったか（Tool accuracy）==まで測れるようになります。
- 自社の基準はカスタムのグレーダーにして、ライブラリで使い回せます。
- 評価は自動化にも広がり、結果は Evaluation Viewer に見せられます。
- まず 20 問から。作る → テストする → 評価する → 直す、を回しましょう。
Copilot Studio のハーネスの違いは、こちらで整理しています。
https://www.geekfujiwara.com/tech/powerplatform/8563/
新しい Copilot Studio でエージェントを作るところから学ぶなら、こちらの講座がおすすめです。
[udemy_coupon_box course="copilot-studio-cli"]
## 参考
[^1]: [About agent evaluation](https://learn.microsoft.com/microsoft-copilot-studio/analytics-agent-evaluation-intro)（Microsoft Learn）
[^2]: [New and improved: Build apps, extend agents, and transform business processes in Microsoft Copilot Studio](https://www.microsoft.com/en-us/copilot/blog/copilot-studio/new-and-improved-build-apps-extend-agents-and-transform-business-processes-in-microsoft-copilot-studio/)（Microsoft Copilot Studio Blog）
[^3]: [Choose evaluation methods](https://learn.microsoft.com/microsoft-copilot-studio/analytics-agent-evaluation-overview)（Microsoft Learn）
[^4]: [Add an agent node to a workflow](https://learn.microsoft.com/microsoft-copilot-studio/workflows-experience/agent-node-workflow#test-and-evaluate-an-agent-node)（Microsoft Learn）
[^5]: [Trigger agent evaluations with connectors](https://learn.microsoft.com/microsoft-copilot-studio/analytics-agent-evaluation-automate-tools)（Microsoft Learn）
[^6]: [Review agent readiness and status in Microsoft Copilot Studio](https://learn.microsoft.com/microsoft-copilot-studio/agents-experience/authoring-agent-status)（Microsoft Learn）
[^7]: [Interpret evaluation scores and assess readiness](https://learn.microsoft.com/microsoft-copilot-studio/guidance/evaluation-triage-readiness)（Microsoft Learn）
[^8]: [Run evaluations and view results](https://learn.microsoft.com/microsoft-copilot-studio/analytics-agent-evaluation-results)（Microsoft Learn）