Copilot Studio でエージェントを作るのは、とても簡単になりました。次に問われるのは、そのエージェントは本当に仕事をこなしているのかです。
2026 年 10 月 29〜30 日、Microsoft 365 管理センターのメッセージセンターで、Copilot Studio の評価（Evaluation）の更新がまとめて案内されました。答えの良し悪しだけでなく、仕事を最後までやり遂げたか、正しい道具を正しい入力で使ったかまで測れるようになります。
- なぜ AI エージェントに「評価」が要るのか
- 今回の更新（7 つのメッセージ）で何が変わるのか
- どの採点のしかた（グレーダー）で、何を測るのか
- 作る → テストする → 評価する → 直す、を回す進め方
なぜエージェントに「評価」が要るのか
エージェントの答えは、毎回少しずつ変わります。指示を 1 行直す、ナレッジを足す、モデルを替える。そのたびに、前は正しく答えていた質問で間違えるかもしれません。
テスト用のチャットで数問試すだけでは、この変化に気づけません。Copilot Studio のエージェント評価は、質問と期待する答えをまとめたテストセットを何度でも流し、合格率で比べられる仕組みです1。
今回の更新：7 つのメッセージ
メッセージセンターで案内された、Copilot Studio の評価の更新です。
| メッセージ ID | 機能 | ひとことで |
|---|---|---|
| MC1530742 | Task completion grader | エージェントが、利用者の求めた結果までやり遂げたかを測る |
| MC1530748 | Tool accuracy grader | 期待したツールを、期待した入力で使ったかを測る |
| MC1531932 | Custom Graders Library と Microsoft の既製のグレーダー | 自分で作った採点基準を保存して、ほかのエージェントでも使い回す |
| MC1531924 | Generated custom grader | エージェントと場面に合わせた採点基準を、Copilot Studio が作ってくれる |
| MC1531903 | Evaluation for automation flows | 会話だけでなく、自動化（フロー）も評価できる |
| MC1532073 | Evaluation Viewer role | 作る権限が無い人も、評価の結果だけを見られる |
| MC1532071 | Agent status evaluation warnings | 評価していない・モデルが変わったエージェントに警告を出す |
Copilot Studio の公式ブログ（2026 年 9 月の更新のまとめ）でも、これらが紹介されています2。要点は次のとおりです。
- Task Completion は、利用者が求めた結果をエージェントが達成したかを確かめます。
- Tool Accuracy は、期待したツールと入力を選んだかを評価します。
- Safety は、設定した安全性のしきい値に照らして答えを測ります。応答時間の確認（Latency）も加わります。
- Custom Graders Library で、カスタムのグレーダーをエージェントやテストセットをまたいで再利用できます。
- 生成したグレーダーは、テナントごとに作られ、そのテナントの中だけで見えます。
- 評価は、エージェントの会話だけでなく、自動化の中の AI のノードと自動化全体にも広がります。
- Evaluation Viewer ロールで、レビューする人や関係者が、作る権限なしで評価の結果を見られます。
提供の時期は、テナントのメッセージセンターで確かめてください
機能ごとに、一般提供とプレビュー、展開の時期が違います。自分のテナントの Microsoft 365 管理センター → メッセージセンターで、上のメッセージ ID を検索すると確かめられます。
何を測るのか：グレーダーの地図
評価で使う採点のしかたを、Copilot Studio ではテスト方法（グレーダー）と呼びます。いま使えるものと今回加わるものを、「何を測るか」で並べると次のようになります。
いま使えるテスト方法
Microsoft Learn では、次のテスト方法が案内されています3。
| テスト方法 | 測るもの | 結果 |
|---|---|---|
| 総合的な品質（General quality） | 関連性・根拠があるか・十分か・答えようとしたか。期待する答えが無くても使える | 100 点満点 |
| コンテンツの安全性（Content safety） | 憎悪と不公平・性的な内容・暴力・自傷 | 合格・不合格 |
| 意味の比較（Compare meaning） | 期待する答えと、意味が合っているか | 100 点満点 |
| ツールの使用（Tool use） | 期待したツールやトピックを使ったか | 合格・不合格 |
| キーワード一致（Keyword match） | 決めた言葉が入っているか | 合格・不合格 |
| テキストの類似度（Text similarity） | 言い回しまで近いか | 0〜1 の類似度 |
| 完全一致（Exact match） | 一字一句同じか。番号やコード向き | 合格・不合格 |
| カスタム（Custom） | 自分で書いた評価の指示とラベルで判定 | ラベルごとの合格・不合格 |
断るべき質問は「カスタム」で
総合的な品質は「答えようとしたか」も見るので、断るのが正しい質問でも低く出ることがあります。このときは、正しい断り方をラベルにしたカスタムのテスト方法を使います3。
今回加わるもの
- Task completion：答えの文章ではなく、利用者が頼んだ仕事が終わったかを見ます。複数の手順を自分で進めるエージェントほど、これが大事になります。
- Tool accuracy：「ツールを使ったか」だけでなく、正しいツールを、正しい入力で使ったかを見ます。会話の記録を 1 件ずつ追う手間が減ります。
- Custom Graders Library と生成：人事の規程、営業の言い回し、法務の確認など、自社の基準を一度グレーダーにすれば、別のエージェントでも使えます。最初の案は Copilot Studio に作らせられます。
会話だけでなく「自動化」も評価する
エージェントは、フローの中の 1 つの手順（AI のノード）としても動きます。今回、評価は個々の AI のノードと、自動化全体に広がります2。
Microsoft Copilot harness（旧称 GitHub Copilot harness）で作るワークフローでは、エージェントのノードをテスト → 評価 → 改善できます4。
- テストした結果に対して、グレーダーを作るか選んで評価します。
- グレーダーごとに、合格・不合格と、その理由が返ります。
- 不合格のときは、AI が改善の案を出すことがあります。
- テストの方法は、指示とツールから AI に作らせることもできます（1 つのノードで 5 つまで）。
- 評価は、1 つのノードで 1 日 20 回までです。
テストセットの評価は、Power Platform の API や Microsoft Copilot Studio のコネクタからも動かせます5。毎朝テストセットを流し、合格率を Power BI に貯めて、下がったら通知する、といった仕組みも作れます。
flowchart LR
A[毎朝のスケジュール] --> B[Evaluate Agent<br>テストセットを実行]
B --> C[Get Agent Test Run Details<br>完了を待って結果を取る]
C --> D[合格率を記録<br>Dataverse・Power BI]
D --> E{前回より<br>下がった?}
E -- はい --> F[作った人に通知]
E -- いいえ --> G[そのまま]
見る人と、気づく仕組み
Evaluation Viewer ロール
品質を確かめるのは、作る人だけではありません。業務の担当者、品質保証のチーム、AI CoE も結果を見たいはずです。Evaluation Viewer ロールは、作る権限を渡さずに、評価の結果だけを見せられる役割です2。
評価していないエージェントへの警告
画面上部の Review には、次のときに警告が出ます6。
- まだ一度も評価していない。
- 最後に評価したあとで、エージェントのモデルが変わった。
警告があっても公開は止まりません。ただ、モデルが変わったら評価し直すという習慣を、画面が思い出させてくれます。
進め方：まず 20 問から
- 合格の基準を決めます。 業務の担当者と、「この質問にはこう答えてほしい」を 20 問ほど書き出します。テストセットは CSV で取り込めます1。
- 測り方を組み合わせます。 まずは総合的な品質と意味の比較。ツールを使うエージェントなら Tool accuracy、仕事を任せるエージェントなら Task completion を足します。
- 3 回流して基準の点を取ります。 AI の採点はぶれます。3 回以上流した平均を基準にし、5% くらいの差は誤差と考えます7。
- 失敗した理由から直します。 結果には、使ったナレッジ・トピック・ツールと、判定の理由が出ます8。
- 変えたら、同じテストセットで流し直します。 結果は 89 日で消えるので、残したいものは CSV に出しておきます8。
Copilot Credits のライセンスガイドを読み解く ― 買い方・価格・消費レート・含まれる範囲（2026 年 10 月版）Microsoft の Copilot Credits ガイドに沿って、4 つの買い方と価格、機能ごとの消費レート、Microsoft 365 Copilot に含まれる範囲、使い切ったときの動き、AI Builder からの移行をまとめます。評価にも Copilot Credits がかかることがあります
Microsoft Copilot harness で作るエージェントは、作る・テストする・評価するときにも Copilot Credits を使うことがあります6。毎日自動で流すときは、テストセットの数と回数も予算に入れましょう。
まとめ
- エージェントの答えは変わります。テストセットで何度も流して、合格率で比べるのが評価です。
- 今回の更新で、仕事をやり遂げたか（Task completion）、道具を正しく使ったか（Tool accuracy）まで測れるようになります。
- 自社の基準はカスタムのグレーダーにして、ライブラリで使い回せます。
- 評価は自動化にも広がり、結果は Evaluation Viewer に見せられます。
- まず 20 問から。作る → テストする → 評価する → 直す、を回しましょう。
Copilot Studio のハーネスの違いは、こちらで整理しています。
Microsoft Copilot Studio の「ハーネス」 の違いを抑えておこうMicrosoft Copilot Studioで何かを作るとき、必ず裏側で動いているのが「ハーネス（harness）」という実行基盤です。今回はMicrosoft Learnの公…
新しい Copilot Studio でエージェントを作るところから学ぶなら、こちらの講座がおすすめです。
参考
About agent evaluation（Microsoft Learn） ↩ ↩
New and improved: Build apps, extend agents, and transform business processes in Microsoft Copilot Studio（Microsoft Copilot Studio Blog） ↩ ↩ ↩
Choose evaluation methods（Microsoft Learn） ↩ ↩
Add an agent node to a workflow（Microsoft Learn） ↩
Trigger agent evaluations with connectors（Microsoft Learn） ↩
Review agent readiness and status in Microsoft Copilot Studio（Microsoft Learn） ↩ ↩
Interpret evaluation scores and assess readiness（Microsoft Learn） ↩
Run evaluations and view results（Microsoft Learn） ↩ ↩
メルマガで新しい記事を受け取る
新しい記事や講座のお知らせを、メールでお届けします。いつでも配信を停止できます。
ご登録いただいたアドレスは、メルマガの配信にだけ使います。
あわせて学びたいオンライン講座
どの講座から始めればよいか、学ぶ順番をまとめています。
コメントを残す