「作ったAIはどれくらい良いのか」をどう測るか――AWS認定AIプラクティショナー（AIF-C01）のドメイン3では、基盤モデルの性能評価が問われます。この記事では混同しやすいROUGE・BLEU・BERTScoreの違いと、Amazon Bedrockの評価機能、そして「ビジネス目標との整合」までを整理します。学習手法の前提は ファインチューニング もどうぞ。
ROUGEもBLEUも「正解文と生成文で語（n-gram）がどれだけ重なるか」を測る指標です。違いは重視する観点で、ROUGEは要約向けで再現率（取りこぼしの少なさ）、BLEUは翻訳向けで適合率（余計な語の少なさ）を重視します。語が違っても意味が近いかまで見たいときはBERTScoreを併用します。
主要な評価指標：ROUGE / BLEU / BERTScore
- ROUGE：主に要約の評価。正解文と生成文のn-gram（語の並び）の重なりを、再現率（取りこぼしの少なさ）重視で測ります
- BLEU：主に機械翻訳の評価。同じくn-gramの重なりですが、適合率（出力に余計が少ないか）重視です
- BERTScore：埋め込み（ベクトル）を使い、語が違っても意味が近いかを測ります。言い換え・同義語に強いのが特徴（→ 埋め込みとは）
- Perplexity（パープレキシティ）：モデルが次の語をどれだけうまく予測できるかの指標。低いほど良い（＝言語として自然）
| 観点 | ROUGE | BLEU | BERTScore |
|---|---|---|---|
| 何を測るか | 語の重なり（n-gram） | 語の重なり（n-gram） | 意味の近さ（埋め込み） |
| 重視する指標 | 再現率（取りこぼしの少なさ） | 適合率（余計な語の少なさ） | 意味的な類似度 |
| 主な対象タスク | 要約 | 機械翻訳 | 言い換え・意味一致 |
| 言い換えへの強さ | 弱い（表面の語一致） | 弱い（表面の語一致） | 強い |
| ひとことで | 要約の一致度 | 翻訳の一致度 | 意味が近いか |
重要な注意：ROUGE・BLEUは語の表面的な一致を見るため、「意味は合っているのに言い回しが違う」回答を低く評価しがちです。意味の正しさを見たいならBERTScoreのような意味ベースの指標を併用します。分類タスクでは正解率（accuracy）やF1も使われます。
Amazon Bedrockの評価機能
AWSはAmazon Bedrock Evaluations（旧称：モデル評価）で、評価を仕組み化できます。主な評価方法は3つです。
- 自動評価：用意したデータセットに対し、正確性・堅牢性・有害性などの指標を自動計算
- 人間による評価：自社チームやAWS管理のチームが、関連性・文体・ブランドらしさなど主観的な観点で採点
- LLM-as-a-judge（LLMによる審査）：別のモデルが回答を採点し、理由も添える。人手評価より速く・安く近い品質を狙えます
RAGアプリ向けには、検索の的確さや回答の根拠の正しさ（ハルシネーションの少なさ）を測るナレッジベース（RAG）評価も用意されています。
- ROUGE＝要約／BLEU＝翻訳（どちらもn-gramの重なり）／BERTScore＝意味の近さ
- ROUGE/BLEUは表面一致で意味を捉えにくい→意味はBERTScore
- Bedrockの評価＝自動評価・人間評価・LLM-as-a-judge（RAG評価もあり）
- 主観的な品質（文体・ブランド・関連性）は人間評価が向く
指標だけで終わらせない：ビジネス目標との整合
ROUGEやBLEUのスコアが高くても、ビジネスの成果につながるとは限りません。実務では「何のために導入したのか」という目的に照らして評価することが大切です。
- コスト：1リクエストあたりの費用、運用コストは見合うか
- ユーザー満足度：実際の利用者が役立つと感じているか（アンケート・継続率）
- 業務指標：問い合わせ対応時間の短縮、コンバージョン率（CVR）の改善など
つまりNLP指標（ROUGE等）＋人間評価＋ビジネス指標を組み合わせ、多面的に「良し悪し」を判断するのが、責任ある運用の基本です。
確認クイズ
Q1. ニュース記事の自動要約の品質を、正解要約との語の重なり（再現率重視）で評価したい。最適な指標は？
Q2. 『言い回しは違うが意味は同じ』回答を正しく高評価したい。最適な指標は？
Q3. 文体やブランドらしさなど『主観的な品質』を評価したい。最適な方法は？
よくある質問（FAQ）
Q. ROUGEとBLEUの覚え方は？
A. 「要約＝ROUGE、翻訳＝BLEU」とセットで覚えるのが鉄板です。どちらも「正解文と語がどれだけ重なるか」を見ますが、ROUGEは再現率、BLEUは適合率を重視します。
Q. LLM-as-a-judgeは信頼できる？
A. 別のLLMに採点させる方法で、人手より速く安く、人間評価に近い結果が得られることが多いです。ただし審査側モデルの癖も入るため、重要な判断では人間評価と併用します。
Q. 評価はスコアが高ければOK？
A. いいえ。ROUGE等のスコアは目安にすぎません。コスト・ユーザー満足度・業務指標といったビジネス目標に照らして、総合的に判断することが重要です。
Q. ROUGEとBLEUはどちらを使えばいい？
A. 評価したいタスクで選びます。要約の品質ならROUGE、機械翻訳の品質ならBLEUが定番です。どちらも語の表面一致を見るため、「言い回しは違うが意味は合っている」回答も正しく評価したい場合はBERTScoreを併用します。AIF-C01では「要約＝ROUGE／翻訳＝BLEU／意味＝BERTScore」の対応を押さえておけば十分です。
まとめ
- ROUGE＝要約／BLEU＝翻訳／BERTScore＝意味の近さ／Perplexity＝流暢さ
- ROUGE/BLEUは表面一致で意味を捉えにくい→意味はBERTScore
- Bedrockの評価＝自動・人間・LLM-as-a-judge。最後はビジネス目標で判断
※本記事はAWS公式試験ガイド(AIF-C01)およびAmazon Bedrock Evaluations公式ドキュメントに基づき、エンジニアKが作成しています。機能名・提供状況は更新されるため、最新は公式ドキュメントをご確認ください。
コメント