LLM（基盤モデル）の評価手法が必要とされる背景
ChatGPTをはじめとする大規模言語モデル（LLM）や基盤モデルの急速な発展に伴い、「そのモデルがどれだけ優秀なのか」「実務に耐えうる性能を持っているのか」を客観的に評価することが極めて重要になっています。
自然言語は正解が一つではないケースが多く、モデルの評価は一筋縄ではいきません。そのため、現在のAI開発においては、「人間による評価」と「自動評価」という2つのアプローチを組み合わせて多角的に検証する手法が主流となっています。本記事では、それぞれの評価手法の仕組みと具体的な指標について網羅的に解説します。
—
1. 人間による評価（ヒューマンエバリュエーション）
「人間による評価」は、作成されたテキストの自然さ、論理性の破綻、文脈の理解度など、数値化しにくい定性的な品質を人間（専門家やクラウドワーカー）が実際に読んで判定する手法です。
人間による評価のメリット
- 高度なニュアンスの理解：皮肉、ユーモア、文化的背景を汲み取った高度な文章評価が可能です。
- 事実性の検証：モデルがもっともらしい嘘をつく「ハルシネーション（幻覚）」を正確に見破ることができます。
人間による評価のデメリットと課題
- コストと時間の膨大さ：大量の出力を評価する場合、人件費と作業時間が莫大になります。
- 主観によるバラつき：評価者の基準や知識レベルによって、スコアに偏り（バイアス）が生じる可能性があります。
—
2. 自動評価①：ベンチマークデータセットによる評価
人間の手を使う代わりに、研究者たちが標準化した「問題集」をモデルに解かせ、その正解率を測定することでモデルの能力を標準化・定量化する手法です。代表的なデータセットには以下のものがあります。
MMLU（Massive Multitask Language Understanding）
MMLUは、人文科学、社会科学、STEM（科学・技術・工学・数学）など、57の分野にわたる知識を問う多岐選択問題（4択問題）のデータセットです。小学校レベルの基礎知識からプロフェッショナルな専門知識まで幅広く網羅されており、現在のLLMの総合的な知識量を測るデファクトスタンダード（業界標準）として利用されています。
GLUE ／ SuperGLUE
GLUE（General Language Understanding Evaluation）およびその進化版であるSuperGLUEは、単一のタスクではなく、文章理解や推論（感情分析、文章の類似度判定、因果関係の推論など）の複数のタスクを集めたデータセットです。文脈をどれだけ深く理解し、論理的な思考（推論）ができるかを総合的に評価します。
SQuAD（Stanford Question Answering Dataset）
SQuADは、スタンフォード大学が開発した質問応答（QA）タスク専用のデータセットです。提示されたWikipediaの文章（コンテキスト）をモデルに読ませ、それに関する質問に対して、文章中から正確な答えの該当箇所を抽出できるかを測定します。
—
3. 自動評価②：言語生成・タスク別の主要な評価指標
モデルが生成したテキストが、あらかじめ用意された「正解データ（参照文）」とどれだけ一致しているかを数学的・統計的に計算する指標です。これらを理解する上で重要なキーワードが「n-gram」です。
n-gramとは：テキストから連続するn個の単語（または文字）のまとまりを切り出したものです。例えば「AIが未来を創る」という文を単語単位の2-gram（bigram）に分割すると、「AI-が」「が-未来」「未来-を」「を-創る」となります。自動評価指標の多くは、このn-gramの一致度をベースに計算されます。
| 評価指標 | 主な用途 | 特徴と算出の仕組み |
|---|---|---|
| ROUGE | テキスト要約 | 再現率（Recall）に焦点を当てた指標。正解文に含まれるn-gramを、モデルがどれだけ漏れなく出力できたかを測定します。基本的に単語の表面的な一致のみを評価します。 |
| BLEU | 機械翻訳 | 適合率（Precision）に焦点を当てた指標。モデルが出力した文の中に、正解文のn-gramがどれだけ含まれているかを測定します。短い文ほどスコアが高くなりやすいため、極端に短い文に罰則を与える「ブレビティペナルティ」が組み込まれています。 |
| F1スコア | 分類タスク・質問応答 | 適合率と再現率の調和平均です。質問応答（SQuADなど）で、出力された単語の過不足のバランスを総合的に評価する際によく用いられます。 |
| BERTScore | 高度な文章生成全般 | 単語の単純な一致ではなく、自然言語処理モデル（BERTなど）を用いて単語の意味をベクトル化し、コサイン類似度で評価します。そのため、「文章の表現は違うが、意味が同じ」場合でも正しく高く評価できるのが特徴です。 |
—
4. 自動評価③：システム運用における「実行効率」の評価
どれだけ賢いモデルであっても、実システムに組み込んだ際に動作が遅かったり、コストが高すぎたりしては実用化できません。そのため、以下のシステム的な評価指標も極めて重要です。
- レイテンシ（Latency）：ユーザーがプロンプトを入力（リクエスト）してから、最初の文字、あるいは全ての回答が返ってくる（レスポンス）までの時間です。リアルタイムなチャットボットなどでは、短いレイテンシが要求されます。
- スループット（Throughput）：一定の時間内（例：1秒間）にシステムが処理できるリクエスト数やトークン数のことです。大量のユーザーアクセスに耐えられるかを評価します。
- コスト効率（Cost Efficiency）：モデルの推論（インファレンス）にかかる計算リソースやAPI利用料のコストです。性能と費用のトレードオフを考慮する際の重要な判断材料となります。
—
5. 自動評価④：安全性を担保する「モデレーションAPI」
基盤モデルを一般に公開・運用するにあたり、モデルの出力が「安全か」「有害でないか」を自動で確認する仕組みが不可欠です。これを担うのがモデレーションAPIです。
モデルが生成したテキストをモデレーションAPIに通すことで、ヘイトスピーチ、セルフハーム（自傷行為）、暴力表現、性的コンテンツなどの有害なカテゴリに該当していないかをリアルタイムに検知・フィルタリングし、システムの安全性を担保します。
