ベンチマークとは？——AIの実力をくらべるための「共通テスト」のこと
結論
ベンチマークとは、AIモデル（AIの頭脳にあたる部分）の実力を、みんなが同じ問題・同じ採点方法でためしてくらべるための「共通テスト」のことです。新しいAIが発表されるときに「このテストで何点」と示される点数の多くは、このベンチマークの結果です。ただし、テストの点数が高いことと、自社の業務でうまく働くことは同じではないため、点数は目安として見て、最後は自社の実際の業務で確かめることが大切です。
株式会社MEDISITE 執行役員・AI事業責任者の吉村聡一郎が、AIのベンチマークの意味と仕組み、AIの発表で点数が出てくる場面、よく一緒に出てくる言葉、点数を仕事のAI選びにどう生かすかと注意点について解説します。新しいAIが発表されるたびに、「主要なベンチマークで最高点」「前のモデルより大きく向上」といった言葉がニュースや発表資料に並びます。表やグラフに知らないテストの名前と点数がたくさん出てきて、結局どのAIが自社に合うのかわからない、と感じたことはないでしょうか。この記事では、AIのベンチマークとは何かを学校のテストにたとえて説明し、どんな仕組みで点数が出るのか、どんな場面で目にするのか、一緒に出てくる言葉を整理します。最後に、点数を仕事のAI選びにどう生かせばよいかと、専門的な補足をまとめます。
ひとことで言うと：ベンチマークとは、AIのための「共通テスト」
ベンチマークとは、AIモデルの性能を、同じ問題・同じ採点方法でくらべるための共通テストのことです。もともと英語の「benchmark」は、測量で高さの基準にした目印を指す言葉で、そこから「くらべるときの物差し」という意味で使われるようになりました。パソコンの処理の速さをくらべるテストなどにも使われる言葉ですが、この記事ではAIモデルの実力をはかるテストの意味で説明します。
学校の共通テストにたとえると
ちがう学校の生徒の学力をくらべたいとき、それぞれの学校の定期テストの点数を並べても意味がありません。問題のむずかしさも、採点のきびしさもちがうからです。そこで、全員が同じ日に同じ問題を解き、同じ基準で採点する「共通テスト」を使います。
AIも同じです。ちがう会社が作ったAIをくらべるには、同じ問題を解かせ、同じ方法で採点する必要があります。この共通の問題集と採点のルールをまとめたものが、AIのベンチマークです。
| 学校のたとえ | AIの世界 |
|---|---|
| 受験する生徒 | AIモデル |
| 共通テストの問題 | ベンチマークの問題集（データセット） |
| 教科（国語・数学・英語） | はかる力の種類（知識・計算・プログラミング・文章の読み取りなど） |
| 採点基準 | 正解の決め方や点数の計算方法 |
| 成績順の一覧 | リーダーボード（点数順に並べた表） |
もう少しくわしく：ベンチマークの点数が出るまでの流れ
AIのベンチマークは、おおむね次のような流れで点数が出ます。
- 問題を用意する：研究者などが、はかりたい力に合わせて問題と正解をたくさん集める（例：いろいろな分野の選択問題、プログラムを直す課題）
- 解かせ方を決める：問題の出し方、何回まで答え直してよいか、どこまでヒントを出すかなどの条件をそろえる
- AIに解かせる：くらべたいAIモデルに、同じ条件で問題を解かせる
- 採点する：正解と合っているか、プログラムが実際に動くかなどを、決めた方法で採点する
- 公開・比較する：点数を発表したり、リーダーボードに並べたりして、ほかのAIとくらべる
ベンチマークには、はかる力によっていくつかの種類があります。
| はかる力 | どんなテストか | よく知られた例 |
|---|---|---|
| 幅広い知識 | いろいろな分野の選択問題に答えさせる | MMLU（エムエムエルユー）など |
| プログラミング | プログラムを書かせたり、実際の不具合を直させたりして、動くかで採点する | SWE-bench（エスダブリューイー・ベンチ）など |
| 人から見た使いやすさ | 2つのAIの答えを名前をかくして並べ、人がどちらが良いかを投票する | Chatbot Arena（チャットボット・アリーナ）など |
テストの名前は次々に新しく作られ、使われなくなるものもあります。点数の具体的な値はモデルの更新で変わるため、最新の情報は各社の公式サイトや、ベンチマークを運営する団体の公開ページで確認してください。
どんなときに出てくる？：AIの発表・ニュース・AI選びの資料
AIを使う・選ぶ場面
ベンチマークを最も目にするのは、新しいAIモデルの発表です。発表資料には、テストの名前と点数を並べた表や棒グラフがよく載っています。ニュースでも次のような言い回しで紹介されます。
- 「主要なベンチマークで、ほかのモデルを上回る成績」
- 「プログラミングのベンチマークで、前のモデルから大きく向上」
- 「リーダーボードで1位になった」
AIのサービスを選ぶ資料や、比較サイトでも、こうした点数が判断材料として引用されることがあります。
AIを作る・組みこむ場面
AIを業務に組みこむ会社や開発者は、公開されたベンチマークを参考に、使うモデルの候補をしぼります。そのうえで、自社の業務の例を集めた「自分たち専用のテスト」を作り、候補のモデルに同じ問題を解かせてくらべることがあります。これを「評価」や「社内ベンチマーク」と呼ぶこともあります。
よく一緒に出てくる言葉：リーダーボード・データセット・評価・LLM
ベンチマークと一緒に出てくる言葉を、ひとことずつ整理します。くわしい説明はそれぞれ別の記事で扱います。
| 用語 | ひとこと説明 | ベンチマークとの関係 |
|---|---|---|
| AIモデル | 学習によって作られた、AIの頭脳にあたる部分 | ベンチマークで点数をつけられる「受験者」 |
| LLM（エルエルエム） | 大量の文章を学んで、文章を読み書きできるAIモデル（大規模言語モデル） | いま発表される点数の多くは、LLMをくらべたもの |
| データセット | AIの学習やテストのために集めた、問題や例のまとまり | ベンチマークの問題集そのものにあたる |
| リーダーボード | ベンチマークの点数順にAIを並べた一覧表 | ベンチマークの結果を見せる場所 |
| 評価（エバリュエーション） | AIの答えの良し悪しを、決めた方法で確かめること | ベンチマークは評価の方法の1つ。自社用のテストも評価に含まれる |
仕事ではどう関係する？：点数は目安、決め手は自社の業務でのテスト
経営者や管理職がAIを選ぶとき、ベンチマークの点数は「どのモデルが全体として力を持っていそうか」を知る手がかりになります。ただし、共通テストで高い点を取った生徒が、どの職場でもすぐ活躍できるとは限らないのと同じで、点数だけで決めるのは危険です。
点数を見るときの注意点
- はかっている力が自社の業務とちがう：プログラミングのテストの点数は、請求書の読み取りやメールの返信の上手さを示すものではありません。
- 条件が同じとは限らない：答え直しの回数やヒントの出し方など、解かせ方の条件がちがう点数を並べている場合があります。
- 点数の差が小さい：上位のモデル同士では差がわずかで、実際の業務では感じられないことがあります。
- 点数以外の条件：答えが返ってくる速さ、利用料、入力したデータの扱いなどは、ベンチマークの点数には表れません。
AIを選ぶ前に確認すること
- AIに任せたい業務と、その業務で必要な力（読み取り・文章作成・計算など）を書き出したか
- 参考にする点数が、その力をはかるテストのものか
- 自社の実際の書類やメールの例をいくつか用意して、候補のAIにためせるか
- 点数のほかに、速さ・利用料・データの扱いを確かめたか
専門的な補足
ベンチマークには、技術的な弱点も知られています。1つは「データ汚染（コンタミネーション）」で、テストの問題や答えがAIの学習データにまぎれこみ、実力以上の点数が出てしまうことです。もう1つは「飽和」で、多くのモデルが満点近くを取るようになると、そのテストでは差がつかなくなります。そのため、新しいテストが次々に作られ、問題を公開しない形式や、人の投票による比較など、はかり方の工夫も続いています。
当社の「AI社員」では、お客様の実際の業務の例を使って、どのAIモデルが合うかを確かめながら仕組みを作ります。料金は初期費用＋月5万円で、初期費用はヒアリング後にお見積もりします。大切なのはテストの点数を追うことより、どの業務のどの手間をなくしたいかです。どのAIを選べばよいか迷ったら、お気軽にご相談ください。
よくある質問
AIのベンチマークとは簡単に言うと何ですか？
AIモデルの実力を、同じ問題・同じ採点方法でくらべるための共通テストです。新しいAIの発表で示される点数の多くは、このテストの結果です。
ベンチマークの点数が高いAIを選べば間違いない？
そうとは限りません。テストがはかる力と自社の業務で必要な力がちがうことも多いため、点数は目安にして、自社の実際の書類やメールでためしてから決めるのがおすすめです。
ベンチマークと評価の違いは？
評価はAIの答えの良し悪しを確かめること全体を指す広い言葉で、ベンチマークはその中でも、多くの人が共通で使う問題集と採点方法のことです。自社の業務の例で作るテストは、評価の一種です。
ベンチマークの最新の点数はどこで見られる？
AIモデルを提供する各社の発表資料や、ベンチマークを運営する団体の公開ページ（リーダーボード）で見られます。点数はモデルの更新で変わるため、最新の情報は各社の公式サイトで確認してください。
