AIのベンチマークとは?——AIモデルの実力をはかる物差し
結論
AIのベンチマークとは、AIモデル(AIの頭脳にあたる部分)の実力をはかる物差しで、みんなが同じ問題・同じ採点方法でためしてくらべるための「共通テスト」のことです。
- 新しいAIが発表されるときに「このテストで何点」と示される点数の多くは、このベンチマークの結果です。
- ただし、テストの点数が高いことと、自社の業務でうまく働くことは同じではないため、点数は目安として見て、最後は自社の実際の業務で確かめることが大切です。
株式会社MEDISITE 執行役員・AI事業責任者の吉村聡一郎が、AIのベンチマークの意味と仕組み、AIの発表で点数が出てくる場面、よく一緒に出てくる言葉、点数を仕事のAI選びにどう生かすかと注意点について解説します。新しいAIが発表されるたびに、「主要なベンチマークで最高点」「前のモデルより大きく向上」といった言葉がニュースや発表資料に並びます。表やグラフに知らないテストの名前と点数がたくさん出てきて、結局どのAIが自社に合うのかわからない、と感じたことはないでしょうか。この記事では、AIのベンチマークとは何かを学校のテストにたとえて説明し、どんな仕組みで点数が出るのか、どんな場面で目にするのか、一緒に出てくる言葉を整理します。最後に、点数を仕事のAI選びにどう生かせばよいかと、専門的な補足をまとめます。
ひとことで言うと:ベンチマークとは、AIのための「共通テスト」
ベンチマークとは、AIモデルの性能を、同じ問題・同じ採点方法でくらべるための共通テストのことです。もともと英語の「benchmark」は、測量で高さの基準にした目印を指す言葉で、そこから「くらべるときの物差し」という意味で使われるようになりました。パソコンの処理の速さをくらべるテストなどにも使われる言葉ですが、この記事ではAIモデルの実力をはかるテストの意味で説明します。
学校の共通テストにたとえると
ちがう学校の生徒の学力をくらべたいとき、それぞれの学校の定期テストの点数を並べても意味がありません。問題のむずかしさも、採点のきびしさもちがうからです。そこで、全員が同じ日に同じ問題を解き、同じ基準で採点する「共通テスト」を使います。
AIも同じです。ちがう会社が作ったAIをくらべるには、同じ問題を解かせ、同じ方法で採点する必要があります。この共通の問題集と採点のルールをまとめたものが、AIのベンチマークです。
| 学校のたとえ | AIの世界 |
|---|---|
| 受験する生徒 | AIモデル |
| 共通テストの問題 | ベンチマークの問題集(データセット) |
| 教科(国語・数学・英語) | はかる力の種類(知識・計算・プログラミング・文章の読み取りなど) |
| 採点基準 | 正解の決め方や点数の計算方法 |
| 成績順の一覧 | リーダーボード(点数順に並べた表) |
もう少しくわしく:ベンチマークの点数が出るまでの流れ
AIのベンチマークは、おおむね次のような流れで点数が出ます。
- 問題を用意する:研究者などが、はかりたい力に合わせて問題と正解をたくさん集める(例:いろいろな分野の選択問題、プログラムを直す課題)
- 解かせ方を決める:問題の出し方、何回まで答え直してよいか、どこまでヒントを出すかなどの条件をそろえる
- AIに解かせる:くらべたいAIモデルに、同じ条件で問題を解かせる
- 採点する:正解と合っているか、プログラムが実際に動くかなどを、決めた方法で採点する
- 公開・比較する:点数を発表したり、リーダーボードに並べたりして、ほかのAIとくらべる
ベンチマークには、はかる力によっていくつかの種類があります。
| はかる力 | どんなテストか | よく知られた例 |
|---|---|---|
| 幅広い知識 | いろいろな分野の選択問題に答えさせる | MMLU(エムエムエルユー)など |
| プログラミング | プログラムを書かせたり、実際の不具合を直させたりして、動くかで採点する | SWE-bench(エスダブリューイー・ベンチ)など |
| 人から見た使いやすさ | 2つのAIの答えを名前をかくして並べ、人がどちらが良いかを投票する | Chatbot Arena(チャットボット・アリーナ)など |
テストの名前は次々に新しく作られ、使われなくなるものもあります。点数の具体的な値はモデルの更新で変わるため、最新の情報は各社の公式サイトや、ベンチマークを運営する団体の公開ページで確認してください。
どんなときに出てくる?:AIの発表・ニュース・AI選びの資料
AIを使う・選ぶ場面
ベンチマークを最も目にするのは、新しいAIモデルの発表です。発表資料には、テストの名前と点数を並べた表や棒グラフがよく載っています。ニュースでも次のような言い回しで紹介されます。
- 「主要なベンチマークで、ほかのモデルを上回る成績」
- 「プログラミングのベンチマークで、前のモデルから大きく向上」
- 「リーダーボードで1位になった」
AIのサービスを選ぶ資料や、比較サイトでも、こうした点数が判断材料として引用されることがあります。
AIを作る・組みこむ場面
AIを業務に組みこむ会社や開発者は、公開されたベンチマークを参考に、使うモデルの候補をしぼります。そのうえで、自社の業務の例を集めた「自分たち専用のテスト」を作り、候補のモデルに同じ問題を解かせてくらべることがあります。これを「評価」や「社内ベンチマーク」と呼ぶこともあります。
よく一緒に出てくる言葉:リーダーボード・データセット・評価・LLM
ベンチマークと一緒に出てくる言葉を、ひとことずつ整理します。くわしい説明はそれぞれ別の記事で扱います。
| 用語 | ひとこと説明 | ベンチマークとの関係 |
|---|---|---|
| AIモデル | 学習によって作られた、AIの頭脳にあたる部分 | ベンチマークで点数をつけられる「受験者」 |
| LLM(エルエルエム) | 大量の文章を学んで、文章を読み書きできるAIモデル(大規模言語モデル) | いま発表される点数の多くは、LLMをくらべたもの |
| データセット | AIの学習やテストのために集めた、問題や例のまとまり | ベンチマークの問題集そのものにあたる |
| リーダーボード | ベンチマークの点数順にAIを並べた一覧表 | ベンチマークの結果を見せる場所 |
| 評価(エバリュエーション) | AIの答えの良し悪しを、決めた方法で確かめること | ベンチマークは評価の方法の1つ。自社用のテストも評価に含まれる |
AIモデルのベンチマークの見方:点数だけで選ばない理由と、自社の業務で試す方法
AIモデルのベンチマークは、「何をはかったテストか」を先に確かめ、点数はそのあとに見るのが正しい見方です。新しいAIの発表資料には、テストの名前と点数がずらりと並びます。いきなり点数の大小を見るのではなく、次の順番で読むと、自社にとって意味のある数字かどうかを判断しやすくなります。
発表資料の点数表を読む4つの手順
- テストの名前から、はかっている力を調べる:知識の選択問題なのか(MMLUなど)、プログラムを直す課題なのか(SWE-benchなど)、人の投票なのか(Chatbot Arenaなど)を確かめます
- 自社の業務に近い力かを考える:請求書の読み取り、メールの返信、議事録のまとめなど、任せたい仕事に近い力をはかっているテストだけに注目します
- 条件がそろっているかを見る:表の注記に、答え直しの回数やヒントの出し方などの条件が書かれていることがあります。条件がちがう点数は、そのまま並べてくらべられません
- 差の大きさを見る:上位のモデル同士の小さな差は、実際の仕事では感じられないことが多いので、「どれも同じくらい」と受け止めます
点数だけで選ばない理由
ベンチマークは、いわば「全国共通の学力テスト」です。学力テストの成績がよい人が、その会社の仕事にすぐなじむとは限りません。AIも同じで、共通テストでは自社の書類の書き方、社内の言葉、お客様とのやりとりの癖までははかれません。さらに、速さ・利用料・入力したデータの扱いといった、仕事で大事な条件は点数に表れません。そのため、点数は候補をしぼるための目安にとどめ、最後は自社の業務で試して決めます。
自社の業務で試す方法(自分たち専用の小さなテスト)
専門の知識がなくても、次の5つのステップで「自社版のベンチマーク」を作れます。
- 試す業務を1つ決める:「問い合わせメールへの返信の下書き」など、AIに任せたい仕事を1つにしぼります
- 実際の例を集める:過去のメールや書類から、よくある例とむずかしい例をまぜて、数十件ほど用意します。個人情報は消すか、記号に置きかえます
- 「よい答え」の基準を決める:正しいか、抜けがないか、言い回しが社内のルールに合っているか、など採点の基準を3〜5個書き出します
- 候補のAIに同じ条件で解かせる:同じ例を、同じ指示文で、候補のAIモデルそれぞれに渡します
- ふだんその仕事をしている人が採点する:どのAIの答えかをかくして並べると、思いこみのない採点ができます
| くらべる点 | 公開されたベンチマーク | 自社の業務で試すテスト |
|---|---|---|
| 問題 | 研究者などが作った共通の問題 | 自社の実際のメールや書類 |
| わかること | モデル全体の力の目安 | 自社の仕事でどれくらい使えるか |
| 採点する人 | 決まった自動の方法や、多くの人の投票 | ふだんその仕事をしている社員 |
| 使いどころ | 候補のモデルをしぼるとき | 使うモデルを最終的に決めるとき |
ポイント
自社の業務で試すテストは、一度作っておくと、新しいAIモデルが出たときにも同じ問題でくらべ直せます。点数の発表に振り回されず、「自社にとって良くなったか」で判断できるようになります。
仕事ではどう関係する?:点数は目安、決め手は自社の業務でのテスト
経営者や管理職がAIを選ぶとき、ベンチマークの点数は「どのモデルが全体として力を持っていそうか」を知る手がかりになります。ただし、共通テストで高い点を取った生徒が、どの職場でもすぐ活躍できるとは限らないのと同じで、点数だけで決めるのは危険です。
点数を見るときの注意点
- はかっている力が自社の業務とちがう:プログラミングのテストの点数は、請求書の読み取りやメールの返信の上手さを示すものではありません。
- 条件が同じとは限らない:答え直しの回数やヒントの出し方など、解かせ方の条件がちがう点数を並べている場合があります。
- 点数の差が小さい:上位のモデル同士では差がわずかで、実際の業務では感じられないことがあります。
- 点数以外の条件:答えが返ってくる速さ、利用料、入力したデータの扱いなどは、ベンチマークの点数には表れません。
AIを選ぶ前に確認すること
- AIに任せたい業務と、その業務で必要な力(読み取り・文章作成・計算など)を書き出したか
- 参考にする点数が、その力をはかるテストのものか
- 自社の実際の書類やメールの例をいくつか用意して、候補のAIにためせるか
- 点数のほかに、速さ・利用料・データの扱いを確かめたか
専門的な補足
ベンチマークには、技術的な弱点も知られています。1つは「データ汚染(コンタミネーション)」で、テストの問題や答えがAIの学習データにまぎれこみ、実力以上の点数が出てしまうことです。もう1つは「飽和」で、多くのモデルが満点近くを取るようになると、そのテストでは差がつかなくなります。そのため、新しいテストが次々に作られ、問題を公開しない形式や、人の投票による比較など、はかり方の工夫も続いています。
当社の「AI社員」では、お客様の実際の業務の例を使って、どのAIモデルが合うかを確かめながら仕組みを作ります。料金は初期費用+月5万円で、初期費用はヒアリング後にお見積もりします。大切なのはテストの点数を追うことより、どの業務のどの手間をなくしたいかです。どのAIを選べばよいか迷ったら、お気軽にご相談ください。
よくある質問
AIのベンチマークとは簡単に言うと何ですか?
AIモデルの実力を、同じ問題・同じ採点方法でくらべるための共通テストです。新しいAIの発表で示される点数の多くは、このテストの結果です。
AIモデルのベンチマークはどう見ればよいですか?
まずテストの名前から「何の力をはかったテストか」を確かめ、自社の業務に近い力のテストだけに注目します。条件がそろっているか、差が大きいかも見たうえで、最後は自社の実際のメールや書類で試して決めるのがおすすめです。
ベンチマークの点数が高いAIを選べば間違いない?
そうとは限りません。テストがはかる力と自社の業務で必要な力がちがうことも多いため、点数は目安にして、自社の実際の書類やメールでためしてから決めるのがおすすめです。
ベンチマークと評価の違いは?
評価はAIの答えの良し悪しを確かめること全体を指す広い言葉で、ベンチマークはその中でも、多くの人が共通で使う問題集と採点方法のことです。自社の業務の例で作るテストは、評価の一種です。
ベンチマークの最新の点数はどこで見られる?
AIモデルを提供する各社の発表資料や、ベンチマークを運営する団体の公開ページ(リーダーボード)で見られます。点数はモデルの更新で変わるため、最新の情報は各社の公式サイトで確認してください。