トークンとは？——AIが文章を読むときに使う、小さな文字のかたまりのこと

ひとことで言うと：トークンは、AIが文章を読むときの「ひと口サイズ」

トークン（英語で token）とは、AIが文章を読み書きするときに使う、小さな文字のかたまりのことです。AIは、渡された文章を最初に細かく区切り、そのかたまりを1つずつ数えながら意味をとらえ、答えも同じかたまりを1つずつ並べて作っていきます。

給食をひと口ずつ食べることにたとえると

給食のカレーを、お皿ごと一気に口に入れる人はいません。スプーンでひと口ずつすくって食べます。ひと口の大きさは、具の大きさによって少し変わります。じゃがいもの大きなかたまりならそれでひと口、ごはんとルーなら一緒にひと口、という具合です。

AIも同じで、文章を「ひと口サイズ」に分けて読みます。このひと口がトークンです。よく出てくる言葉はまとめて1トークンになり、めずらしい言葉や記号は細かく分かれて何トークンにもなります。

もう少しくわしく：文章がトークンに区切られ、料金になるまでの4ステップ

AIに質問してから答えが返ってくるまでに、トークンは次のように使われます。

1. 文章を区切る：AIに渡した質問や資料が、AIごとに決まったルールでトークンに区切られます。この区切る作業を「トークン化」と呼びます
2. 読める量に収まるか確かめる：AIが一度に読める量には上限があり、それもトークン数で決まっています。上限を超えた部分は読まれなかったり、エラーになったりします
3. 答えをトークンで作る：AIは「次に来そうなトークン」を1つずつ選んで並べ、答えの文章を作ります
4. 使った分を数える：入力したトークン数（読んだ量）と、出力したトークン数（書いた量）を数え、その合計をもとに料金が計算されるサービスが多くあります

トークンで変わる3つのこと

1トークンに何文字入るか、上限が何トークンか、1トークンあたりいくらかは、AIの種類やサービスによって違い、変わることもあります。具体的な値は、各サービスの最新の公式情報で確認してください。

どんなときに出てくる？——料金表・エラー画面と、認証の「トークン」

AIを使う場面

対話型のAI（ChatGPTなど）に長い資料を貼りつけたとき、「メッセージが長すぎます」「上限に達しました」と表示されることがあります。これは、一度に読めるトークン数を超えたという意味です。資料を分けて渡したり、要点だけを渡したりすると読めるようになります。

AIを作る場面

委託先に社内向けのAIの仕組みを作ってもらうときは、次のような言い回しを耳にします。

• 「AIの利用料は、毎月使ったトークン数で決まります」
• 「マニュアルを全部渡すとトークンが多くなるので、関係する部分だけを探して渡します」
• 「答えが長くなりすぎないよう、出力のトークン数に上限を決めておきます」

いずれも、「AIに読ませる量と書かせる量を、トークンで数えて管理する」という意味です。トークンを減らす工夫は、そのまま費用を抑える工夫にもなります。

別の意味の「トークン」に注意

「トークン」という言葉は、AIの文字のかたまり以外の意味でも使われます。代表的なのが、セキュリティ（安全を守る仕組み）の分野でいう認証のトークンです。これは「この人は本人です」と確かめるための合言葉のような文字列で、ログインを続けるためや、ソフト同士が接続するために使われます。同じ「トークン」でも話の流れで意味が違うので、「料金や長さの話か」「ログインや接続の話か」で見分けましょう。

よく一緒に出てくる言葉——トークン化・コンテキストウィンドウ・従量課金など

トークンの話をしていると、次のような言葉もよく出てきます。ここでは名前と関係だけを押さえておきましょう。

AIの料金の仕組みをもう少しくわしく知りたい方は、API料金（API利用料）とは？で計算の考え方を解説しています。

仕事ではどう関係する？——費用と「読ませ方」を考えるときに役立つ

中小企業でトークンが関わるのは、主に「AIの利用料がいくらになるか」と「長い資料をAIに読ませたいとき」です。たとえば、問い合わせメールに返信案を作る、社内マニュアルから答えを探す、会議の文字起こしを要約する、といった業務では、AIに渡す文章が長いほど、また件数が多いほどトークン数が増え、利用料も増えます。

経営者がトークンの数え方を覚える必要はありません。ただ、「AIに何を、どれだけ読ませるか」で費用も精度も変わる、と知っておくと、委託先の説明が理解しやすくなります。

つまり大切なのは、トークンという言葉を覚えることより、どの業務のどの手間をなくしたいかと、そのためにAIに何を読ませるかを決めることです。そこが決まれば、トークンの量も費用の目安も見えてきます。

当社の「AI社員」は、会社ごとの業務に合わせてAIの仕組みを作り、運用まで支える月額のサービスです。AIに読ませる文章を必要な部分にしぼるなど、利用料が増えすぎない作り方も含めてご提案します。料金は初期費用＋月5万円で、保守・相談・メンテナンスは回数の制限なくご利用いただけます。初期費用は業務の内容をお聞きしたうえでお見積もりします。なお、AIの利用料は実費となります。「この業務をAIに任せると、利用料はどのくらいになりそうか」と気になったら、なくしたい作業を教えていただければ、一緒に確かめることができます。