AI導入の効果は本番稼働後にどう測り、社内に報告する?——基準値の取り方・追う指標・月次の振り返り表と、効果が出ないときの見直し方
結論
AI導入の効果は、本番稼働の前に取った基準値(導入前の数字)と比べて、作業時間・処理件数・ミスや手直し・待ち時間といった同じ指標を、毎月同じ方法で測ることで確かめます。測った結果は1枚の月次の振り返り表にまとめ、「数字がどう変わったか」「浮いた時間を何に使ったか」「来月何を直すか」の3点で社内に報告します。効果が伸びないときは、使われていない・手直しが多い・対象の量が少ない・測り方がずれている、のどれが原因かを切り分けて見直します。
株式会社MEDISITE 執行役員・AI事業責任者の吉村聡一郎が、AI導入の効果を本番稼働後に継続して測り、社内に報告する方法と、効果が出ないときの見直し方について解説します。AIの仕組みが本番で動き始めると、最初の数週間は「楽になった」という声が聞こえてきます。ところが数か月たつと、「結局どれくらい効果があったのか」「来年も続ける価値があるのか」と聞かれても、はっきり答えられないという会社は少なくありません。導入前のゴール設定や試運転で効果を測っていても、本番稼働後に測り続ける仕組みがなければ、効果は少しずつ見えなくなっていきます。この記事では、本番稼働後に効果を測り続けるための基準値の取り方、追うべき指標、毎月使える振り返り表、経営会議や現場への報告のしかた、そして効果が出ないときの見直し方を、経営者の方向けに説明します。
稼働後の効果は「同じ指標を、同じ方法で、毎月」測ると見えてくる
AI導入の効果測定には、3つの段階があります。導入前に「何をもって成功とするか」を決める段階、試運転(パイロット)で本格導入するかを判断する段階、そして本番稼働後に効果を測り続ける段階です。前の2つは「AI導入の目的とゴールはどう決めればよいか」「AI導入の試運転(パイロット)はどう進めるか」の記事で説明しています。この記事で扱うのは、3つ目の本番稼働後です。
| 段階 | 目的 | 測る期間 |
|---|---|---|
| 導入前のゴール設定 | 成功の基準と目標値を決める | 導入を決める前 |
| 試運転での効果測定 | 本格導入するかを判断する | 数週間〜1、2か月 |
| 本番稼働後の測定と報告 | 効果を保ち、伸ばし、続けるかを判断する | 稼働している間ずっと(月1回) |
本番稼働後の測定で大切なのは、次の3つをそろえることです。
- 同じ指標:毎月測る数字を決めたら、途中で変えない
- 同じ方法:数え方や記録のしかたを決め、担当者が替わっても同じように測れるようにする
- 同じタイミング:毎月の締め日を決め、同じ時期に集計して報告する
この3つがそろっていないと、数字が良くなったのか、測り方が変わっただけなのかが区別できません。効果測定は、正確さよりも「続けられること」と「比べられること」を優先して設計しましょう。
基準値は本番稼働の直前に、ふだんの業務の中で2〜4週間取る
基準値とは、AIを使う前の状態を表す数字のことです。稼働後の数字は、この基準値と比べて初めて意味を持ちます。試運転のときに測った数字がある場合でも、本番の対象範囲が広がっていたり、担当者が増えていたりするなら、本番用に取り直すことをおすすめします。
基準値の取り方
- 期間を決める:本番稼働の直前に、2〜4週間ほど記録します。月末や繁忙期だけに偏らないよう、ふだんの業務の波が入る期間を選びます
- 件数を数える:対象の業務が期間中に何件あったかを数えます。受注書なら枚数、問い合わせなら件数です
- 1件あたりの時間を測る:全件の時間を測るのは大変なので、1日のうち数件だけ、始めと終わりの時刻を書き留めて平均を出す方法で十分です
- ミスや手直しを記録する:入力の誤り、差し戻し、お客様からの指摘など、手直しが発生した件数を書き留めます
- 待ち時間を記録する:問い合わせへの初回返信や、書類の作成依頼から完成までなど、相手を待たせている時間を記録します
基準値を取り忘れたときは
すでに本番で動き始めていて、導入前の数字がない場合もあるでしょう。その場合は、過去のメールの送信時刻、システムの入力記録、残業の記録など、すでに残っているデータから当時の状態をおおまかに推定します。それも難しければ、AIを使わずに処理する日を数日だけつくって比べる方法もあります。完全な数字でなくても、「何を根拠にした数字か」を書き添えておけば、報告の材料として十分に使えます。
ポイント
基準値の記録は、現場の負担にならない方法を選びましょう。細かすぎる記録は続かず、途中から数字が雑になります。「件数」「数件分の時間」「手直しの件数」の3つだけでも、効果は十分に比べられます。
追う指標は「時間・件数・ミス・待ち時間」に、利用率と手直し率を加える
本番稼働後に追う指標は、成果を表す指標と、仕組みが健全に使われているかを表す指標の2種類に分けて考えると整理しやすくなります。
| 種類 | 指標 | 測り方の例 | わかること |
|---|---|---|---|
| 成果 | 作業時間 | 1件あたりの時間×件数 | どれだけ時間が浮いたか |
| 成果 | 処理件数 | 月に処理した件数 | 同じ人数でこなせる量が増えたか |
| 成果 | ミス・手直し | 差し戻しや指摘の件数 | 仕事の質が保たれているか |
| 成果 | 待ち時間 | 依頼から返信・完成までの時間 | お客様や社内を待たせていないか |
| 健全さ | 利用率 | 対象業務のうちAIを通した件数の割合 | 現場で本当に使われているか |
| 健全さ | 人の手直し率 | AIの下書きを人が大きく直した割合 | AIの出来が落ちていないか |
| 健全さ | AI利用料 | 月ごとのAIの利用料(実費) | 費用が想定どおりか |
成果の指標だけを見ていると、数字が下がり始めたときに理由がわかりません。たとえば作業時間の削減が小さくなってきたとき、利用率が下がっていれば「現場で使われなくなっている」、手直し率が上がっていれば「AIの出来が落ちている」と、原因の見当がつきます。
指標は欲張らず、成果の指標から1〜2つ、健全さの指標から1〜2つ、合わせて3〜4つに絞るのがおすすめです。測る数字が多すぎると集計が負担になり、報告も読まれなくなります。
時間を金額に置きかえるときの注意
経営会議では、浮いた時間を金額に置きかえると伝わりやすくなります。「浮いた時間×担当者の時給」でおおよその人件費に換算できますが、浮いた時間がそのまま費用の削減になるとは限りません。残業が減ったのか、別の仕事に回せたのかを分けて書くと、数字の意味が正しく伝わります。
月次の振り返り表は1枚にまとめ、「数字・理由・次の手」をセットで書く
毎月の振り返りは、1枚の表にまとめると続けやすくなります。次は、受注書の入力をAIに任せた場合の記入例です(数字は説明のための架空の例です)。
| 指標 | 基準値 | 今月 | 先月 | ひとこと |
|---|---|---|---|---|
| 1日あたりの入力時間 | 120分 | 25分 | 30分 | 新しい取引先の書式にも対応できた |
| 月の処理件数 | 400件 | 430件 | 410件 | 繁忙期だが残業なしで処理 |
| 入力ミスの件数 | 8件 | 3件 | 4件 | 品番の読み違いが2件 |
| AIを通した割合 | — | 92% | 85% | 手書きのFAXは人が入力 |
| 人が大きく直した割合 | — | 6% | 9% | 指示文の見直しで改善 |
表の下には、次の3点を短く書き添えます。
- 今月の変化と理由:数字が良くなった、悪くなった理由を1〜2文で書く
- 浮いた時間の使い道:浮いた時間で何をしたか(取引先へのフォロー、別の業務の改善など)を書く
- 来月の次の手:直すこと、広げること、様子を見ることを1つ決める
「浮いた時間の使い道」は、多くの会社で抜け落ちやすい項目です。時間が浮いても、それが何に使われたかが見えないと、経営者からは「本当に効果があったのか」が判断しにくくなります。浮いた時間で生まれた成果まで書けると、AI導入が会社の数字にどうつながったかを説明しやすくなります。
月次の振り返り表のチェックリスト
- 基準値・今月・先月の3つが並び、変化がひと目でわかる
- 成果の指標と健全さの指標の両方が入っている
- 数字の変化に、理由が書き添えてある
- 浮いた時間を何に使ったかが書いてある
- 来月の次の手が1つ決まっている
- 集計した人と、締め日が決まっている
社内への報告は、経営会議・現場・全社で伝える中身を変える
同じ振り返り表をもとにしても、誰に伝えるかで強調すべき点は変わります。報告の相手ごとに、伝える中身を分けておきましょう。
| 報告の相手 | 頻度の目安 | 伝える中心 |
|---|---|---|
| 経営会議・役員 | 月1回 | 浮いた時間と金額の目安、費用(月額とAI利用料)との比べ、続ける・広げるの判断材料 |
| 現場の担当者 | 月1回 | 手直しが多かった場面、改善した点、困っていることの吸い上げ |
| 全社 | 3か月〜半年に1回 | どの業務がどう変わったか、次にどこへ広げるか |
経営会議では「費用と効果」を同じ表で見せる
経営会議での報告は、効果だけでなく、かかった費用も並べて見せます。月額の費用とAI利用料を合わせた金額と、浮いた時間の金額の目安を並べると、続ける価値があるかを判断しやすくなります。費用の内訳の考え方は「AI導入にかかる費用の内訳とは?」の記事でも説明しています。
現場には「数字で責めない」報告にする
現場向けの報告で、利用率が低いことを担当者の責任のように伝えると、記録の数字が正直でなくなります。数字は「仕組みを直すための材料」として共有し、使いにくかった場面や、AIが苦手だった書類の例を集める場にしましょう。現場の声から改善点が見つかると、翌月の数字にもつながります。
全社には「業務がどう変わったか」を短く伝える
全社向けの報告では、細かい数字よりも、仕事の中身がどう変わったかを伝えます。「受注書の入力は、今はAIが下書きし、担当者は確認だけをしています」「問い合わせへの最初の返信は、夜間でもすぐ届くようになりました」のように、業務の変化を1〜2文で書き、次にAIを広げる予定の業務を添えます。ほかの部署の社員が「自分の仕事でも使えるかもしれない」と考えるきっかけになり、次の対象業務の候補も集まりやすくなります。
当社自身も、社内の業務にAIを取り入れ、月に約480時間の作業を減らしてきました。このように「何時間減ったか」を言える状態をつくるには、毎月同じ方法で測って記録を残し続けることが欠かせません。
効果が出ないときは、原因を4つに切り分けて「直す・広げる・やめる」を決める
稼働後しばらくして、思ったほど効果が出ない、あるいは最初は出ていた効果が小さくなってきた、ということは珍しくありません。その場合は、感覚で判断せず、振り返り表の数字から原因を切り分けます。
| 原因 | 数字に表れるサイン | 見直しの方向 |
|---|---|---|
| 使われていない | 利用率が低い、下がってきた | 使いにくい場面を現場に聞き、手順や画面を直す |
| 手直しが多い | 人の手直し率が高い、上がってきた | 指示文や参考資料を見直す、AIに任せる範囲を絞る |
| 対象の量が少ない | 1件あたりの時間は減ったが、件数が少なく合計が小さい | 同じ仕組みで扱える別の業務に広げる |
| 測り方がずれている | 現場の実感と数字が合わない | 基準値の取り方や数え方を見直し、測り直す |
原因がわかったら、次の3つのどれにするかを決めます。
- 直す:指示文、手順、AIに任せる範囲を調整して、もう1〜2か月測る
- 広げる:仕組みはうまく動いているが量が少ない場合、似た業務や別の部署に広げる
- やめる・切り替える:直しても改善しない場合は、その業務での利用をやめ、より向いている業務に切り替える
「やめる」を選ぶのは失敗ではありません。測り続けていたからこそ、早めに判断できたということです。判断のタイミングは、3か月ごとと契約の更新前に置いておくと、ずるずると続けてしまうことを防げます。
当社の導入事例でも、製造業(従業員30名規模)の受注書入力が1日2時間から15分に、不動産会社(従業員15名規模)の問い合わせへの初回返信が半日から10分に、介護事業所(職員50名規模)の毎月のシフト作成が2日から半日になりました。どの事例も、導入前の数字があったからこそ変化をはっきり示せています。当社のAI社員は、料金が初期費用+月5万円で、保守や相談、調整に回数の制限なく対応しています。効果の測り方を一緒に決めるところから、稼働後の振り返りと見直しまで伴走しますので、「入れたAIの効果をきちんと説明できるようにしたい」という段階でもお気軽にご相談ください。
よくある質問
AI導入の効果は何で測ればよいですか?
作業時間・処理件数・ミスや手直しの件数・待ち時間のうち、対象の業務に合うものを1〜2つ選びます。あわせて、AIが現場で使われている割合と、人が大きく直した割合も追うと、効果が落ちたときの原因がわかります。
導入前の数字(基準値)を取っていなかった場合はどうすればよいですか?
メールの送信時刻や入力記録、残業の記録など、残っているデータから当時の状態をおおまかに推定します。それも難しければ、AIを使わずに処理する日を数日つくって比べ、何を根拠にした数字かを書き添えて使いましょう。
AI導入の効果は社内にどう報告すればよいですか?
基準値・今月・先月を並べた1枚の振り返り表に、変化の理由、浮いた時間の使い道、来月の次の手を書き添えて報告します。経営会議には費用と効果を並べ、現場には改善の材料として共有すると伝わりやすくなります。
AIを入れたのに効果が出ないときはどうすればよいですか?
使われていない、手直しが多い、対象の量が少ない、測り方がずれている、のどれが原因かを数字で切り分けます。そのうえで、直す・広げる・やめるのいずれかを決め、3か月ごとと契約の更新前に判断し直します。