運用・定着公開日

AI導入の効果は本番稼働後にどう測り、社内に報告する?——基準値の取り方・追う指標・月次の振り返り表と、効果が出ないときの見直し方

結論

AI導入の効果は、本番稼働の前に取った基準値(導入前の数字)と比べて、作業時間・処理件数・ミスや手直し・待ち時間といった同じ指標を、毎月同じ方法で測ることで確かめます。測った結果は1枚の月次の振り返り表にまとめ、「数字がどう変わったか」「浮いた時間を何に使ったか」「来月何を直すか」の3点で社内に報告します。効果が伸びないときは、使われていない・手直しが多い・対象の量が少ない・測り方がずれている、のどれが原因かを切り分けて見直します。

株式会社MEDISITE 執行役員・AI事業責任者の吉村聡一郎が、AI導入の効果を本番稼働後に継続して測り、社内に報告する方法と、効果が出ないときの見直し方について解説します。AIの仕組みが本番で動き始めると、最初の数週間は「楽になった」という声が聞こえてきます。ところが数か月たつと、「結局どれくらい効果があったのか」「来年も続ける価値があるのか」と聞かれても、はっきり答えられないという会社は少なくありません。導入前のゴール設定や試運転で効果を測っていても、本番稼働後に測り続ける仕組みがなければ、効果は少しずつ見えなくなっていきます。この記事では、本番稼働後に効果を測り続けるための基準値の取り方、追うべき指標、毎月使える振り返り表、経営会議や現場への報告のしかた、そして効果が出ないときの見直し方を、経営者の方向けに説明します。

稼働後の効果は「同じ指標を、同じ方法で、毎月」測ると見えてくる

AI導入の効果測定には、3つの段階があります。導入前に「何をもって成功とするか」を決める段階、試運転(パイロット)で本格導入するかを判断する段階、そして本番稼働後に効果を測り続ける段階です。前の2つは「AI導入の目的とゴールはどう決めればよいか」「AI導入の試運転(パイロット)はどう進めるか」の記事で説明しています。この記事で扱うのは、3つ目の本番稼働後です。

段階目的測る期間
導入前のゴール設定成功の基準と目標値を決める導入を決める前
試運転での効果測定本格導入するかを判断する数週間〜1、2か月
本番稼働後の測定と報告効果を保ち、伸ばし、続けるかを判断する稼働している間ずっと(月1回)

本番稼働後の測定で大切なのは、次の3つをそろえることです。

  1. 同じ指標:毎月測る数字を決めたら、途中で変えない
  2. 同じ方法:数え方や記録のしかたを決め、担当者が替わっても同じように測れるようにする
  3. 同じタイミング:毎月の締め日を決め、同じ時期に集計して報告する

この3つがそろっていないと、数字が良くなったのか、測り方が変わっただけなのかが区別できません。効果測定は、正確さよりも「続けられること」と「比べられること」を優先して設計しましょう。

基準値は本番稼働の直前に、ふだんの業務の中で2〜4週間取る

基準値とは、AIを使う前の状態を表す数字のことです。稼働後の数字は、この基準値と比べて初めて意味を持ちます。試運転のときに測った数字がある場合でも、本番の対象範囲が広がっていたり、担当者が増えていたりするなら、本番用に取り直すことをおすすめします。

基準値の取り方

  1. 期間を決める:本番稼働の直前に、2〜4週間ほど記録します。月末や繁忙期だけに偏らないよう、ふだんの業務の波が入る期間を選びます
  2. 件数を数える:対象の業務が期間中に何件あったかを数えます。受注書なら枚数、問い合わせなら件数です
  3. 1件あたりの時間を測る:全件の時間を測るのは大変なので、1日のうち数件だけ、始めと終わりの時刻を書き留めて平均を出す方法で十分です
  4. ミスや手直しを記録する:入力の誤り、差し戻し、お客様からの指摘など、手直しが発生した件数を書き留めます
  5. 待ち時間を記録する:問い合わせへの初回返信や、書類の作成依頼から完成までなど、相手を待たせている時間を記録します

基準値を取り忘れたときは

すでに本番で動き始めていて、導入前の数字がない場合もあるでしょう。その場合は、過去のメールの送信時刻、システムの入力記録、残業の記録など、すでに残っているデータから当時の状態をおおまかに推定します。それも難しければ、AIを使わずに処理する日を数日だけつくって比べる方法もあります。完全な数字でなくても、「何を根拠にした数字か」を書き添えておけば、報告の材料として十分に使えます。

ポイント

基準値の記録は、現場の負担にならない方法を選びましょう。細かすぎる記録は続かず、途中から数字が雑になります。「件数」「数件分の時間」「手直しの件数」の3つだけでも、効果は十分に比べられます。

追う指標は「時間・件数・ミス・待ち時間」に、利用率と手直し率を加える

本番稼働後に追う指標は、成果を表す指標と、仕組みが健全に使われているかを表す指標の2種類に分けて考えると整理しやすくなります。

種類指標測り方の例わかること
成果作業時間1件あたりの時間×件数どれだけ時間が浮いたか
成果処理件数月に処理した件数同じ人数でこなせる量が増えたか
成果ミス・手直し差し戻しや指摘の件数仕事の質が保たれているか
成果待ち時間依頼から返信・完成までの時間お客様や社内を待たせていないか
健全さ利用率対象業務のうちAIを通した件数の割合現場で本当に使われているか
健全さ人の手直し率AIの下書きを人が大きく直した割合AIの出来が落ちていないか
健全さAI利用料月ごとのAIの利用料(実費)費用が想定どおりか

成果の指標だけを見ていると、数字が下がり始めたときに理由がわかりません。たとえば作業時間の削減が小さくなってきたとき、利用率が下がっていれば「現場で使われなくなっている」、手直し率が上がっていれば「AIの出来が落ちている」と、原因の見当がつきます。

指標は欲張らず、成果の指標から1〜2つ、健全さの指標から1〜2つ、合わせて3〜4つに絞るのがおすすめです。測る数字が多すぎると集計が負担になり、報告も読まれなくなります。

時間を金額に置きかえるときの注意

経営会議では、浮いた時間を金額に置きかえると伝わりやすくなります。「浮いた時間×担当者の時給」でおおよその人件費に換算できますが、浮いた時間がそのまま費用の削減になるとは限りません。残業が減ったのか、別の仕事に回せたのかを分けて書くと、数字の意味が正しく伝わります。

月次の振り返り表は1枚にまとめ、「数字・理由・次の手」をセットで書く

毎月の振り返りは、1枚の表にまとめると続けやすくなります。次は、受注書の入力をAIに任せた場合の記入例です(数字は説明のための架空の例です)。

指標基準値今月先月ひとこと
1日あたりの入力時間120分25分30分新しい取引先の書式にも対応できた
月の処理件数400件430件410件繁忙期だが残業なしで処理
入力ミスの件数8件3件4件品番の読み違いが2件
AIを通した割合—92%85%手書きのFAXは人が入力
人が大きく直した割合—6%9%指示文の見直しで改善

表の下には、次の3点を短く書き添えます。

  1. 今月の変化と理由:数字が良くなった、悪くなった理由を1〜2文で書く
  2. 浮いた時間の使い道:浮いた時間で何をしたか(取引先へのフォロー、別の業務の改善など)を書く
  3. 来月の次の手:直すこと、広げること、様子を見ることを1つ決める

「浮いた時間の使い道」は、多くの会社で抜け落ちやすい項目です。時間が浮いても、それが何に使われたかが見えないと、経営者からは「本当に効果があったのか」が判断しにくくなります。浮いた時間で生まれた成果まで書けると、AI導入が会社の数字にどうつながったかを説明しやすくなります。

月次の振り返り表のチェックリスト

  • 基準値・今月・先月の3つが並び、変化がひと目でわかる
  • 成果の指標と健全さの指標の両方が入っている
  • 数字の変化に、理由が書き添えてある
  • 浮いた時間を何に使ったかが書いてある
  • 来月の次の手が1つ決まっている
  • 集計した人と、締め日が決まっている

社内への報告は、経営会議・現場・全社で伝える中身を変える

同じ振り返り表をもとにしても、誰に伝えるかで強調すべき点は変わります。報告の相手ごとに、伝える中身を分けておきましょう。

報告の相手頻度の目安伝える中心
経営会議・役員月1回浮いた時間と金額の目安、費用(月額とAI利用料)との比べ、続ける・広げるの判断材料
現場の担当者月1回手直しが多かった場面、改善した点、困っていることの吸い上げ
全社3か月〜半年に1回どの業務がどう変わったか、次にどこへ広げるか

経営会議では「費用と効果」を同じ表で見せる

経営会議での報告は、効果だけでなく、かかった費用も並べて見せます。月額の費用とAI利用料を合わせた金額と、浮いた時間の金額の目安を並べると、続ける価値があるかを判断しやすくなります。費用の内訳の考え方は「AI導入にかかる費用の内訳とは?」の記事でも説明しています。

現場には「数字で責めない」報告にする

現場向けの報告で、利用率が低いことを担当者の責任のように伝えると、記録の数字が正直でなくなります。数字は「仕組みを直すための材料」として共有し、使いにくかった場面や、AIが苦手だった書類の例を集める場にしましょう。現場の声から改善点が見つかると、翌月の数字にもつながります。

全社には「業務がどう変わったか」を短く伝える

全社向けの報告では、細かい数字よりも、仕事の中身がどう変わったかを伝えます。「受注書の入力は、今はAIが下書きし、担当者は確認だけをしています」「問い合わせへの最初の返信は、夜間でもすぐ届くようになりました」のように、業務の変化を1〜2文で書き、次にAIを広げる予定の業務を添えます。ほかの部署の社員が「自分の仕事でも使えるかもしれない」と考えるきっかけになり、次の対象業務の候補も集まりやすくなります。

当社自身も、社内の業務にAIを取り入れ、月に約480時間の作業を減らしてきました。このように「何時間減ったか」を言える状態をつくるには、毎月同じ方法で測って記録を残し続けることが欠かせません。

効果が出ないときは、原因を4つに切り分けて「直す・広げる・やめる」を決める

稼働後しばらくして、思ったほど効果が出ない、あるいは最初は出ていた効果が小さくなってきた、ということは珍しくありません。その場合は、感覚で判断せず、振り返り表の数字から原因を切り分けます。

原因数字に表れるサイン見直しの方向
使われていない利用率が低い、下がってきた使いにくい場面を現場に聞き、手順や画面を直す
手直しが多い人の手直し率が高い、上がってきた指示文や参考資料を見直す、AIに任せる範囲を絞る
対象の量が少ない1件あたりの時間は減ったが、件数が少なく合計が小さい同じ仕組みで扱える別の業務に広げる
測り方がずれている現場の実感と数字が合わない基準値の取り方や数え方を見直し、測り直す

原因がわかったら、次の3つのどれにするかを決めます。

  1. 直す:指示文、手順、AIに任せる範囲を調整して、もう1〜2か月測る
  2. 広げる:仕組みはうまく動いているが量が少ない場合、似た業務や別の部署に広げる
  3. やめる・切り替える:直しても改善しない場合は、その業務での利用をやめ、より向いている業務に切り替える

「やめる」を選ぶのは失敗ではありません。測り続けていたからこそ、早めに判断できたということです。判断のタイミングは、3か月ごとと契約の更新前に置いておくと、ずるずると続けてしまうことを防げます。

当社の導入事例でも、製造業(従業員30名規模)の受注書入力が1日2時間から15分に、不動産会社(従業員15名規模)の問い合わせへの初回返信が半日から10分に、介護事業所(職員50名規模)の毎月のシフト作成が2日から半日になりました。どの事例も、導入前の数字があったからこそ変化をはっきり示せています。当社のAI社員は、料金が初期費用+月5万円で、保守や相談、調整に回数の制限なく対応しています。効果の測り方を一緒に決めるところから、稼働後の振り返りと見直しまで伴走しますので、「入れたAIの効果をきちんと説明できるようにしたい」という段階でもお気軽にご相談ください。

よくある質問

AI導入の効果は何で測ればよいですか?

作業時間・処理件数・ミスや手直しの件数・待ち時間のうち、対象の業務に合うものを1〜2つ選びます。あわせて、AIが現場で使われている割合と、人が大きく直した割合も追うと、効果が落ちたときの原因がわかります。

導入前の数字(基準値)を取っていなかった場合はどうすればよいですか?

メールの送信時刻や入力記録、残業の記録など、残っているデータから当時の状態をおおまかに推定します。それも難しければ、AIを使わずに処理する日を数日つくって比べ、何を根拠にした数字かを書き添えて使いましょう。

AI導入の効果は社内にどう報告すればよいですか?

基準値・今月・先月を並べた1枚の振り返り表に、変化の理由、浮いた時間の使い道、来月の次の手を書き添えて報告します。経営会議には費用と効果を並べ、現場には改善の材料として共有すると伝わりやすくなります。

AIを入れたのに効果が出ないときはどうすればよいですか?

使われていない、手直しが多い、対象の量が少ない、測り方がずれている、のどれが原因かを数字で切り分けます。そのうえで、直す・広げる・やめるのいずれかを決め、3か月ごとと契約の更新前に判断し直します。

執筆・監修

吉村 聡一郎の写真

株式会社MEDISITE 執行役員/AI事業責任者

吉村 聡一郎

株式会社アシロ(東証グロース市場)で営業統括責任者・新規事業開発責任者を経験。2022年、株式会社MEDISITEの創業メンバーとして参画し、AI事業・営業支援事業を統括。

  • AI導入・AI研修
  • 営業・新規事業

コラム一覧へ戻る