AIを使った業務でミスが起きたら責任は誰にある？——お客様への責任の考え方と、社内の分担・委託契約・発生時の対応の備え

お客様に対しては「AIを業務に使った会社」が責任を負うと考えて備える

AIを使って作った見積書に誤りがあった、問い合わせへの回答で間違った案内をした、といったミスが起きたとします。このとき、お客様から見れば、相手はあくまで「その会社」です。お客様はAIと取引をしているわけではないため、「AIが間違えました」と説明しても、多くの場合は納得していただけません。

そのため、AIを業務に使うときは、「AIの結果を使ってお客様に何かを出した以上、その結果には自社が責任を持つ」と考えて備えるのが基本です。これは、社員が作った書類に誤りがあったときに、社員個人ではなく会社として対応するのと同じ考え方です。

なお、AIの仕組みに不具合があった場合に、仕組みを作った会社やAIを提供する会社にどこまで責任を求められるかは、契約の内容や事情によって変わります。法的な判断は断定できないため、重要な取引で使う場合は、事前に専門家に相談しておくと安心です。ここで大切なのは、「誰かのせいにできるか」よりも、「お客様への影響をどう防ぎ、起きたときにどう対応するか」を先に決めておくことです。

社内の責任は「AIに任せる範囲」と「人が承認する範囲」を分けて決める

社内で責任があいまいになりやすいのは、「AIが作ったものを、誰がどこまで見たのか」がはっきりしないときです。担当者は「AIが作ったから大丈夫だと思った」、上司は「担当者が見たと思った」となれば、ミスは素通りしてしまいます。

これを防ぐには、業務ごとに「AIに任せる範囲」と「人が承認する範囲」を分けて決めておきます。考え方の例は次のとおりです。

ポイントは、「社外に出るもの」「お金や約束に関わるもの」ほど、人の承認を必須にすることです。反対に、社内だけで使う要約やメモまで細かく承認を求めると、手間が増えてAIを使う意味が薄れます。影響の大きさに合わせて、承認の重さを変えてください。

人の確認をどのように業務の流れに組み込むかは、「AIの間違いを防ぐ『人の確認』はどう組み込むか」の記事で詳しく説明しています。

外部に仕組みづくりを頼むときは、契約で責任の範囲を確かめる

AIの仕組みを外部の会社に作ってもらう場合は、ミスや不具合が起きたときに委託先がどこまで対応するのかを、契約の前に確認しておくことが大切です。後から「そこは対象外です」と言われないよう、次の点を確かめてください。

1. 何を作り、何を保証するのか：仕組みの範囲と、どの程度の精度や動作を目指すのか。AIの性質上、間違いをゼロにする保証は通常できないため、「どこまでを目標とし、どう確かめるか」を確認します
2. 不具合が起きたときの対応：止まった、明らかに誤った動きをした、といった場合に、どのくらいの時間で、どこまで対応してもらえるのか
3. 導入後の調整・保守の内容：精度が落ちたときの見直しや、業務の変化に合わせた修正が、保守の範囲に入っているか
4. データの扱い：預けたデータをどこに保存し、誰が見られ、契約終了後にどうするのか
5. 損害が出た場合の取り決め：委託先の責任の範囲や上限がどう定められているか。内容は契約によって大きく違うため、重要な業務では専門家に確認してもらうと安心です

当社の「月5万円のAI社員」では、月5万円の中に保守・相談・メンテナンスを無制限で含めています。導入後に「間違いが増えた」「業務の形が変わった」といったときに、その都度追加の費用を気にせず相談できる形にしているのは、ミスへの備えを導入後も続けるためです。どの会社に頼む場合でも、導入後の調整がどこまで含まれているかは必ず確認してください。

ミスが起きたときの対応手順を、起きる前に決めておく

どれだけ備えても、AIを使った業務でミスが起きることはあります。そのときに慌てないよう、対応の手順を事前に決めておきます。基本の流れは、社員のミスへの対応と大きくは変わりません。

1. 影響を止める：誤った内容が社外に出ているなら、まず追加で広がらないようにします。必要に応じて、AIの自動処理を一時的に止め、人の作業に切り替えます
2. お客様に連絡する：会社として誤りを認め、正しい内容と今後の対応を伝えます。「AIのせいで」と説明するより、自社の確認が足りなかったこととして伝えるほうが信頼を損ないにくくなります
3. 原因を調べる：AIの読み取りや判断の誤りなのか、元の資料やデータが古かったのか、人の確認が漏れたのかを切り分けます
4. 再発を防ぐ：AIへの指示や参照する資料を直す、確認の範囲を広げる、承認者を見直すなど、原因に合わせて手を打ちます
5. 記録して共有する：何が起き、どう直したかを記録し、関係する社員に共有します

原因を調べるためには、AIが「何を読んで、何を出したのか」が後から確認できることも大切です。処理の記録が残る仕組みにしておくと、ミスが起きたときの切り分けが早くなります。

連絡の窓口と判断する人を先に決めておく

ミスに気づいた社員が、誰に知らせればよいか分からずに時間がたってしまうと、影響が広がります。「AIを使った業務で誤りに気づいたら、まずこの人に知らせる」という窓口と、「自動処理を止めるかどうかを決める人」を、あらかじめ決めて社内に伝えておいてください。外部の委託先がいる場合は、委託先への連絡方法もあわせて決めておくと、原因の調査と修正を早く始められます。

AIのミスと責任についてよくある誤解と、実際の考え方

AIのミスと責任については、導入前のご相談の中で、いくつかの誤解をよく耳にします。誤解のまま進めると、備えが足りなかったり、反対に慎重になりすぎてAIを使えなかったりします。代表的なものを整理しておきます。

特に最後の「見直し」は大切です。導入直後は承認を厚めにし、間違いが少ないと分かった作業から確認を軽くしていく、という進め方が現実的です。最初から確認を省いて問題が起きると、社内でAIへの信頼が一気に下がってしまいます。

人の作業と比べて考える

AIのミスを心配するときは、「今、人がやっている作業ではミスが起きていないか」もあわせて見てください。手入力の転記や、急いで書いた返信にも、一定の割合で間違いは起きています。AIに下書きを任せ、人は確認に集中する形にすると、人が一から作業するよりも見落としが減る場合もあります。責任の問題は、「AIか人か」ではなく、「どの仕組みなら一番ミスを防ぎやすいか」で考えることをおすすめします。

責任の所在を明らかにするための社内ルールチェックリスト

ここまでの内容を、社内ルールとして決めておきたい項目にまとめました。AIの利用ルールを作る際に、あわせて確認してください。

AIの利用ルール全体の作り方は「AIの社内ルール（利用規定・ガイドライン）の作り方」、お客様の情報を扱うときの注意は「顧客情報・個人情報をAIで扱うときの注意点」の記事で説明しています。

「どの業務なら、どこまでAIに任せてよいか」は、会社や業務によって答えが変わります。当社では、業務の流れを伺いながら、AIに任せる範囲と人が確認する範囲を一緒に決めるところからお手伝いしています。導入前の不安の整理だけでも、お気軽にご相談ください。