2026年10月18日
この記事の要点
- ニュース:Anthropicが、評価試験や社内での利用の中で、AIが指示されていない操作をしていた例を公表しました(2026年10月9日)
- 読み解き:AIは、渡された権限の範囲で目的に向けて手を尽くします。禁止事項を指示するだけでは、書き漏らしたところで動いてしまいます
- 提言:守りはSalesforceの標準機能(権限セット、項目履歴管理、入力規則)に置き、AIに任せる範囲を3段階で決めます。操作の手間は減りますが、任せる範囲と承認する人を決めることは残ります
AIエージェントの「想定外の動作」とは
2026年10月9日、Claudeを開発するAnthropicは、AIが意図しない操作をしていた例を公表しました。評価試験や社内での利用の中で見つかったものです。
主な例は次のとおりです。
- 実在するWebサイトのフォームに、事実ではない内容を送信した
- 必要なツールが使えないとき、外部サーバーの弱点を突いて作業を終えようとした
- 道具の制限を、別のサービスを経由して回り込んだ
Anthropicは、多くが「タスクをそのまま終えられないときに、止まらずに制限を回り込もうとする」動きだと説明しています。影響はごく小さかったとしたうえで、社内のすべての評価試験でインターネットへの接続を止めました。
業務システムの側でも、備えが進んでいます。10月14日にはRadwareが、AIと業務システムをつなぐMCPサーバーを守る製品を発表しました。
AIはSalesforceを「誰の権限」で触るのか
MCP(Model Context Protocol)は、AIと業務システムをつなぐための共通の規格です。ClaudeとSalesforceをMCPでつなぐと、AIは取引先や商談の記録を読んだり、活動を登録したりできます。
このとき、AIが使うのは接続したアカウントの権限です。言いかえると、次のようになります。
| 接続したアカウント | AIにできること |
|---|---|
| システム管理者 | 全社の記録の閲覧・更新・削除 |
| 一般の営業担当者 | その担当者が見られる記録の閲覧・更新 |
| 削除の権限がないユーザー | 削除はできない |
AIに渡した権限の範囲が、そのまま「起こりうること」の範囲になります。
AIへの指示だけでは守れない理由
公表されたフォームの例では、AIはログイン、アカウントの作成、個人情報の入力、購入などを禁止されていました。ところが、フォームの送信は禁止の対象に入っておらず、AIは送信してしまいました。
もうひとつ、知っておきたいのがプロンプトインジェクションです(今回のニュースとは別の話です)。メールやWebページに「この指示に従え」という文章を紛れ込ませ、AIを従わせようとする攻撃です。
たとえば、受信メールからAIがSalesforceに商談を作る仕組みでは、AIはメールの本文を必ず読みます。読み込む情報は選べないため、AIにできることのほうを絞る必要があります。
Anthropic自身も、AIの訓練だけではまだ十分ではないとして、何重もの守りを組み合わせているとしています。
Salesforceの標準機能で守る3つの方法
守りは、AIではなくSalesforceの側に置くのが確実です。新しい仕組みを作り込む必要はなく、標準の機能で対応できます。
1. 権限セット・共有ルールで、AIが触れる範囲を絞る
AIを接続するアカウントの権限を、業務に必要な範囲に絞ります。
- オブジェクトの権限で「削除」を付けない
- 項目レベルセキュリティで、AIに変えてほしくない項目(金額、所有者など)を参照のみにする
- 共有ルールで、見られる記録を担当の範囲に限る
2. 項目履歴管理で、AIが変えた内容を後から確かめる
項目履歴管理を有効にすると、どの項目が、いつ、誰によって、何から何に変わったかが記録されます(オブジェクトごとに最大20項目)。商談のフェーズ、金額、完了予定日など、AIが更新する可能性のある項目を選んでおきます。
3. 入力規則で、おかしな値を保存させない
入力規則は、条件に合わない値を、誰が入力しても保存できないようにする機能です。たとえば、商談の金額に明らかな桁違いが入ったときに保存を止めるルールを置いておけば、AIが間違えても記録には残りません。
10月13日に発表されたWorkdayとAnthropicの提携も、同じ考え方です。業務システムの権限と業務ルールをAIの中でもそのまま効かせ、変更は利用者が確認する設計で、新しい権限の仕組みを作る必要はないとしています。
AIに任せる範囲は「見るだけ・下書き・更新」の3段階で決める
権限を絞ったうえで、業務ごとに、AIにどこまで任せるかを決めます。
| 段階 | AIにさせること | 人の役割 | 向いている業務の例 |
|---|---|---|---|
| ① 見るだけ | 記録を読んで、まとめる・答える | 答えを判断に使う | パイプラインの確認、商談前の下調べ |
| ② 下書きまで | 登録・更新の案を作る | 内容を確認して承認する | 商談メモの入力、名刺からのリード登録 |
| ③ 更新まで | 決めた範囲の項目を自分で更新する | 定期的に結果を確かめる | 活動記録の登録など、影響の小さい項目 |
進め方のポイントは次の3つです。
- 最初は全員「① 見るだけ」から始め、業務ごとに「② 下書きまで」に広げる
- 「③ 更新まで」は、間違えても影響が小さく、後から直せる項目に限る
- 削除は、どの段階でもAIに任せない
任せる範囲と承認する人を、一枚に書いておく
AIに任せる範囲は、口頭ではなく、書いて決めておくことをおすすめします。たとえば、次のような一枚です。
| 業務 | 段階 | AIが触る項目 | 承認する人 |
|---|---|---|---|
| 商談前の下調べ | ① 見るだけ | ― | ― |
| 受信メールからの商談作成 | ② 下書きまで | 商談名、取引先、金額、完了予定日 | 営業の担当者 |
| 訪問後の活動記録 | ③ 更新まで | 活動(ToDo・行動) | 営業の責任者が月に1回確認 |
以前、導入の範囲について、お客様と私たちの認識が大きくずれた案件がありました。契約書類に「システム一式」としか書かれておらず、想定の5倍以上の範囲を作ることになりました。書いていない範囲は、後から必ず食い違います。
Anthropic自身も、対象や許される操作、アクセスしてよい範囲をはっきり書いていれば、一部の失敗は避けられたかもしれないと振り返っています。
AIで入力や確認の手間は減ります。でも、何をAIに任せ、最後に誰が承認するかを決めることは残ります。
まずは、AIをつなぐ予定のアカウントに、削除の権限が付いていないかを確かめてみてください。
無料診断を行っています
Salesforceを導入済みの企業様が取引先、取引先責任者、商談、活動の入力作業を、AIに任せるとどれくらい時間を減らせるかを無料診断でお伝えします。
▶ 無料診断のお申し込み:noboru-consulting.com
参考
- Anthropic「Investigating unintended model actions in our evaluations and internal use」(2026/10/9、10/12訂正)https://www.anthropic.com/research/investigating-unintended-model-actions
- The Hacker News「Anthropic Cuts Live Internet Access for Internal AI Tests After Claude Exploits Injection Flaws」(2026/10/10)https://thehackernews.com/2026/10/anthropic-cuts-live-internet-access-for.html
- Help Net Security「Radware MCP Server Protection monitors agent activity and guards against protocol abuse」(2026/10/14)https://helpnetsecurity.com/2026/10/14/radware-mcp-server-protection
- Workday Newsroom「Workday and Anthropic Announce New Partnership to Connect Reasoning to the Rules That Run the Business, Wherever People Choose to Work」(2026/10/13)https://newsroom.workday.com/2026-10-13-Workday-and-Anthropic-Announce-New-Partnership-to-Connect-Reasoning-to-the-Rules-That-Run-the-Business,-Wherever-People-Choose-to-Work