AI編#16丨ホワイトハウス「White House Accord on Super Intelligence」とは何か——超知能合意・外部評価・AIエージェントの責任分界

<p>AIに、どこまでの権限を渡してよいのでしょうか。</p><p><br></p><p>本エピソードでは、ホワイトハウスで署名された「White House Accord on Super Intelligence」を手がかりに、フロンティアAI企業の責任、外部評価、取締役会監督、そしてAIエージェント時代の権限管理について解説します。</p><p><br></p><p>取り上げる主なテーマ</p><p><br></p><p>- White House Accord on Super Intelligenceとは何か</p><p>- フロンティアAI企業の自主的コミットメント</p><p>- 超知能と安全性</p><p>- 内部統制</p><p>- 内部監視チーム</p><p>- 独立した外部評価・外部監査</p><p>- 取締役会レベルの監督</p><p>- AIモデルの能力監視</p><p>- サイバーセキュリティとAI</p><p>- AIが攻撃の道具になるリスク</p><p>- AIシステム自体が攻撃対象になるリスク</p><p>- 間接プロンプトインジェクション</p><p>- 過剰なエージェンシー</p><p>- AIエージェントへの過剰な権限付与</p><p>- ゼロトラスト</p><p>- アクセス制御ゲートウェイ</p><p>- モデル単体評価とシステム全体評価</p><p>- AIベンダー評価</p><p>- ログ・監査証跡・取締役会報告</p><p>- NIST CSF 2.0のGOVERN</p><p><br></p><p>この合意は、AI企業が「安全に取り組んでいます」と宣言するだけの文書ではありません。</p><p><br></p><p>重要なのは、AIの能力が上がるほど、モデルそのものだけでなく、AIが接続するツール、API、データ、権限、承認手順まで含めて評価しなければならないという点です。</p><p><br></p><p>AIが危険になるのは、悪意を持ったときだけではありません。</p><p><br></p><p>人間の指示が曖昧だったとき。</p><p>外部資料に悪意ある命令が埋め込まれていたとき。</p><p>AIが文脈を読み間違えたとき。</p><p>本来不要な送信権限や書き込み権限まで与えられていたとき。</p><p><br></p><p>そのとき、AIは正規の権限を使って、想定外の行動を実行してしまう可能性があります。</p><p><br></p><p>だからこそ、AIの安全性は「モデルが賢いかどうか」だけでは決まりません。</p><p><br></p><p>AIにどのシステムを触らせるのか。</p><p>どのAPIを呼び出せるのか。</p><p>どのデータを読ませるのか。</p><p>どの権限をいつ、どの条件で渡すのか。</p><p>暴走したときに、どこで止めるのか。</p><p>その記録を、誰が後から検証できるのか。</p><p><br></p><p>これらを設計する必要があります。</p><p><br></p><p>外部評価を受けたAIだから安全。</p><p>有名企業のモデルだから安全。</p><p>合意に参加している企業だから安全。</p><p><br></p><p>そう考えるのは危険です。</p><p><br></p><p>評価されたのは、モデル単体なのか。</p><p>ツール連携を含む本番環境なのか。</p><p>外部送信権限を持たせた状態なのか。</p><p>自社のデータや業務フローに組み込んだ状態なのか。</p><p><br></p><p>利用企業側も、そこを確認しなければなりません。</p><p><br></p><p>AI時代のセキュリティは、AIに「してはいけない」と言い聞かせるだけでは不十分です。</p><p><br></p><p>AIからの要求を無条件に信用せず、システム側で権限を絞り、文脈に応じて実行を止め、ログを残し、取締役会や経営層が是正まで確認する。</p><p><br></p><p>超知能合意から、AIエージェント時代のガバナンスを考えます。</p>