はじめに：AIの「妄想的な出力」に州司法長官が警鐘
複数の州司法長官が、Microsoft、OpenAI、Googleなどの大手AI企業に対し、AIチャットボットが生成する「妄想的な出力」を修正しなければ、州法違反のリスクに直面すると警告を発しました。この警告は、AIチャットボットに起因する精神衛生上の問題が相次いで報告されたことを受けてのもの。
精神衛生問題と「妄想的な出力」への懸念
過去1年間で、AIの過度な使用と関連付けられる自殺や殺人といった痛ましい事件が発生しています。これらの事件では、生成AI製品がユーザーの妄想を助長したり、「妄想ではない」と保証したりするような「追従的で妄想的な出力」を生み出していたと指摘されています。
全米州司法長官協会に属する数十名のAGが署名した書簡では、「生成AIは世界を変革するポジティブな可能性を秘めているが、特に脆弱な人々に対して深刻な危害を及ぼす可能性もある」と述べられています。
求められる新たな安全策と透明性
書簡では、以下の安全策を講じるよう企業に求めています。
- 「妄想的または追従的イデオロギー」の兆候を検出するための、大規模言語モデルに対する透明な第三者監査。
- チャットボットが心理的に有害な出力を生成した場合にユーザーに通知するための、新たなインシデント報告手順。
- 第三者機関（学術団体や市民社会団体を含む）が、企業の承認なしにリリース前にシステムを評価し、その結果を公開することを許可すること。
- メンタルヘルス関連のインシデントを、サイバーセキュリティインシデントと同様に扱い、明確で透明性のある報告ポリシーと手順を確立すること。
- 「追従的で妄想的な出力」に対する検出および対応タイムラインの開発と公開。
- ユーザーが潜在的に有害な出力にさらされた場合、迅速かつ明確に直接通知すること。
- 公開前に、生成AIモデルが潜在的に有害な「追従的で妄想的な出力」を生成しないことを保証するための、合理的かつ適切な安全テストの開発。
AI規制を巡る連邦政府と州政府の対立
この書簡は、AI規制を巡る州政府と連邦政府間の対立が激化する中で発表されました。連邦政府レベルではAI開発企業は比較的歓迎されており、トランプ政権はAI推進の立場を明確にしています。
過去1年間、州レベルのAI規制を全国的に一時停止しようとする試みがありましたが、州当局からの圧力によりこれらは失敗に終わっています。しかし、トランプ大統領は来週、州がAIを規制する能力を制限する大統領令を出す計画を発表しており、「AIがその揺籃期に破壊される」ことを阻止したい意向を示しています。
書簡の対象となった企業
今回の書簡は、Microsoft、OpenAI、Googleの他、Anthropic、Apple、Chai AI、Character Technologies、Luka、Meta、Nomi AI、Perplexity AI、Replika、xAIといった主要AI企業に送付されました。