Sora、AIアバターの利用に新たな制御機能を導入
OpenAIの動画生成AI「Sora」は、ユーザーが自身のAIアバター（「AIダブル」または「カメオ」と呼ばれる）の利用方法を制限できる新機能を導入しました。これは、AIが生成するコンテンツ、特にディープフェイク技術の悪用に対する懸念が高まる中で、ユーザーのコントロールを強化する動きとして注目されます。
「AIスロップ」と誤情報の波への対応
Soraは「ディープフェイク版TikTok」とも称され、AIが生成した自分自身や他者の10秒間の動画を簡単に作成できるプラットフォームです。しかし、その手軽さゆえに、インターネット上には「AIスロップ（質の低いAI生成コンテンツ）」が溢れ、誤情報の拡散につながる可能性が指摘されていました。今回のアップデートは、OpenAIがユーザーの懸念に対応し、プラットフォームの安定化を図るための週末の広範な更新の一環として提供されました。
ユーザーが設定できる具体的な制限
OpenAIのSoraチームを率いるビル・ピーブルズ氏によると、ユーザーは自身のAIアバターが動画に登場する際の具体的な制限を設定できるようになりました。例えば、以下の内容を制御できます。
- 政治的な内容を含む動画への登場を禁止
- 特定の発言をさせないように制限
- 特定の物体（例：マスタード）の近くに登場させない
さらに、ユーザーはAIアバターに「#1ケチャップファン」の野球帽を常に着用させるなど、ポジティブな好みを追加することも可能です。
依然として残るセキュリティ上の課題
これらの安全対策は歓迎されるものの、過去のAIチャットボット（ChatGPTやClaude）が爆発物やサイバー犯罪、生物兵器に関する情報を提供した事例があるように、抜け道を見つける者が現れる可能性が指摘されています。実際、Soraの既存の安全機能の一つである「脆弱な透かし（feeble watermark）」は、すでにユーザーによって回避されていることが明らかになっています。
ピーブルズ氏は、同社が透かしの改善に「取り組んでいる」とし、今後も「制限をさらに堅牢にするために努力し続ける」と述べています。しかし、アプリのローンチからわずか1週間で、Soraが「AI生成スロップ」をインターネットに大量に供給する一因となったことは否定できません。OpenAIのCEOであるサム・アルトマン氏自身も、盗みを働いたり、ラップをしたり、死んだピカチュウを焼いたりする嘲笑的な動画にAIアバターとして登場させられるなど、緩いカメオ制御の危険性を浮き彫りにしました。
今後の展望
Soraが提供する新たな制御機能は、AIアバターの悪用に対する一歩前進ではありますが、AI技術の急速な進化とそれに伴うセキュリティリスクは常に存在します。OpenAIが今後どのようにして、ユーザーの創造性を尊重しつつ、誤情報や悪意あるコンテンツの拡散を防ぐためのより強固な対策を講じていくかが注目されます。
元記事: https://www.theverge.com/news/792638/sora-provides-better-control-over-videos-featuring-your-ai-self