Facebookの内部者がAI時代のコンテンツモデレーションを構築

AI時代のコンテンツモデレーションを支えるMoonbounce

Brett Levensonは、Appleを退職してFacebookでビジネスインテグリティを担当する際に、同社がCambridge Analytica問題に直面していたことを思い出します。彼は当時、Facebookのコンテンツモデレーション問題を技術的な改善だけで解決できると考えていました。

しかし、すぐに彼は問題が技術以上にあると気づきました。人間のレビュアーたちは40ページ以上の機械翻訳されたポリシー文書を暗記し、投稿ごとに約30秒で違反コンテンツを判断する必要がありました。これらの迅速な決定は「50%程度の正確性」しか示さなかったとLevensonは述べています。

AIチャットボットの台頭により、この問題はさらに深刻になりました。AI生成のコンテンツが安全フィルターを迂回し、若者に自殺へのガイダンスを与えるといった高プロファイルなインシデントが相次いでいます。

Levensonは「ポリシー・アズ・コード」というアイデアを思いつき、静的なポリシー文書を実行可能な更新可能なロジックに変換する方法を開発しました。この洞察からMoonbounceが設立され、先週金曜日に1200万ドルの資金調達を完了したことがTechCrunchによって独占的に報じられました。

Moonbounceは企業と提携し、ユーザー生成コンテンツやAI生成コンテンツに追加の安全層を提供します。同社は独自の大規模言語モデルを使用して顧客のポリシー文書を評価し、リアルタイムでコンテンツを評価し、300ミリ秒以内に反応します。

Moonbounceは現在、4000万を超える日間レビューと1億人以上のアクティブユーザーをサポートしています。顧客にはAIコンパニオンスタートアップChannel AIや画像生成企業Civitaiなどが含まれます。

「安全性は実際の製品利益になることができます」とLevensonは述べています。「これまでそれは後から発生するものでしたが、私たちの技術を活用することで顧客が安全を製品ストーリーの一部に組み込むことが可能になりました。」

Moonbounceは「反復的ステアリング」と呼ばれる機能を開発しています。これは、有害なトピックが登場した際にチャットボットの会話を中断し、リアルタイムでプロンプトを変更してチャットボットに積極的に支援的な応答を求めます。

Levensonは自身の退職戦略について、Metaのような企業からの買収が考えられる可能性があると述べています。しかし、「技術を制限するような買収は避けたい」とも語っています。

元記事: https://techcrunch.com/2026/04/03/moonbounce-fundraise-content-moderation-for-the-ai-era/