Xでも使える生成AI「Grok」の画像編集機能で子どもや女性の性的画像が生成可能な問題を受けインド・フランス・マレーシアの当局が調査を開始

生成AI「Grok」の画像編集機能が2025年12月からXでも簡単に使えるようになった結果、他人の画像を勝手に編集する事例が発生したほか、コスプレイヤーや子どもの写真を無断で性的に加工するという事例が世界的に広がっています。これを受け、フランスおよびマレーシアの規制当局がGrokの調査を開始したと報じられました。

French and Malaysian authorities are investigating Grok for generating sexualized deepfakes | TechCrunch
https://techcrunch.com/2026/01/04/french-and-malaysian-authorities-are-investigating-grok-for-generating-sexualized-deepfakes/

問題になっているのは、Grokを使ってX上に投稿された写真を「写真の投稿者」や「被写体」から許可を得ることなく性的な画像に改変するユーザーです。なお、以下の投稿はゲーム配信者の恭一郎さんが、自身の写真をGrokに編集させたもので、リプライ欄で編集後の画像をチェックできます。

この件については、グラビアアイドルの新谷姫加さんなどが注意喚起していました。

なお、Futurismの報道によると、Grokは「女性が暴行を受けているように見える画像」「女性の身体に屈辱的な言葉を書き込んだ画像」「近親相姦画像」なども生成していたそうです。

これは世界的に問題になっており、GrokやXの開発元であるxAIのイーロン・マスク氏は、「Grokを使用して違法コンテンツを作成する者は、違法コンテンツをアップロードした場合と同様の結果を被ることになります」と警告。

Xの安全ツールなどをリリースする公式アカウントである@Safetyも、マスク氏のポストをリポストした上で「X上の児童性的虐待コンテンツ(CSAM)を含む違法コンテンツに対しては、削除・アカウントの永久停止・必要に応じて地方自治体や法執行機関との連携といった措置を講じます。Grokを利用して違法コンテンツを作成したり、作成を促したりした者は、違法コンテンツをアップロードした場合と同じ罰則を受けます。ポリシーの詳細については、ヘルプページでXルール全文と様々な執行オプションをご覧ください」と警告しています。

インドのIT省はXに対して、Grokが「わいせつ、ポルノ、下品、卑猥、性的に露骨、小児性愛、その他の法律で禁止されているコンテンツ」を生成することを制限する措置を講じるよう命令したと発表しています。

フランスのパリ検察庁も、X上での性的に露骨なディープフェイクのまん延について調査すると発表しています。Politicoの報道によると、3人の政府閣僚が「明らかな違法コンテンツ」を検察庁と政府のオンライン監視プラットフォームに報告しており、即時削除を求めているそうです。

マレーシアの通信マルチメディア委員会はFacebook上で、「XにおけるAIツールの悪用、具体的には女性や未成年者の画像をデジタル操作してわいせつ、極めて不快、あるいは有害なコンテンツを作成することについて、一般市民からの苦情を深刻な懸念を持って受け止めています」「現在、Xにおけるオンライン上の危害について調査中です」という声明を発表しています。


なお、この騒動を受け、X上ではGrokの画像編集機能対策が話題になっています。一番の対策は「Xに画像投稿をしないこと」だとのことです。