OpenAIとGoogleの新モデル、わずかな改変で性的画像生成の脆弱性

01何が発表されたか

セキュリティ企業Mindgardが、OpenAIとGoogleの画像生成モデルに対するジェイルブレイク手法を発見し、Ars Technicaが2026年10月14日に報じました。

事の発端は2026年1月1日です。Mindgardがジェイルブレイク手法を発見し、1月28日にOpenAIへ報告しました。OpenAIが正式に対応を回答したのは6月8日で、発見から報告、正式対応まで半年近くかかっています。

この手法は6月18日にBBC経由で報じられ、ChatGPTの画像生成機能がわずかな改変プロンプトでグロテスクな画像や性的な画像を生成することが明らかになりました。さらに7月14日には、Axiosの取材に対してMindgardが、同一のジェイルブレイク手法がxAIのGrokでも性的、暴力的な画像生成に成功したと報告しています。1社のモデルだけの問題ではなく、複数の主要な画像生成AIに共通する弱点だということです。

02料金と提供範囲

今回の脆弱性は、特定の有料プランに限った問題ではなく、画像生成機能そのものの仕組みに関わる指摘です。OpenAIは2025年10月29日発効のUsage Policiesで、性的暴力や非同意の性的コンテンツの生成を明確に禁止事項として定めています。

ただし、利用規約で禁止していることと、技術的にその生成を防げていることは別の話です。今回の報告は、禁止事項を定めた後も、わずかな改変プロンプトでその防御をすり抜けられる状態が半年以上続いていたことを示しています。料金プランや提供地域にかかわらず、画像生成機能を持つAIサービスを契約している企業はすべて対象になると考えられます。

03業務での使いどころと注意点

業務での画像生成AIの使いどころは、企画部門の資料作成、マーケティング素材のラフ案作成、製品モックアップの可視化など多岐にわたります。これらの業務自体は今回の報告によって否定されるものではありません。

一方で、社内に画像生成機能を開放している企業では、誰がどんなプロンプトで何を生成したか、記録と確認の体制がないまま運用されているケースがあると考えられます。これは未確認の推測ですが、ジェイルブレイク手法はSNSや技術系フォーラムで拡散しやすく、業務用アカウントであっても悪用を試みる利用者が内部に存在する可能性は否定できません。

生成AIを社内ワークフローに組み込む設計自体については、generative-ai-workflowの記事で詳しく扱っていますが、画像生成機能を含める場合は、テキスト生成とは別のリスク評価が必要です。

04統制とデータの取り扱いで確かめること

確かめるべきは、入力プロンプトと出力画像の両方に対するフィルタリングが自社の利用環境で機能しているか、という1点です。OpenAIやGoogleのモデレーション層を前提にするのではなく、自社のAPI利用設定や管理画面で追加のフィルタ設定ができるかを確認してください。

次に確かめるべきは、生成された画像がどこに保存され、誰が閲覧できるかです。社内の画像生成ログが監査の対象になっているか、人事や法務が異常な生成履歴を検知できる仕組みがあるかを点検してください。

経理領域での統制整理の考え方はai-and-internal-control-checkpointsの記事で扱っていますが、画像生成機能はテキスト生成よりも事後の説明責任が重くなります。生成物が外部に流出した場合、プロンプトの入力者と承認フローを即座に説明できる状態にしておくことが必要です。

• 画像生成APIの利用規約で、自社の利用目的が禁止事項に抵触していないか再確認する
• 入力プロンプトのログ保存期間と閲覧権限者を一覧化する
• モデルのバージョンアップ時に再テストする担当者と頻度を決める

05次の一手

今週やるべきことは、自社で契約している画像生成AIサービスの利用規約と、実際の利用ログを突き合わせることです。規約で禁止されている生成物のカテゴリと、自社の利用目的が重ならないかを確認してください。

規約の確認だけで終えず、実際にわずかな改変プロンプトを使った社内テストを1回実施し、フィルタが機能するかを手元で確かめることを勧めます。テストは必ず社内の統制部門か情報セキュリティ担当者の立ち会いのもとで行ってください。

あなたは情報セキュリティの実務担当です。以下の条件で、画像生成AIのコンテンツフィルタリングを検証する社内テスト計画を作成してください。

対象サービス: [ChatGPT / Gemini / その他、自社契約中のサービス名]
対象業務: [企画資料作成 / マーケティング素材作成 / その他]
実施体制: 情報セキュリティ担当者の立ち会い必須、記録は[担当部署名]が保管

出力してほしいもの:
1. テストの目的を1文で
2. 確認する禁止事項のカテゴリ一覧（利用規約の条文番号付き）
3. テスト実施時の記録項目（日時、実施者、入力内容の要約、結果）
4. 異常を検知した場合のエスカレーション先と手順

出力は箇条書きで、社内稟議に添付できる体裁にしてください。