ある調査によると、一般的な人工知能（AI）画像生成装置の基盤の中に、児童の性的虐待に関する数千枚の画像が隠されているという。新しいレポートこれは、企業が構築したテクノロジーの有害な欠陥に対処するための措置を講じるよう促しています。
これらと同じ画像により、AI システムが偽の子供のリアルで露骨な画像を生成したり、着衣を着た本物の 10 代の若者のソーシャル メディア写真をヌードに変換したりすることが容易になりました。学校と法執行機関世界中で。
最近まで、虐待対策の研究者らは、一部の未チェックの AI ツールが子どもの虐待的な画像を生成する唯一の方法は、基本的に、成人向けのポルノと子どもの良性の写真という、オンライン画像の 2 つの別々のバケツから学習したことを組み合わせることだと考えていました。
しかし、スタンフォードインターネット監視団は、オンライン画像とキャプションのインデックスである巨大な AI データベース LAION で、児童性的虐待の疑いのある 3,200 枚以上の画像を発見しました。LAION は、Stable Diffusion などの主要な AI 画像メーカーのトレーニングに使用されています。
スタンフォード大学を拠点とする監視団体は、カナダ児童保護センターやその他の虐待防止慈善団体と協力して、違法素材を特定し、元の写真へのリンクを法執行機関に報告した。
返答はすぐにありました。スタンフォードインターネット天文台の報告書が水曜日に発表される前夜、LAIONはAP通信に対し、データセットを一時的に削除すると語った。
非営利のLarge-scale Artificial Intelligence Open Networkの略であるLAIONは声明の中で、「違法なコンテンツに対しては一切の寛容ポリシーを持っており、細心の注意を払ってLAIONデータセットを削除し、それらが確実にコンテンツに含まれることを保証する」と述べた。再公開する前に安全に保管してください。」
「それを取り戻すことはできません」
これらの画像は、約58億枚の画像からなるLAIONのインデックスのほんの一部に過ぎないが、スタンフォード大学グループは、この画像が有害な出力を生成するAIツールの能力に影響を与え、複数回出現する本物の被害者に対する以前の虐待を強化している可能性が高いと述べている。
この問題は解決するのが簡単ではなく、その原因は多くの生成AIプロジェクトが「効果的に市場投入」され、この分野の競争が非常に激しいために広くアクセスできるようになったことに遡ると、報告書の執筆者であるスタンフォード・インターネット・オブザーバトリーの主任技術者デビッド・ティール氏は述べた。
「インターネット全体のスクレイピングを行ってモデルをトレーニングするためのデータセットを作成することは、どちらかといえば研究活動に限定されるべきことであり、そうすべきではありませんでした。オープンソースのもっと厳密な注意がなければ」とティール氏はインタビューで語った。
データセットの開発の形成に貢献した著名な LAION ユーザーは、Stable Diffusion のテキストから画像へのモデルのメーカーである、ロンドンを拠点とするスタートアップ Stability AI です。
Stable Diffusion の新しいバージョンにより、有害なコンテンツの作成が大幅に困難になりましたが、昨年導入された古いバージョン（Stability AI によれば、このバージョンはリリースされなかった）は依然として他のアプリケーションやツールに組み込まれており、依然として「有害なコンテンツを生成するための最も人気のあるモデル」となっています。スタンフォード大学の報告書によると、露骨な画像。
「それを取り戻すことはできません。そのモデルは、ローカルマシン上で多くの人々の手に渡っています」と、オンライン性的搾取を報告するためのカナダのホットラインを運営しているカナダ児童保護センターの情報技術ディレクター、ロイド・リチャードソン氏は述べた。
Stability AIは水曜日、Stable Diffusionのフィルタリングされたバージョンのみをホストしており、「Stable Diffusionの独占的な開発を引き継いで以来、Stability AIは悪用のリスクを軽減するために積極的な措置を講じてきた」と述べた。
同社は準備した声明の中で、「これらのフィルターは安全でないコンテンツをモデルに到達させないようにしている」と述べた。
「そのコンテンツがモデルに到達する前に削除することで、モデルが安全でないコンテンツを生成するのを防ぐことができます。」
LAIONはドイツの研究者兼教師であるクリストフ・シューマン氏の発案によるもので、彼は今年初めにAP通信に対し、このような巨大なビジュアルデータベースを公的にアクセスできるようにした理由の一部は、AI開発の将来が誰かによってコントロールされないようにするためだったと語った。少数の有力企業。
「研究コミュニティ全体と一般大衆全体がその恩恵を受けることができるように、研究を民主化することができれば、より安全でより公平になるだろう」と同氏は述べた。
LAIONのデータの多くは、オープンなインターネットから絶えずトロールされているデータのリポジトリであるCommon Crawlという別の情報源から来ているが、Common Crawlのエグゼクティブディレクター、リッチ・スクレンタ氏は、使用前に必要なものをスキャンしてフィルタリングするのがLAIONの「義務」であると述べた。それの。
LAIONは今週、データセットを公開する前に違法なコンテンツを検出して削除するための「厳格なフィルター」を開発し、現在もフィルターの改善に取り組んでいると発表した。スタンフォード大学の報告書は、LAIONの開発者が「未成年」の露骨なコンテンツを除外する試みを行ったが、もっと早くに子供の安全の専門家に相談していればもっと良い仕事ができたかもしれないことを認めた。
多くのテキストから画像へのジェネレーターは LAION データベースから何らかの方法で派生していますが、どれがどれであるかは必ずしも明らかではありません。 DALL-EとChatGPTのメーカーであるOpenAIは、LAIONを使用しておらず、未成年者が関与する性的コンテンツのリクエストを拒否するためにモデルを微調整していると述べた。
Google は、LAION データセットに基づいてテキストから画像への Imagen モデルを構築しましたが、2022 年に公開しないことを決定しました。データベースの監査「ポルノ画像、人種差別的中傷、有害な社会的固定観念など、幅広い不適切なコンテンツを明らかにした」。
児童オンラインプライバシー保護法
過去に遡ってデータをクリーンアップしようとすることは困難であるため、スタンフォードインターネット監視団はより抜本的な対策を求めている。
1 つは、LAION-5B に含まれる 50 億以上の画像とテキストのペアにちなんで名付けられた LAION-5B からトレーニング セットを構築した人が「削除するか、仲介業者と協力して素材をクリーンアップする」ためのものです。
もう 1 つは、Stable Diffusion の古いバージョンをインターネットの最も暗い場所を除いて事実上消去することです。
「正規のプラットフォームは、特に不正な画像の生成に頻繁に使用され、それをブロックする安全策がない場合には、ダウンロード版の提供を停止する可能性がある」とティール氏は述べた。
一例としてティール氏は、AI生成のポルノを作成する人々に好まれているプラットフォームであるCivitAIを挙げたが、児童の画像作成と比較検討するための安全対策が欠けていると述べた。報告書はまた、モデルのトレーニングデータを配布するAI企業Hugging Faceに対し、虐待的な素材へのリンクを報告し削除するためのより良い方法を導入するよう求めている。
ハグフェイスは、虐待的な内容を特定し削除するために規制当局や児童安全団体と定期的に協力していると述べた。 CivitAIはウェブページに寄せられたコメント要請に返答しなかった。
スタンフォード大学の報告書はまた、子供の写真は、たとえ最も良性のものであっても、その写真を含めずに AI システムに入力すべきかどうかについても疑問を呈している。保護のため家族の同意連邦児童オンラインプライバシー保護法に規定されています。
児童性的虐待防止団体ソーンのデータサイエンス担当ディレクター、レベッカ・ポートノフ氏は、同団体が実施した研究で、虐待者の間でAIが生成した画像の普及率は小さいものの、一貫して増加していることを示していると述べた。
開発者は、AI モデルの開発に使用するデータセットに悪用物が含まれていないことを確認することで、これらの害を軽減できます。
ポートノフ氏は、モデルがすでに流通した後、有害な使用を軽減する機会もある、と述べた。
テクノロジー企業や児童安全団体は現在、児童虐待の素材を追跡し削除するために、ビデオや画像に「ハッシュ」（独自のデジタル署名）を割り当てている。ポートノフ氏によると、同じ概念は悪用されている AI モデルにも適用できるという。
「現在はそのようなことは起こっていない」と彼女は言った。 「しかし、私の意見では、それは実行可能であり、実行されるべきことです。」
