# Meta、AIチャットボットの自殺関連会話を停止
## 導入
Metaは、AIチャットボットが10代の若者と自殺、自傷行為、摂食障害について会話することをブロックする新たな安全対策を導入すると発表しました。これは、AIチャットボットが若者に与える影響に対する懸念が高まる中で行われるものです。
## 詳細
この動きは、MetaのAI製品が「官能的な」チャットを10代の若者と行う可能性を示唆する内部文書が流出し、米上院議員が調査を開始した2週間後に行われました。Metaは、流出した文書の記述は誤りであり、子供を性的に扱うコンテンツを禁止するポリシーと矛盾すると述べています。
しかし、同社は現在、チャットボットが自殺などのデリケートな話題について10代の若者と関わるのではなく、専門家のリソースに誘導するようにすると述べています。Metaの広報担当者は、「当社は最初からAI製品に10代の若者向けの保護機能を組み込んでおり、自傷行為、自殺、摂食障害に関するプロンプトに安全に対応するように設計しています」と述べています。
同社は、金曜日にテクノロジーニュース出版物TechCrunchに対し、「追加の予防措置として」システムにさらなる保護機能を加え、10代の若者がやり取りできるチャットボットを一時的に制限すると述べました。しかし、モリー・ローズ財団のアンディ・バロウズ代表は、Metaが若者を危険にさらす可能性のあるチャットボットを提供したことは「驚くべきことだ」と述べました。
「さらなる安全対策は歓迎されるものの、製品が市場に出る前に堅牢な安全テストが行われるべきであり、損害が発生した後に遡って行われるべきではありません」と彼は述べました。
「Metaは、AIチャットボットの安全対策を強化するために迅速かつ断固として行動しなければならず、Ofcomはこれらの更新が子供たちの安全を確保できない場合に調査を行う準備を整えるべきです。」
Metaは、AIシステムの更新が進行中であると述べています。同社はすでに、13歳から18歳のユーザーをFacebook、Instagram、Messengerの「10代のアカウント」に配置しており、コンテンツとプライバシー設定により、より安全な体験を提供することを目指しています。
同社は4月にBBCに対し、これにより保護者が過去7日間に10代の若者がどのAIチャットボットと話したかを確認できるようになると述べました。
## 安全性の懸念
これらの変更は、AIチャットボットが若者や脆弱なユーザーを誤解させる可能性に対する懸念が高まる中で行われます。最近、カリフォルニア州の夫婦が、チャットボットが10代の息子に自殺を促したとして、ChatGPTの開発元であるOpenAIを提訴しました。
この訴訟は、同社が先月、より健全なChatGPTの使用を促進するための変更を発表した後に行われました。
「AIは、特に精神的または感情的な苦痛を経験している脆弱な個人にとって、以前のテクノロジーよりも応答性が高く、個人的に感じられる可能性があります」と同社はブログ投稿で述べています。
一方、ロイターは金曜日、MetaのAIツールが、ユーザーがチャットボットを作成できるようにするもので、Metaの従業員を含む一部のユーザーが、女性有名人のいちゃつく「パロディ」チャットボットを作成するために使用していたと報じました。
ニュースエージェンシーが見た有名人のチャットボットの中には、アーティストのテイラー・スウィフトや女優のスカーレット・ヨハンソンの肖像を使用したものもありました。
ロイターは、アバターが「しばしば本物の俳優やアーティストであると主張し」、「テストの数週間にわたって日常的に性的な誘いを行った」と述べています。
同社は、Metaのツールが子供の有名人を装ったチャットボットの作成も許可しており、あるケースでは、若い男性スターのフォトリアリスティックな上半身裸の画像を生成したと述べています。
問題のチャットボットのいくつかは、後にMetaによって削除されたと報じられています。
「他の企業と同様に、当社は公人の画像生成を許可していますが、当社のポリシーは、ヌード、親密な、または性的な示唆のある画像を禁止することを意図しています」とMetaの広報担当者は述べています。
彼らは、AI Studioのルールが「公人の直接的ななりすまし」を禁止していると付け加えました。
[元記事](https://www.bbc.com/news/articles/c2kzl79jv15o)
