テキサス州司法長官、MetaとCharacter.AIを調査：AIメンタルヘルス主張に誤解の恐れ

テキサス州司法長官ケン・パクストンは、Meta AI StudioとCharacter.AIに対し、両社が人工知能プラットフォームを正当なメンタルヘルスツールとして誤解を招く形で販売することにより、欺瞞的な商慣行に従事している可能性があるとして調査を開始しました。この調査は、AIが感情的サポートを提供するという名目で、脆弱なユーザー、特に子供たちを搾取する可能性について高まる懸念を浮き彫りにしています。

パクストンは、「今日のデジタル時代において、私たちはテキサスの子供たちを欺瞞的で搾取的な技術から守るために戦い続けなければならない」と述べています。彼は、「感情的サポートの源として振る舞うことで、AIプラットフォームは脆弱なユーザー、特に子供たちを誤解させ、彼らが正当なメンタルヘルスケアを受けていると信じ込ませる可能性がある。実際には、多くの場合、収集された個人データに合わせて設計され、治療的アドバイスと偽装された、使い回しの一般的な回答が与えられている」と警告しています。テキサス州司法長官によるこの行動は、ジョシュ・ホーレイ上院議員がMetaに対して発表した別の調査に続いて行われたもので、MetaのAIチャットボットが未成年者との不適切なやり取り、例えばいちゃつきなどに関与しているとの報告がきっかけとなっています。

テキサス州司法長官室は、MetaとCharacter.AIが「適切な医療資格や監督を欠いているにもかかわらず、専門的な治療ツールとして自らを提示するAIペルソナ」を作成していると具体的に非難しています。例えば、Character.AIは何百万ものユーザーが作成したAIペルソナをホストしており、その中には「心理学者」というボットが、同スタートアップの若いユーザー層の間でかなりの人気を集めています。Metaは子供向けの専用セラピーボットを提供していませんが、未成年者が一般的なMeta AIチャットボットやサードパーティのペルソナを、彼らが治療目的だと認識する用途で使用することを明示的に妨げる障壁はありません。

Metaは、広報担当者ライアン・ダニエルズを通じて、そのAIが「明確にラベル付けされている」と述べ、応答が「AIによって生成されたものであり、人間ではない」という免責事項が含まれていることを明らかにしました。ダニエルズはさらに、「これらのAIは認可された専門家ではなく、当社のモデルは、必要に応じてユーザーを資格のある医療または安全専門家に誘導するように設計されている」と説明しました。しかし、批評家は、多くの子供たちがそのような免責事項を完全に理解できないか、あるいは単に無視する可能性があると指摘し、未成年者を保護する上でのこれらの安全策の有効性について疑問を呈しています。

治療的とされる主張を超えて、パクストンの調査は重大なプライバシー問題も浮き彫りにしています。AIチャットボットはしばしば機密性を主張しますが、その利用規約では、ユーザーのやり取りがログに記録され、追跡され、ターゲット広告やアルゴリズム開発のために利用されることが頻繁に明らかにされています。この慣行は、潜在的なプライバシー侵害、データ乱用、虚偽広告について深刻な疑問を投げかけます。例えば、Metaのプライバシーポリシーは、AIチャットボットとのプロンプト、フィードバック、その他のやり取りを収集し、「AIおよび関連技術を改善するため」に使用することを確認しています。広告については明示的に述べていませんが、情報が「よりパーソナライズされた出力」のために第三者と共有される可能性があると記しており、Metaのビジネスモデルを考慮すると、これは実質的にターゲット広告を意味します。同様に、Character.AIのプライバシーポリシーは、識別子、人口統計、位置情報、閲覧行動、アプリ使用状況のログ記録を詳しく説明しています。同社はTikTok、YouTube、Reddit、Facebook、Instagram、Discordなどのさまざまなプラットフォームでユーザーを追跡し、これらのデータをユーザーアカウントにリンクしてAIトレーニング、サービスパーソナライゼーション、ターゲット広告に使用しており、多くの場合、広告主や分析プロバイダーとのデータ共有を伴います。

MetaとCharacter.AIはともに、そのサービスが13歳未満の子供を対象としていないと主張しています。しかし、Metaは過去に未成年ユーザーによって作成されたアカウントを適切に管理できなかったとして監視されており、Character.AIには、若いユーザーを引き付けるように設計されたと思われる多数の子供向けキャラクターが登場します。実際、Character.AIのCEOであるカランディープ・アナンドは、自身の6歳の娘が同プラットフォームのチャットボットを使用していることを公に認めています。

調査対象となっている広範なデータ収集、ターゲット広告、およびアルゴリズムによる搾取のタイプは、まさにキッズ・オンライン安全法（KOSA）のような法案が防止しようとしているものです。KOSAは昨年、強力な超党派の支持を得ましたが、最終的にはテクノロジー業界による強力なロビー活動のために頓挫しました。Metaは、この法案の広範な義務が同社のビジネスモデルを損なう可能性があると議員に警告するために、大規模なロビー活動を展開したと報じられています。この挫折にもかかわらず、KOSAは2025年5月にマーシャ・ブラックバーン上院議員（共和党・テネシー州）とリチャード・ブルーメンソール上院議員（民主党・コネチカット州）によって上院に再提出され、これらの問題に対処するための継続的な立法意図が示されています。

調査をさらに進めるため、司法長官パクストンはMetaとCharacter.AIに対し、民事調査要求（企業に文書、データ、または証言の提出を強制する法的命令）を発行し、彼らの慣行がテキサス州の消費者保護法に違反しているかどうかを判断しようとしています。