德州总检察长调查Meta和Character.AI:AI心理健康主张涉嫌误导儿童

Techcrunch

德克萨斯州总检察长肯·帕克斯顿已对Meta AI Studio和Character.AI发起调查,指控这两个平台可能从事欺骗性贸易行为,并虚假宣传自己为合法的心理健康工具。这项于周一宣布的调查旨在确定这些公司是否打着提供情感支持的幌子,利用弱势用户,特别是儿童。

帕克斯顿对人工智能平台可能误导年轻用户,使其相信自己正在接受专业的心理健康护理表示深切关注。他指出,这些AI系统通常提供“经过设计、与收集到的个人数据相符的、被伪装成治疗建议的重复通用回复”,而非真正的支持。总检察长的此次行动紧随参议员乔什·霍利对Meta发起的另一项独立调查之后,该调查是因有报道称Meta的AI聊天机器人与儿童互动不当,包括调情等情况。

德克萨斯州总检察长办公室特别指控Meta和Character.AI创建的AI角色表现为专业的治疗工具,但却缺乏必要的医疗资质或监督。例如,Character.AI托管着数百万个用户创建的AI角色,其中包括一个名为“心理学家”的流行机器人,该机器人受到了年轻用户群的广泛关注。虽然Meta本身不为儿童提供专门的治疗机器人,但其通用的AI聊天机器人和第三方角色仍然可供寻求治疗互动的未成年人使用。

两家公司都通过强调其免责声明来回应这些担忧。Meta发言人瑞安·丹尼尔斯表示,AI都经过清晰标记,免责声明告知用户回复是AI生成而非来自人类专业人士。他补充说,Meta的模型旨在适当时将用户引导至合格的医疗或安全专业人士。类似地,Character.AI在每次聊天中都包含显眼的免责声明,提醒用户“角色”不是真实人物,其言论应被视为虚构。该初创公司进一步指出,当用户创建包含“心理学家”、“治疗师”或“医生”等术语的角色时,它会添加额外的警告,建议不要依赖它们获取专业建议。然而,包括TechCrunch在内的批评者指出,许多儿童可能无法完全理解或可能直接忽视此类免责声明。

除了治疗主张外,帕克斯顿的调查还审视了这些AI互动对隐私的影响。他强调,尽管声称保密,但这些聊天机器人的服务条款通常显示用户互动会被记录、跟踪,并被用于定向广告和算法开发。这引发了对隐私侵犯、数据滥用和虚假广告的严重担忧。

Meta的隐私政策证实,它会收集用户与AI聊天机器人的提示、反馈及其他互动,以“改进AI及相关技术”。虽然该政策没有明确提及广告,但它确实声明信息可以与第三方共享,以提供“更个性化的输出”,鉴于Meta以广告为中心的商业模式,这实际上等同于定向广告。Character.AI的隐私政策更为明确,详细说明了对标识符、人口统计信息、位置、浏览行为和应用使用情况的记录。这些数据会在TikTok、YouTube、Reddit、Facebook、Instagram和Discord等平台被跟踪,并可能链接到用户的账户。收集到的信息随后用于AI训练、服务个性化和定向广告,包括与广告商和分析提供商共享数据。Character.AI发言人澄清说,虽然公司正在探索定向广告,但这些努力不涉及使用平台上的聊天内容,并且相同的隐私政策适用于所有用户,包括青少年。

Meta和Character.AI均表示其服务不适用于13岁以下儿童。然而,Meta因未能充分监管未成年用户创建的账户而受到批评,而Character.AI的儿童友好型角色系列似乎旨在吸引更年轻的用户群。Character.AI的首席执行官本人也公开承认,他六岁的女儿在他的监督下使用该平台的聊天机器人。

这种广泛的数据收集、定向广告和算法利用正是《儿童在线安全法》(KOSA)等立法旨在防止的。KOSA旨在保护儿童在线安全,去年获得了两党的大力支持,但由于科技行业游说团体的强烈反对而受阻,据报道Meta部署了强大的游说力量来保护其商业模式。该法案已于2025年5月重新提交参议院。在此期间,总检察长帕克斯顿已向Meta和Character.AI发出了民事调查要求——即要求公司提供文件、数据或证词的法律命令,作为其办公室确定德克萨斯州消费者保护法是否受到侵犯的努力的一部分。