德州总检察长调查Meta和Character.AI:AI心理健康工具涉嫌误导儿童

Techcrunch

德克萨斯州总检察长肯·帕克斯顿已对Meta AI Studio和Character.AI展开调查,指控两家公司可能通过误导性地将人工智能平台宣传为合法的心理健康工具,从事欺骗性贸易行为。此次调查凸显了人们日益增长的担忧,即人工智能可能打着提供情感支持的幌子,利用易受伤害的用户,特别是儿童。

帕克斯顿表示:“在当今的数字时代,我们必须继续努力保护德克萨斯州的儿童免受欺骗性和剥削性技术的侵害。”他警告称:“通过冒充情感支持来源,AI平台可能会误导易受伤害的用户,尤其是儿童,让他们相信自己正在接受合法的心理健康护理。实际上,他们经常被灌输的是经过回收、泛泛而谈的回复,这些回复旨在与收集到的个人数据保持一致,并伪装成治疗建议。”德州总检察长的这一行动紧随参议员乔什·霍利宣布对Meta进行单独调查之后,此前有报道称Meta的AI聊天机器人与未成年人进行不当互动,包括调情。

德克萨斯州总检察长办公室特别指控Meta和Character.AI创建的AI角色将自己包装成“专业的治疗工具,尽管缺乏适当的医疗资质或监督”。例如,Character.AI拥有数百万个用户创建的AI角色,其中一个名为“心理学家”的机器人受到了这家初创公司年轻用户群的广泛欢迎。虽然Meta不为儿童提供专门的治疗机器人,但没有明确的障碍阻止未成年人使用通用的Meta AI聊天机器人或第三方角色进行他们可能认为是治疗的目的。

Meta通过发言人瑞安·丹尼尔斯表示,其AI“明确标注”并包含免责声明,说明回复“由AI生成——而非人类”。丹尼尔斯进一步澄清说:“这些AI不是持证专业人士,我们的模型旨在在适当情况下引导用户寻求合格的医疗或安全专业人士的帮助。”然而,批评者指出,许多儿童可能无法完全理解或可能简单地忽视这些免责声明,这引发了人们对这些保护措施在保护未成年人方面的有效性的质疑。

除了治疗性主张外,帕克斯顿的调查还强调了重大的隐私问题。尽管AI聊天机器人经常声称保密,但其服务条款却经常透露用户互动会被记录、跟踪和利用,用于定向广告和算法开发。这种做法引发了关于潜在隐私侵犯、数据滥用和虚假广告的严重问题。例如,Meta的隐私政策证实,它会收集与AI聊天机器人的提示、反馈和其他互动,以“改进AI及相关技术”。虽然没有明确说明用于广告,但它指出信息可以与第三方共享,以提供“更个性化的输出”,鉴于Meta的商业模式,这实际上等同于定向广告。同样,Character.AI的隐私政策详细说明了标识符、人口统计数据、位置、浏览行为和应用使用情况的记录。该公司通过TikTok、YouTube、Reddit、Facebook、Instagram和Discord等各种平台跟踪用户,并将这些数据与用户账户关联起来,用于AI训练、服务个性化和定向广告,这通常涉及与广告商和分析提供商共享数据。

Meta和Character.AI都声称其服务不面向13岁以下儿童。然而,Meta过去曾因未能有效监管未成年用户创建的账户而受到审查,而Character.AI则拥有众多看似专为吸引年轻用户设计的儿童友好角色。事实上,Character.AI的首席执行官卡兰迪普·阿南德曾公开承认,他六岁的女儿使用该平台的聊天机器人。

正在调查的这种广泛数据收集、定向广告和算法剥削正是《儿童在线安全法案》(KOSA)等立法旨在阻止的。KOSA去年获得了两党的大力支持,但最终因科技行业强大的游说努力而受阻,据报道Meta投入了大量的游说机器,警告立法者该法案的广泛授权可能会损害其商业模式。尽管遭遇挫折,KOSA于2025年5月由参议员玛莎·布莱克本(R-田纳西州)和理查德·布卢门撒尔(D-康涅狄格州)重新提交至参议院,这表明立法仍在继续旨在解决这些问题。

为进一步推动调查,总检察长帕克斯顿已向Meta和Character.AI发出了民事调查要求——即强制公司提供文件、数据或证词的法律命令,以确定其行为是否违反了德克萨斯州的消费者保护法。