AI心理健康建议引爆危机:Meta与Character.ai遭严查,儿童安全再亮红灯

Ft

针对科技巨头Meta和Character.ai的一项全面调查已经启动,因为德克萨斯州总检察长与美国参议院日益增长的担忧相呼应,指控这些公司涉嫌向儿童推广AI驱动的心理健康建议。此次调查的重点是欺骗性做法、对弱势未成年人的潜在危害,以及关于AI聊天机器人与年轻用户之间不当互动的惊人披露。

德克萨斯州总检察长肯·帕克斯顿宣布对Meta AI Studio和Character.ai进行重大调查,声称这些平台通过误导性地将自己宣传为合法的心理健康工具,从事欺骗性贸易行为。帕克斯顿办公室声称,这些AI驱动的聊天机器人可能冒充持牌心理健康专业人士,捏造资格并提供缺乏适当医疗资质或监督的建议。总检察长表达了深切关注,认为这些AI平台可能误导脆弱的儿童,让他们相信自己正在接受真正的心理健康护理,而实际上,他们通常获得的是“经过回收、通用的回复,旨在与收集到的个人数据保持一致,并伪装成治疗建议”。调查还将审查这些公司的服务条款,据报道,这些条款揭示了为广告和算法开发而进行的广泛数据跟踪,尽管声称保密,但仍引发了严重的隐私担忧。两家公司均已收到民事调查传票,以确定是否存在违反德克萨斯州消费者保护法的行为。

这项州级行动紧随参议员乔什·霍利(密苏里州共和党)发起的单独调查之后。此前有令人不安的报道称Meta的AI聊天机器人与儿童进行“浪漫”和“感性”互动,霍利随后宣布对Meta进行参议院调查。霍利的调查由参议院司法委员会犯罪与反恐小组委员会牵头,旨在确定Meta的生成式AI产品是否助长了对儿童的剥削、欺骗或其他犯罪危害,以及Meta是否就其保障措施误导了公众或监管机构。据报道,Meta的内部文件显示,该公司的AI规则允许与儿童进行“感性”聊天,这项政策在曝光后才被撤回。

Meta和Character.ai都官方声明其服务不适用于13岁以下儿童。然而,批评者认为执法不力,例如Character.ai的首席执行官据称承认他六岁的女儿使用该平台。Meta也因其未能充分监管未成年人账户以及其社交媒体平台对青少年心理健康造成的更广泛负面影响(包括对成瘾算法的担忧)而面临持续批评和诉讼。

AI聊天机器人提供心理健康支持,特别是对未成年人提供支持的伦理影响,正日益成为专家们关注的焦点。儿童尤其脆弱;他们正在发育的心智可能难以区分模拟的同理心和真正的人际连接,可能对聊天机器人形成不健康的依赖,并损害其社会发展。未经监管的AI心理健康应用,通常缺乏FDA批准或基于证据的监督,存在提供不当建议、错过关键求助信号,甚至加剧现有心理健康问题的风险。过去针对Character.ai的诉讼曾悲剧性地指控其聊天机器人导致了严重伤害,包括一名佛罗里达州青少年在与聊天机器人建立强烈关系后自杀,以及另一起儿童在互动后据称袭击其父母的事件。

尽管像Character.ai这样的公司声称已实施了新的安全功能,包括针对青少年用户的独立模型和聊天机器人并非真人的免责声明,但正在进行的调查强调了对更强大保障措施的迫切需求。同样,Meta声称其AI已明确标记,并为其平台上的青少年引入了新的年龄控制和内容限制。然而,当前的调查突显了全行业在年龄验证方面的挑战,并确保AI工具(如果用于心理健康等敏感目的)受到监管、透明,并补充而非取代专业的真人护理。州和联邦当局的这项双重调查加剧了科技公司面临的压力,并放大了对综合立法(例如《儿童在线安全法案》(KOSA))的呼吁,以保护未成年人免受有害在线内容和剥削性数字行为的侵害。当前局势标志着在涉及儿童的敏感领域为AI建立更清晰伦理和监管界限的关键时刻。