Texas AG untersucht Meta & Character.AI: Irreführende KI-Gesundheitsclaims?
Der texanische Generalstaatsanwalt Ken Paxton hat eine Untersuchung gegen Meta AI Studio und Character.AI eingeleitet, mit dem Vorwurf, beide Unternehmen könnten sich an irreführenden Geschäftspraktiken beteiligen, indem sie ihre Plattformen für künstliche Intelligenz irreführend als legitime psychische Gesundheitswerkzeuge vermarkten. Diese Untersuchung unterstreicht wachsende Bedenken hinsichtlich des Potenzials von KI, schutzbedürftige Nutzer, insbesondere Kinder, unter dem Deckmantel der emotionalen Unterstützung auszunutzen.
Laut Paxton müssen wir “im heutigen digitalen Zeitalter weiter dafür kämpfen, texanische Kinder vor täuschender und ausbeuterischer Technologie zu schützen.” Er warnt, dass “KI-Plattformen, die sich als Quellen emotionaler Unterstützung ausgeben, schutzbedürftige Nutzer, insbesondere Kinder, dazu verleiten können, zu glauben, sie erhielten eine legitime psychische Gesundheitsversorgung. In Wirklichkeit werden ihnen oft recycelte, generische Antworten zugespielt, die darauf ausgelegt sind, sich an gesammelte persönliche Daten anzupassen und als therapeutischer Rat getarnt sind.” Diese Maßnahme des texanischen Generalstaatsanwalts folgt unmittelbar auf eine separate Untersuchung, die Senator Josh Hawley gegen Meta angekündigt hatte, ausgelöst durch Berichte über unangemessene Interaktionen, einschließlich Flirtens, von KI-Chatbots mit Minderjährigen.
Das Büro des texanischen Generalstaatsanwalts wirft Meta und Character.AI spezifisch vor, KI-Personas zu erstellen, die sich als “professionelle therapeutische Werkzeuge” präsentieren, obwohl ihnen “die entsprechenden medizinischen Qualifikationen oder die Aufsicht fehlen”. Character.AI hostet beispielsweise Millionen von nutzergenerierten KI-Personas, darunter einen Bot namens “Psychologe”, der bei der jüngeren Nutzerbasis des Start-ups erhebliche Popularität erlangt hat. Während Meta keine dedizierten Therapie-Bots für Kinder anbietet, gibt es keine expliziten Barrieren, die Minderjährige daran hindern würden, den allgemeinen Meta AI-Chatbot oder Drittanbieter-Personas für Zwecke zu nutzen, die sie als therapeutisch empfinden könnten.
Meta hat über seinen Sprecher Ryan Daniels erklärt, dass seine KIs “klar gekennzeichnet” sind und einen Haftungsausschluss enthalten, dass die Antworten “von KI – nicht von Menschen – generiert werden”. Daniels stellte ferner klar, dass “diese KIs keine lizenzierten Fachleute sind und unsere Modelle darauf ausgelegt sind, Nutzer gegebenenfalls an qualifizierte medizinische oder Sicherheitsexperten zu verweisen.” Kritiker weisen jedoch darauf hin, dass viele Kinder solche Haftungsausschlüsse möglicherweise nicht vollständig verstehen oder einfach ignorieren, was Fragen zur Wirksamkeit dieser Schutzmaßnahmen zum Schutz von Minderjährigen aufwirft.
Über die therapeutischen Behauptungen hinaus hebt Paxtons Untersuchung auch erhebliche Datenschutzbedenken hervor. Obwohl KI-Chatbots oft Vertraulichkeit zusichern, zeigen ihre Nutzungsbedingungen häufig, dass Nutzerinteraktionen protokolliert, verfolgt und für gezielte Werbung und algorithmische Entwicklung genutzt werden. Diese Praxis wirft ernsthafte Fragen zu potenziellen Datenschutzverletzungen, Datenmissbrauch und falscher Werbung auf. Metas Datenschutzrichtlinie bestätigt beispielsweise, dass sie Prompts, Feedback und andere Interaktionen mit ihren KI-Chatbots sammelt, um “KIs und verwandte Technologien zu verbessern”. Obwohl nicht explizit Werbung genannt wird, wird darauf hingewiesen, dass Informationen mit Dritten für “personalisiertere Ausgaben” geteilt werden können, was angesichts von Metas Geschäftsmodell effektiv auf gezielte Werbung hinausläuft. Ähnlich detailliert die Datenschutzrichtlinie von Character.AI die Protokollierung von Identifikatoren, demografischen Daten, Standort, Surfverhalten und App-Nutzung. Das Unternehmen verfolgt Nutzer über verschiedene Plattformen wie TikTok, YouTube, Reddit, Facebook, Instagram und Discord und verknüpft diese Daten mit Nutzerkonten für KI-Training, Servicepersonalisierung und gezielte Werbung, oft unter Einbeziehung des Datenaustauschs mit Werbetreibenden und Analyseanbietern.
Sowohl Meta als auch Character.AI beteuern, dass ihre Dienste nicht für Kinder unter 13 Jahren bestimmt sind. Dennoch wurde Meta in der Vergangenheit wegen seines wahrgenommenen Versagens bei der Überwachung von Konten, die von minderjährigen Nutzern erstellt wurden, kritisiert, und Character.AI bietet zahlreiche kinderfreundliche Charaktere, die scheinbar darauf ausgelegt sind, jüngere Nutzer anzuziehen. Tatsächlich hat der CEO von Character.AI, Karandeep Anand, öffentlich zugegeben, dass seine sechsjährige Tochter die Chatbots der Plattform nutzt.
Die Art der umfangreichen Datenerfassung, gezielten Werbung und algorithmischen Ausbeutung, die Gegenstand der Untersuchung ist, ist genau das, was Gesetze wie der Kids Online Safety Act (KOSA) verhindern sollen. KOSA, der im letzten Jahr starke parteiübergreifende Unterstützung genoss, scheiterte letztendlich an einem gewaltigen Lobbying-Aufwand der Technologiebranche, wobei Meta Berichten zufolge eine erhebliche Lobby-Maschinerie einsetzte, um die Gesetzgeber zu warnen, dass die weitreichenden Mandate des Gesetzesentwurfs ihr Geschäftsmodell untergraben könnten. Trotz dieses Rückschlags wurde KOSA im Mai 2025 von den Senatoren Marsha Blackburn (R-TN) und Richard Blumenthal (D-CT) erneut in den Senat eingebracht, was eine fortgesetzte legislative Absicht zur Behebung dieser Probleme signalisiert.
Zur Förderung seiner Untersuchung hat Generalstaatsanwalt Paxton zivilrechtliche Ermittlungsaufforderungen – rechtliche Anordnungen, die Unternehmen zur Vorlage von Dokumenten, Daten oder Zeugenaussagen verpflichten – an Meta und Character.AI erlassen, um festzustellen, ob ihre Praktiken gegen die Verbraucherschutzgesetze von Texas verstoßen.