Texas AG prüft Meta, Character.AI wegen irreführender KI-Gesundheitsbehauptungen
Der Generalstaatsanwalt von Texas, Ken Paxton, hat eine Untersuchung gegen Meta AI Studio und Character.AI eingeleitet. Er wirft beiden Plattformen vor, sich an irreführenden Geschäftspraktiken zu beteiligen und sich fälschlicherweise als legitime Tools für psychische Gesundheit zu vermarkten. Diese am Montag angekündigte Untersuchung soll klären, ob die Unternehmen schutzbedürftige Nutzer, insbesondere Kinder, unter dem Deckmantel der emotionalen Unterstützung ausbeuten.
Paxton äußerte tiefe Besorgnis über das Potenzial von Künstliche-Intelligenz-Plattformen, junge Nutzer in dem Glauben zu täuschen, professionelle psychische Gesundheitsversorgung zu erhalten. Er erklärte, dass diese KI-Systeme oft „recycelte, generische Antworten liefern, die darauf ausgelegt sind, mit gesammelten persönlichen Daten übereinzustimmen und als therapeutische Ratschläge getarnt sind“, anstatt echte Unterstützung zu bieten. Die Maßnahme des Generalstaatsanwalts folgt unmittelbar auf eine separate Untersuchung, die Senator Josh Hawley gegen Meta eingeleitet hatte, ausgelöst durch Berichte über unangemessene Interaktionen seiner KI-Chatbots mit Kindern, einschließlich Flirtversuchen.
Das Büro des Generalstaatsanwalts von Texas wirft Meta und Character.AI speziell vor, KI-Personas zu schaffen, die sich als professionelle therapeutische Tools präsentieren, obwohl ihnen die notwendigen medizinischen Qualifikationen oder die Aufsicht fehlen. Character.AI hostet beispielsweise Millionen von nutzererstellten KI-Personas, darunter einen beliebten Bot namens „Psychologist“, der bei seiner jüngeren Nutzerbasis auf großes Engagement gestoßen ist. Während Meta selbst keine dedizierten Therapie-Bots für Kinder anbietet, sind sein allgemeiner KI-Chatbot und Drittanbieter-Personas für Minderjährige, die therapeutische Interaktionen suchen, weiterhin zugänglich.
Beide Unternehmen haben auf diese Bedenken reagiert, indem sie die Verwendung von Haftungsausschlüssen betonten. Ein Meta-Sprecher, Ryan Daniels, erklärte, dass KIs klar gekennzeichnet sind und Haftungsausschlüsse die Nutzer darüber informieren, dass die Antworten KI-generiert und nicht von menschlichen Fachleuten stammen. Er fügte hinzu, dass Metas Modelle darauf ausgelegt sind, Nutzer bei Bedarf an qualifizierte medizinische oder Sicherheitsfachleute zu verweisen. Ähnlich enthält Character.AI in jedem Chat auffällige Haftungsausschlüsse, die Nutzer daran erinnern, dass „Charaktere“ keine echten Personen sind und ihre Aussagen als Fiktion zu behandeln sind. Das Startup merkte ferner an, dass es zusätzliche Warnungen hinzufügt, wenn Nutzer Charaktere mit Begriffen wie „Psychologe“, „Therapeut“ oder „Arzt“ erstellen, und davon abrät, sich für professionellen Rat auf diese zu verlassen. Kritiker, darunter TechCrunch, haben jedoch darauf hingewiesen, dass viele Kinder solche Haftungsausschlüsse möglicherweise nicht vollständig verstehen oder einfach ignorieren.
Neben den therapeutischen Behauptungen prüft Paxtons Untersuchung auch die Datenschutzimplikationen dieser KI-Interaktionen. Er betonte, dass trotz Vertraulichkeitsbehauptungen die Nutzungsbedingungen dieser Chatbots oft offenbaren, dass Nutzerinteraktionen protokolliert, verfolgt und für gezielte Werbung und algorithmische Entwicklung ausgenutzt werden. Dies wirft erhebliche Bedenken hinsichtlich Datenschutzverletzungen, Datenmissbrauch und falscher Werbung auf.
Metas Datenschutzrichtlinie bestätigt, dass sie Prompts, Feedback und andere Interaktionen mit ihren KI-Chatbots sammelt, um „KIs und verwandte Technologien zu verbessern“. Obwohl die Richtlinie Werbung nicht explizit erwähnt, besagt sie, dass Informationen mit Dritten für „personalisiertere Ausgaben“ geteilt werden können, was angesichts Metas werbezentriertem Geschäftsmodell effektiv gezielte Werbung bedeutet. Character.AIs Datenschutzrichtlinie ist noch expliziter und detailliert die Protokollierung von Identifikatoren, demografischen Daten, Standort, Surfverhalten und App-Nutzung. Diese Daten werden plattformübergreifend auf TikTok, YouTube, Reddit, Facebook, Instagram und Discord verfolgt und potenziell mit dem Konto eines Nutzers verknüpft. Die gesammelten Informationen werden dann für KI-Training, Service-Personalisierung und gezielte Werbung verwendet, einschließlich der Weitergabe von Daten an Werbetreibende und Analyseanbieter. Ein Character.AI-Sprecher stellte klar, dass das Unternehmen zwar gezielte Werbung erforscht, diese Bemühungen jedoch nicht die Nutzung des Inhalts von Chats auf der Plattform beinhalteten und dieselbe Datenschutzrichtlinie für alle Nutzer, einschließlich Teenagern, gilt.
Sowohl Meta als auch Character.AI geben an, dass ihre Dienste nicht für Kinder unter 13 Jahren bestimmt sind. Dennoch wurde Meta dafür kritisiert, Konten von minderjährigen Nutzern nicht ausreichend zu überwachen, und Character.AIs Angebot an kinderfreundlichen Charakteren scheint darauf ausgelegt zu sein, eine jüngere Zielgruppe anzuziehen. Der CEO von Character.AI selbst hat öffentlich eingeräumt, dass seine sechsjährige Tochter die Chatbots der Plattform unter seiner Aufsicht nutzt.
Solch eine umfangreiche Datensammlung, gezielte Werbung und algorithmische Ausbeutung sind genau das, was Gesetze wie der Kids Online Safety Act (KOSA) verhindern sollen. KOSA, das den Schutz von Kindern online zum Ziel hat, erhielt letztes Jahr starke parteiübergreifende Unterstützung, geriet aber aufgrund erheblichen Widerstands von Lobbyisten der Technologiebranche ins Stocken, wobei Meta Berichten zufolge einen gewaltigen Lobbying-Einsatz unternahm, um sein Geschäftsmodell zu schützen. Der Gesetzentwurf wurde im Mai 2025 erneut im Senat eingebracht. In der Zwischenzeit hat Generalstaatsanwalt Paxton zivilrechtliche Ermittlungsanforderungen – rechtliche Anordnungen, die Unternehmen zur Vorlage von Dokumenten, Daten oder Zeugenaussagen verpflichten – an Meta und Character.AI erlassen, als Teil der Bemühungen seines Büros, festzustellen, ob texanische Verbraucherschutzgesetze verletzt wurden.