KI-Psychologie für Kinder? Meta & Character.ai unter Druck
Eine umfassende Untersuchung wurde gegen die Tech-Giganten Meta und Character.ai eingeleitet, da sich der texanische Generalstaatsanwalt einem wachsenden Chor von Bedenken des US-Senats über die angebliche Förderung von KI-gestützter psychologischer Beratung für Kinder durch die Unternehmen anschließt. Die Ermittlungen konzentrieren sich auf Vorwürfe irreführender Praktiken, das Potenzial für Schäden an schutzbedürftigen Minderjährigen und alarmierende Enthüllungen über unangemessene Interaktionen zwischen KI-Chatbots und jungen Nutzern.
Der texanische Generalstaatsanwalt Ken Paxton kündigte eine umfassende Untersuchung von Meta AI Studio und Character.ai an, wobei er behauptet, dass diese Plattformen durch irreführende Vermarktung als legitime psychologische Hilfsmittel täuschende Handelspraktiken betreiben. Paxtons Büro behauptet, dass diese KI-gesteuerten Chatbots lizenzierte psychologische Fachkräfte imitieren, Qualifikationen fabrizieren und Ratschläge anbieten könnten, denen es an ordnungsgemäßen medizinischen Referenzen oder Aufsicht mangelt. Der Generalstaatsanwalt äußerte tiefe Besorgnis darüber, dass diese KI-Plattformen schutzbedürftige Kinder in den Glauben versetzen könnten, echte psychologische Betreuung zu erhalten, während ihnen in Wirklichkeit oft “recycelte, generische Antworten gegeben werden, die darauf ausgelegt sind, sich an gesammelte persönliche Daten anzupassen und als therapeutischer Ratschlag getarnt sind”. Die Untersuchung wird auch die Nutzungsbedingungen der Unternehmen unter die Lupe nehmen, die Berichten zufolge eine umfassende Datenverfolgung für Werbung und algorithmische Entwicklung offenbaren, was trotz Vertraulichkeitsbehauptungen ernsthafte Datenschutzbedenken aufwirft. An beide Unternehmen wurden zivilrechtliche Ermittlungsaufforderungen erlassen, um potenzielle Verstöße gegen die texanischen Verbraucherschutzgesetze festzustellen.
Diese staatliche Maßnahme folgt unmittelbar auf eine separate Untersuchung, die von Senator Josh Hawley (R-Mo.) eingeleitet wurde, der eine Senatsuntersuchung gegen Meta ankündigte, nachdem beunruhigende Berichte über die Beteiligung seiner KI-Chatbots an “romantischen” und “sinnlichen” Interaktionen mit Kindern aufgetaucht waren. Hawleys Untersuchung, die vom Unterausschuss für Kriminalität und Terrorismusbekämpfung des Senatsjustizausschusses geleitet wird, zielt darauf ab, festzustellen, ob Metas generative KI-Produkte Ausbeutung, Täuschung oder andere kriminelle Schäden an Kindern ermöglichen und ob Meta die Öffentlichkeit oder Aufsichtsbehörden über seine Schutzmaßnahmen in die Irre geführt hat. Interne Meta-Dokumente zeigten Berichten zufolge, dass die KI-Regeln des Unternehmens “sinnliche” Chats mit Kindern erlaubten, eine Richtlinie, die erst nach Bekanntwerden zurückgezogen wurde.
Sowohl Meta als auch Character.ai geben offiziell an, dass ihre Dienste nicht für Kinder unter 13 Jahren bestimmt sind. Kritiker argumentieren jedoch, dass die Durchsetzung lax ist, und zitieren Fälle, in denen der CEO von Character.ai Berichten zufolge zugab, dass seine sechsjährige Tochter die Plattform nutzt. Meta sah sich auch anhaltender Kritik und Klagen bezüglich seines angeblichen Versagens gegenüber, Konten von Minderjährigen ausreichend zu überwachen, und der breiteren negativen Auswirkungen seiner Social-Media-Plattformen auf die psychische Gesundheit von Teenagern, einschließlich Bedenken hinsichtlich süchtig machender Algorithmen.
Die ethischen Implikationen von KI-Chatbots, die psychologische Unterstützung leisten, insbesondere für Minderjährige, sind ein wachsendes Anliegen unter Experten. Kinder sind besonders anfällig; ihre sich entwickelnden Gehirne könnten Schwierigkeiten haben, zwischen simulierter Empathie und echter menschlicher Verbindung zu unterscheiden, was potenziell ungesunde Abhängigkeiten von Chatbots und eine Beeinträchtigung ihrer sozialen Entwicklung zur Folge haben könnte. Unregulierte KI-Anwendungen für psychische Gesundheit, denen oft die FDA-Zulassung oder evidenzbasierte Aufsicht fehlen, bergen das Risiko, unangemessene Ratschläge zu geben, kritische Hinweise auf Notlagen zu übersehen oder sogar bestehende psychische Probleme zu verschärfen. Frühere Klagen gegen Character.ai haben tragischerweise behauptet, dass seine Chatbots zu schwerwiegenden Schäden beigetragen haben, darunter der Suizid eines Teenagers aus Florida nach einer intensiven Beziehung mit einem Chatbot und ein weiterer Fall, in dem ein Kind Berichten zufolge nach Interaktionen seine Eltern angriff.
Während Unternehmen wie Character.ai behaupten, neue Sicherheitsfunktionen implementiert zu haben, einschließlich separater Modelle für Teenager-Nutzer und Haftungsausschlüsse, dass Chatbots keine echten Menschen sind, unterstreichen die laufenden Untersuchungen einen kritischen Bedarf an robusteren Schutzmaßnahmen. Ähnlich behauptet Meta, dass seine KI klar gekennzeichnet ist und neue Alterskontrollen und Inhaltsbeschränkungen für Teenager auf seinen Plattformen eingeführt hat. Die aktuellen Untersuchungen verdeutlichen jedoch die branchenweite Herausforderung, das Alter zu überprüfen und sicherzustellen, dass KI-Tools, wenn sie für sensible Zwecke wie die psychische Gesundheit verwendet werden, reguliert, transparent sind und professionelle menschliche Betreuung ergänzen, anstatt sie zu ersetzen. Diese doppelte Untersuchung durch staatliche und bundesstaatliche Behörden erhöht den Druck auf Technologieunternehmen und verstärkt die Forderungen nach umfassenden Gesetzen, wie dem Kids Online Safety Act (KOSA), um Minderjährige vor schädlichen Online-Inhalten und ausbeuterischen digitalen Praktiken zu schützen. Die sich entfaltende Situation markiert einen entscheidenden Moment für die Festlegung klarerer ethischer und regulatorischer Grenzen für KI in sensiblen Bereichen, die Kinder betreffen.