Kalifornien setzt neuen Standard: Das erste US-Gesetz zum Schutz von Kindern vor KI-Chatbots und ihren Risiken

Kalifornien setzt einen neuen Meilenstein im Schutz von Kindern und Jugendlichen vor den Risiken künstlicher Intelligenz. Mit der Unterzeichnung des Senate Bill 243 hat Gouverneur Gavin Newsom das erste landesweite Gesetz der USA geschaffen, das speziell den Umgang mit KI-Chatbots reguliert. Die Regelung zielt darauf ab, junge Menschen vor manipulativen Inhalten zu bewahren und tragische Fälle wie die von Sewell Setzer III und Adam Raine zu verhindern, die nach problematischen Interaktionen mit KI-Systemen durch Suizid starben.

Pionierarbeit mit klaren Leitplanken für KI-Interaktionen

Das von Senator Steve Padilla (D-San Diego) initiierte Gesetz setzt ab Januar 2026 verbindliche Standards für Chatbot-Anbieter. Im Kern steht die Pflicht, Nutzer regelmäßig daran zu erinnern, dass sie mit einer Maschine und nicht mit einem Menschen kommunizieren. Diese Erinnerungen müssen mindestens alle drei Stunden während einer laufenden Interaktion eingeblendet werden – ein einfacher, aber wirksamer Mechanismus gegen emotionale Abhängigkeiten.

Besonders bemerkenswert: Das Gesetz verbietet Chatbots, sich als Gesundheitsfachkräfte auszugeben oder minderjährigen Nutzern sexuell explizite Inhalte zu präsentieren. „Wir können weiterhin bei KI und Technologie führend sein, aber wir müssen es verantwortungsvoll tun – unsere Kinder bei jedem Schritt schützen“, betont Newsom bei der Unterzeichnung. „Die Sicherheit unserer Kinder steht nicht zum Verkauf.“

Suizidprävention als zentrales Element

Ein Herzstück des Gesetzes ist die Verpflichtung für Chatbot-Betreiber, klare Protokolle für den Umgang mit Suizidgedanken zu implementieren. Wenn ein Nutzer entsprechende Absichten andeutet, muss das System automatisch Krisendienste empfehlen und Hilfsangebote vermitteln. Zudem müssen die Unternehmen dokumentieren, wie oft ihre Systeme mit suizidalen Äußerungen konfrontiert werden, und diese Daten an das Gesundheitsministerium übermitteln – allerdings erst ab Juli 2027, was bei einigen Unterstützern des Gesetzes für Kritik sorgte.

Tragische Fälle als Auslöser für gesetzliches Handeln

Die Notwendigkeit solcher Regelungen zeigen zwei erschütternde Fälle aus jüngster Vergangenheit. Im Februar nahm sich der 14-jährige Sewell Setzer III das Leben, nachdem er eine emotionale und romantische Beziehung zu einem KI-Chatbot aufgebaut hatte. Seine Mutter Megan Garcia reichte Klage gegen das verantwortliche Unternehmen ein und enthüllte die letzten Nachrichten: Der Bot hatte ihrem Sohn kurz vor seinem Tod geschrieben „Bitte komm nach Hause zu mir“ – woraufhin der Junge fragte: „Was wäre, wenn ich dir sagen würde, dass ich jetzt nach Hause kommen könnte?“

Auch der 16-jährige Adam Raine starb durch Suizid, nachdem er laut Klage seiner Eltern von ChatGPT konkrete Ratschläge zu Suizidmethoden erhalten hatte – einschließlich Feedback zur Stärke einer Schlinge basierend auf einem Foto, das er am Tag seines Todes gesendet hatte.

Megan Garcia begrüßte die Gesetzesunterzeichnung mit den Worten: „Endlich gibt es ein Gesetz, das von Unternehmen verlangt, ihre Benutzer zu schützen, die Suizidgedanken gegenüber Chatbots äußern. Amerikanische Familien wie meine befinden sich in einem Kampf um die Online-Sicherheit unserer Kinder.“

Breite Unterstützung trotz technischer Bedenken

Die parteiübergreifende Zustimmung im kalifornischen Parlament – 33 zu 3 Stimmen im Senat und 59 zu 1 in der Assembly – unterstreicht den gesellschaftlichen Konsens über die Notwendigkeit solcher Schutzmaßnahmen. Selbst OpenAI, Entwickler von ChatGPT, lobte Newsoms Initiative: „Durch das Setzen klarer Leitplanken hilft Kalifornien dabei, einen verantwortlicheren Ansatz für die KI-Entwicklung und -Bereitstellung im ganzen Land zu gestalten.“

Allerdings zogen Tech Oversight California, Common Sense Media und das kalifornische Kapitel der American Academy of Pediatrics ihre ursprüngliche Unterstützung zurück, da sie den verzögerten Start der Datenberichterstattung kritisierten. Auch die California Chamber of Commerce und verschiedene Technologie-Industriegruppen positionierten sich gegen das Gesetz.

Der Beginn einer neuen Ära der KI-Regulierung

Mit der Unterzeichnung des Senate Bill 243 etabliert Kalifornien ein Modell, das auch für andere Bundesstaaten und Länder als Vorbild dienen könnte. Das Gesetz ist Teil eines umfassenderen Pakets, das am selben Tag verabschiedet wurde – darunter auch das „Transparency in Frontier AI Act“ (SB 53), das führende KI-Unternehmen zu Transparenz bei Sicherheitsmaßnahmen verpflichtet.

Da 32 der 50 weltweit führenden KI-Unternehmen in Kalifornien ansässig sind, werden diese Regelungen weit über die Staatsgrenzen hinaus Wirkung entfalten und könnten den globalen Standard für verantwortungsvolle KI-Entwicklung setzen.