Ein kurzer Befehl reichte, um mit Hilfe von Elon Musks Chatbot Grok harmlose Fotos in Nacktbilder zur verwandeln und zwar ohne Zustimmung der abgebildeten Personen. Seit der Einführung einer Funktion im Dezember, mit der jedes gepostete Bild sofort bearbeitet werden konnte, wurde das Soziale Netzwerk X geradezu überschwemmt mit solchen Deepfakes. Einige davon zeigten Minderjährige – waren also kinderpornografische Erzeugnisse.
Grok generiert KI-Deepfakes von Kindern
Die europäische gemeinnützige Organisation AI Forensics hat untersucht, in welchem Ausmaß der Chatbot dafür missbraucht worden ist. Dafür wurden 20.000 KI-generierte Bilder aus einer Woche ausgewertet. Rund 53 Prozent davon enthielten der Analyse zufolge Menschen in freizügiger Kleidung wie Bikinis oder Unterwäsche. Eine KI-Gesichtserkennung schätzte außerdem das Alter der Abgebildeten. Demnach zeigten zwei Prozent der freizügigen Bilder Personen, die teils weit jünger als 18 Jahre geschätzt wurden - bis hin zu Bildern von Mädchen, die offenbar jünger als fünf Jahre alt sind.
Aber wer haftet, wenn die KI genutzt wird, um solches kinderpornografisches Material zu erstellen? Damit hat sich ein Forschungsteam der Universität Passau und ein leitender Oberstaatsanwalt der Cybercrime Einheit Bayern beschäftigt. Dabei untersuchten sie insbesondere, welche Maßnahmen die Entwickler und Betreiber treffen müssen, um das Risiko von Strafverfolgung zu minimieren und verantwortungsvoll zu handeln, so das Forschungsteam.
Nicht nur die Ersteller können Täter sein
Ein Kernergebnis der Untersuchung ist offensichtlich: Natürlich sind die Nutzenden, die diese Bilder mit Hilfe von KI erzeugen, die Haupttäter. Aber auch die Verantwortlichen für das KI-System - also die Entwickler und Betreiber - können sich strafbar machen, wenn sie vorsätzlich Beihilfe leisten.
Aber was heißt in diesem Fall "Beihilfe leisten"? Dem Forschungsteam zufolge kann das unter anderem dann der Fall sein, wenn der Betreiber wissentlich zulasse, dass Nutzende etwa Kinderpornografie erstellen und keine geeigneten Gegenmaßnahmen getroffen würden. Das könne dann strafrechtlich relevant sein.
Wer eine KI öffentlich zugänglich macht, muss sich bewusst sein, dass sie auch missbraucht werden kann.
Besonders riskant werde es dann, wenn eine KI realistische Nacktbilder generieren kann. "Erlaubt ein KI-Modell explizit die Erstellung freizügiger Inhalte, kann das als Indiz für eine Beihilfe gewertet werden", sagt Brian Valerius, Professor für Künstliche Intelligenz im Strafrecht. Es gebe im Darknet etwa spezielle KI-Modelle, die gezielt auf die Erstellung von Missbrauchsdarstellungen trainiert seien.
Der Studie zufolge ist der Vorsatz entscheidend. Das heißt, sowohl die Nutzenden als auch die KI-Betreiber müssen von der Erstellung dieser Inhalte wissen und diese auch wollen bzw. bewusst ermöglichen, dass sie sich verbreiten. Der konkrete Nachweis dafür müsse jedoch im Einzelfall geführt werden.
Deutsches Recht auch für Server im Ausland
Was dem Forschungsteam zufolge nicht ausreiche, sei ein Verbot in den allgemeinen Nutzungsbedingungen. Das befreie die Anbieter nicht von der strafrechtlichen Verantwortung. Im Gegenteil könne das sogar belegen, dass der Betreiber das Risiko kannte und nicht dafür gesorgt hat, illegale Aktivitäten zu unterbinden. Das könne dann wiederum als Vorsatz interpretiert werden.
Es spiele auch keine Rolle, ob die KI auf deutschen Servern laufe oder nicht. Denn die Behörden könnten auch dann ermitteln, wenn ein Deutscher die KI nutzt oder aber ein deutscher Entwickler beteiligt gewesen ist. Und im Fall von Kinderpornografie fielen selbst Fälle im Ausland unter deutsches Recht.
Heißt das also, dass Elon Musks Tech-Unternehmen sich im Fall der Grok-Deepfakes strafrechtlich zu belangen ist? Es sei zumindest fraglich, ob hier nicht eine Grenze überschritten wurde, bilanziert der Passauer Professor für AI Engineering, Steffen Herbold. "Die Schutzmechanismen müssen effektiv sein und dem Stand der Technik entsprechen. So einfach, wie diese bei Grok derzeit umgangen werden können, ist es fraglich, ob es als Reaktion reicht, den Zugriff auf das Modell nur zahlenden Nutzern zu erlauben."
Links/Studien
Mojica-Hanke, Anamaria et. al.: Criminal Liability of Generative Artificial Intelligence Providers for User-Generated Child Sexual Abuse Material. (2026). Preprint: https://arxiv.org/abs/2601.03788.
Die Studie liegt aktuell in einer vorläufigen Fassung (Preprint) vor, damit die wissenschaftliche Community sie diskutieren kann, heißt es von den Forschenden. Sie habe allerdings bereits ein Prüfverfahren (Peer-Review) durchlaufen und wurde für die "International Conference on AI Engineering" akzeptiert, die im April in Rio de Janeiro stattfindet.
Haftungsausschluss: Das Urheberrecht dieses Artikels liegt bei seinem ursprünglichen Autor. Der Zweck dieses Artikels besteht in der erneuten Veröffentlichung zu ausschließlich Informationszwecken und stellt keine Anlageberatung dar. Sollten dennoch Verstöße vorliegen, nehmen Sie bitte umgehend Kontakt mit uns auf. Korrektur Oder wir werden Maßnahmen zur Löschung ergreifen. Danke
