Kann uns Künstliche Intelligenz helfen, sexuelle Gewalt im Internet zu bekämpfen, Martin Steinebach?

[00:00:00.350] - Martin Steinebach

Es ist ein bisschen unklar, wie hoch da die tatsächlichen Fehlerraten sind, aber vom Prinzip kann eine KI, kann ein Bildklassifizierungssystem mit Beispielen trainiert werden und dann lernen, auf was sie reagieren soll. Und gegebenenfalls kann sie sogar verschiedene Missbrauchstypen, Kategorien und so weiter unterscheiden.

[00:00:26.490] - Nadia Kailouli

Hi, herzlich willkommen bei einbiszwei, dem Podcast über Sexismus, sexuelle Übergriffe und sexuelle Gewalt gegen Kinder und Jugendliche. Ich bin Nadia Kailouli und in diesem Podcast geht es um persönliche Geschichten, um akute Missständen und um die Frage, was man tun kann, damit sich was ändert. Hier ist einbiszwei. Schön, dass du uns zuhörst.

[00:00:49.660] - Nadia Kailouli

Sexuelle Gewalt im Internet breitet sich rasant aus. Das kennt ihr. Nahezu unkontrolliert wird ja sogenannte Kinderpornografie in riesigen Mengen in Umlauf gebracht, werden Jugendliche mit Deepfake-Pornos erpresst und machen sich Pädokriminelle in sozialen Netzwerken und Onlinespielen an Kinder heran. Das nennt man Cybergrooming. Der Ruf nach stärkeren Kontrollen im Netz wird dementsprechend lauter. Der Einsatz von künstlicher Intelligenz, also KI, zur Unterstützung solcher Kontrollen, wird dabei immer öfter diskutiert. Prof. Dr. Martin Steinebach vom Fraunhofer Institut für sichere Informationstechnologie, gehört zu den führenden Experten auf diesem Gebiet. Er erforscht, wie KI zum Schutz von Kindern und Jugendlichen im Netz eingesetzt werden kann und kennt die Herausforderungen, die damit einhergehen. Professor Dr. Martin Steinebach, schön, dass Sie da sind.

[00:01:37.100] - Martin Steinebach

Herzlich willkommen. Vielen Dank für die Einladung.

[00:01:39.530] - Nadia Kailouli

Wir wollen heute mal versuchen, das so anschaulich wie möglich zu gestalten, denn es gibt ja die eine oder den anderen Zuhörer, Zuhörerin, die bei technischen Sachen komplett abschaltet, sondern einfach ein Selbstverständnis hat: "Solange es funktioniert, dann funktioniert es und den Rest muss ich gar nicht wissen." Deswegen wollen wir mal versuchen, das irgendwie so anschaulich wie möglich zu machen. Ich gebe Ihnen jetzt mal ein Beispiel: Wir sind jetzt auf TikTok unterwegs und ich werde angeschrieben und jemand, der sich als 15-Jähriger ausgibt, sagt: „Schick mir doch mal ein Foto im Bikini." Wie können Sie mit Ihrem Forschungsgebiet KI, zum Beispiel, jetzt sagen: "Wir können entlarven, dass dahinter vielleicht gar kein 15-Jähriger steckt?"

[00:02:15.580] - Martin Steinebach

Da gibt es tatsächlich eine ganze Reihe von Möglichkeiten, aber die einfachste Möglichkeit ist erst mal zu schauen: Ist denn die Schreibweise, die Art, wie die Person schreibt, wie sie kommuniziert, die eines 15-Jährigen. Da gibt es also sogenannte Autorschaftsprofiling-Methoden oder Autor Profiling-Methoden, mit denen ich einer KI ganz viele Texte von verschiedenen Altersstufen zur Verfügung stelle und die KI lernt dann, wie Personen in dem Alter schreiben. Das hat dann was mit Satzlängen zu tun, mit Wortschatz und so weiter und so fort. Und damit kann man dann ganz gut abbilden, wie alt die Person ist. Ihr Beispiel ist da natürlich ein bisschen sehr kompakt. Also wenn jetzt die KI nur die Information hat: „Hey, schick mir mal ein Foto im Bikini von dir", wird das wahrscheinlich zu wenig Text sein, sondern man muss dann schon ein bisschen länger die Kommunikation verfolgen. Aber ich denke mal, im Cybergrooming fällt der Groomer auch nicht dann direkt mit der Tür ins Haus, sondern bezirzt ja erst mal eine Weile.

[00:03:26.320] - Nadia Kailouli

Das heißt ja, sozusagen, diese KI, die Sie dann da entwickeln wollen, oder schon entwickelt haben, liest ja sozusagen mit. Können wir uns dann damit frei machen, weil es ja ein KI-Programm ist und damit nicht ein direkter Mensch, dass wir Datenschutz verletzen, weil wir mitlesen?

[00:03:42.670] - Martin Steinebach

Freimachen können wir nicht, aber wir müssen betrachten, was lesen wir denn mit? Der Computer, die KI, wird dann nicht darauf angewiesen sein, die tatsächlichen Informationen vorzuhalten oder zu speichern, über die da ausgetauscht wird, sondern sie brauchen nur stilistische Merkmale. Das heißt also, man könnte zum Beispiel, wir hatten ja schon gesagt, die ganzen Namen und so weiter wegwerfen, die haben nichts damit zu tun. Wenn ich tatsächlich mich an Satzlängen und Ähnlichen orientiere, dann muss ich vielleicht auch einfach nur mitschneiden, wie lang die Sätze ungefähr sind oder wie lang die Worte sind und Ähnliches. Das heißt, ich kann sehr viel Informationen verwerfen und man kann ziemlich sicher all die Informationen verwerfen, die für die Inhalte in der Kommunikation tatsächlich eigentlich die vertraulichen Informationen sind. Also es ist wirklich eher so, als ob ich sehr weit weg auf ein Buch schauen würde und nur sagen würde: „Ich sehe, dass die Sätze über mehrere Zeilen gehen. Ich sehe, dass da eher lange Wortblöcke als kurze Wortblöcke sind. Ich sehe, dass die Absätze kurz oder häufig sind." Und das sind die Informationen, die man verwendet. Man schaut sich also nicht die tatsächliche inhaltliche Ebene, die semantische Ebene, an.

[00:05:08.350] - Nadia Kailouli

Bevor wir jetzt über die Konsequenzen auf beiden Seiten sprechen, die daraus resultieren können, gehen wir mal weiter und nehmen ein anderes Beispiel: Es gibt zigtausende Netzwerke von im Netz stattfindender Pädokriminalität. Dort werden sogenannte kinderpornografische Inhalte geteilt. Wie kann zum Beispiel die KI nach ihren Forschungserkennung Erkenntnissen da unterstützen, die Täterinnen und Täter da ausfindig zu machen?

[00:05:36.080] - Martin Steinebach

Na gut, Täter ausfindig machen ist was, das wird die KI so schnell nicht können, aber sie kann erst mal dabei helfen, überhaupt die Inhalte automatisiert zu erkennen. Das ist ja so eins der großen Herausforderungen und großen Diskussionsthemen im Kontext dieser ganzen Onlineüberwachung, sei es jetzt Upload-Filter, sei es Chatkontrolle, Client-Side-Scanning. Das basiert ja alles darauf, dass ich relevante Inhalte, eben zum Beispiel kinder- oder jugendpornografische Inhalte, erkennen kann. Man kann sich ja vorstellen, ich glaube, in WhatsApp werden täglich 10 Milliarden Bilder oder so geteilt. Also das ist eine unglaubliche Größenordnung. Das wird man ohne computergestützte Analyse nicht hinbekommen. Ob man es bei WhatsApp wirklich dann auf dem Endgerät machen muss oder ob es andere Strategien gibt für Foren und so weiter, sei jetzt mal dahingestellt, aber der Computer ist erst mal der Mechanismus, mit dem ich automatisiert solche Inhalte erkennen kann. Und wenn ich diese Erkennung erfolgreich durchführen kann, dann kann ich halt eben weitere Schritte einleiten. Dann kann ich dann über die IP-Adressen, E-Mail-Adressen, je nach Kommunikationskanal, dann tatsächlich die entsprechende Person auch identifizieren. Das ist dann aber normalerweise nichts mehr, was die KI macht, sondern KI ist dann der Hinweisgeber und der Ermittler oder der Beauftragte ist dann derjenige, der tatsächlich die Identität feststellt.

[00:07:18.570] - Nadia Kailouli

Nun hatten wir hier bei einbiszwei schon durchaus auch Gespräche mit Kriminalbeamten, die diesen Job auch machen, die sich diese Inhalte anschauen, dann festzustellen: „Sehe ich hier auf diesen Bildern Missbrauchsabbildungen et cetera?" Kann die KI in Zukunft, oder das macht sie ja teilweise wahrscheinlich schon, vielleicht können Sie uns da auch noch mal einen Einblick geben, dass sie da unterstützt bei dieser Arbeit?

[00:07:41.150] - Martin Steinebach

Das ist die Hoffnung, ja. Und sie macht das auch. Es ist ein bisschen unklar, wie hoch da die tatsächlichen Fehlerraten oder Erkennungsraten sind. Aber vom Prinzip kann eine KI, kann ein Bildklassifizierungssystem, ja, mit Beispielen trainiert werden und mit diesen, anhand dieser Beispiele dann lernen, auf was sie reagieren soll. Und gegebenenfalls kann sie tatsächlich auch mit genug Beispielen und genug Wissen dann sogar verschiedene Missbrauchstypen, Kategorien und so weiter unterscheiden.

[00:08:15.150] - Nadia Kailouli

Jetzt haben Sie gerade diese sogenannte Fehlerquote angesprochen, vor der ja viele Angst haben. Nehmen wir mal das Beispiel: Da schickt ein Vater oder eine Mutter ein Bild oder ein Video von dem nackten Kind, wie es gerade im Urlaub in Pool springt, schickt das der Oma und zack, bumm, dank KI, steht das BKA dann vorm Ferienhaus und sagt so: "Alles klar, oh, Fehlalarm." Weil, kann das passieren? Ist das ein realistisches Bild, die diese Sorge bestätigt?

[00:08:42.130] - Martin Steinebach

Also ich glaube, den Vorgang, den Sie da beschreiben, da haben ja dann mehrere Parteien versagt. Also das ist ja zum einen so, dass die KI dann erst mal Fehlalarm ausgegeben hat. Da kann man das vielleicht noch gar nicht so vorwerfen, wenn der einfach gesagt wird: „Pass auf, nacktes Kind vor der Kamera, gib einen Alarm aus", dann macht die das. Also in dem, was sie beschreiben, gab es ja keine sexuelle Handlung, sondern es ist einfach ein nacktes Kind, das in den Pool springt. Je nachdem, wie die trainiert ist, kann man dann sagen, klar, wird Alarm ausgegeben oder nicht. Wenn halt dann derjenige, der dieses Material bekommt und das dann manuell sichtet, völlig unreflektiert sagt: „Ja, da müssen wir eingreifen." Dann ist das halt nicht mehr das Versagen der KI. Dann ist das in dem Fall dann, Sie haben jetzt das BKA genannt, würde ich sagen, da hat das BKA dann eine Fehleinschätzung durchgeführt und wird halt aktiv und stört da irgendwie einen Familiennachmittag. Aber wie gesagt, da werden sie die KI nicht als Verantwortlichen dazu hinzuziehen können in so einem Fall.

[00:09:48.780] - Nadia Kailouli

Ich würde gerne etwas aus unserer Erkenntnis hier aus diesem Podcast ergänzen, weil Sie gerade sagten, da finden auf diesem Video zum Beispiel jetzt erst mal keine Missbrauchshandlungen statt, sondern es gibt erst mal nur ein nacktes Kind zu sehen. Da möchte ich einfach nur darauf hinweisen, dass wir hier im Podcast schon die Erkenntnis gewonnen haben durch Recherchen von Kolleginnen und Kollegen, die halt eben auf Plattformen unterwegs waren, wo ein Video oder ein Bild eines nackten Kindes ohne Missbrauchshandlung schon dazu führt, dass Pädokriminelle sich dazu austauschen und sozusagen eine Fantasiemissbrauchsbeschreibung dort unten hinschreiben. Das nur als kleiner Hinweis.

[00:10:21.710] - Martin Steinebach

Das ist mir auch bewusst und ich glaube, das muss auch jedem bewusst sein. Deshalb sage ich ja, es kommt drauf an, auf was man trainiert. Also es gibt ja durchaus auch Experten, die auch schon von so ersten Bildern, die schon mal Interesse an Pädokriminalität wecken, die ja selbst erst mal gar nicht illegal sind, sprechen, dass man also wirklich sagt, wenn jemand an gewissen Bildtypen Interesse hat, ist die Wahrscheinlichkeit hoch, dass er auch an pädophilen Inhalten Interesse hat. Und dann kann es durchaus eine Strategie sein, wenn ich zum Beispiel eine Durchsuchung von Computern oder Ähnliches durchführe, dass ich auch auf solche Bilder reagiere. Also ich will gar nicht sagen, dass man solche Bilder nicht erkennen muss. Nur in ihrem Szenario war es ja dann so, dass das BKA danach die Entscheidung getroffen hat, tatsächlich bei der Familie vor Ort aufzutauchen. Und das klingt halt nach was anderen, wie wenn jetzt man sagt: „Ich sammle hier mal Verdachtsfälle und wenn die sich anhäufen, dann leite ich weitere Schritte ein."

[00:11:22.840] - Nadia Kailouli

Jetzt geht es ja darum, dass wenn wir über diese KI-Instrumente, so nenne ich sie mal, sprechen, die dann auf verschiedenen Plattformen Gebrauch finden, man ja vor allem auch das Einwilligen, nicht nur der Leute braucht, die da schreiben und Bilder hin- und herschicken, sondern vor allem der Betreiber, wie WhatsApp, Instagram und Co. Sehen Sie das als realistisch, dass diese Betreiber dafür offen sind, zu sagen: "Sie können für ihre Ermittlungen hier ihre KI installieren, damit sie hier mitlesen und mitgucken können für den Verdachtsfall"?

[00:11:51.860] - Martin Steinebach

Ich muss jetzt nur sicherstellen, also wen meinen Sie denn mit „Sie"? Also wir werden das bestimmt nicht machen. Also nicht, dass Sie jetzt glauben, dass Fraunhofer anfangen möchte, da flächendeckende Analysen durchzuführen. Aber ansonsten kommt es, glaube ich, wirklich auf das Land und die Rechtsprechung an. Also es wird ja im Augenblick gemacht. Also da darf man sich keine Illusionen hingeben. Entsprechende Detektionsverfahren werden ja in vielen Social-Media-Plattformen eingesetzt, in Form von Upload-Filtern, aber auch in Form des Durchsuchens von E-Mail-Anhängen, die in der Cloud gespeichert sind und so weiter. Und man kriegt ja auch immer mal wieder mit, dass entsprechende Verdachtsfälle dann zu einer Untersuchung führen und dann meistens dann zum Fehlalarm führen. Also meistens in dem Sinn, dass man die Fälle, die dann ans Tageslicht kommen, das sind ja meistens die Fälle, in denen irgendwas schiefgelaufen sind, während die erkannten Täter natürlich dann eher auf Basis von Gerichtsverfahren weiter behandelt werden. Aber das passiert tatsächlich. Also verschiedene Online-Plattformen machen das, sind da aktiv. Und wenn ich das richtig in Erinnerung habe und verstanden habe, ich bin da auch kein Jurist und kein Politiker, ist es so, dass diese Aktivitäten im Rahmen der Chatkontrolle, Client-Side-Scanning und so weiter, das ist einfach eine Reaktion darauf, dass diese freiwillige und akzeptierte Praxis, dass Online-Plattformen das selbst machen, ausläuft und jetzt halt eine strukturiertere, geregeltere Strategie dafür entwickelt werden soll. Das sind dann halt eben die Regelungen, die im Rahmen der Chat-Kontrolle umgesetzt werden sollen.

[00:13:40.560] - Nadia Kailouli

Vielleicht können Sie uns noch mal konkret einen Einblick geben, wie KI jetzt schon beim Thema Kinderschutz unterstützend ist. Sie haben gerade diese Upload-Filter genannt. Können Sie uns da noch ein Beispiel nennen, wo wir jetzt schon mit Sicherheit sagen können, da hilft die KI beim Thema Kinderschutz?

[00:13:57.030] - Martin Steinebach

Also was unter anderem gemacht wird, ist, dass Behörden beziehungsweise Institutionen, die den Auftrag haben, zu überprüfen, ob das Internet ein Raum ist, in dem sich jugendliche Kinder sicher bewegen können, also pornografische, gewaltverherrlichende, was auch immer, Inhalte für Kinder nicht einfach erreichbar sind, dass die eben auch automatisiert nach solchen Inhalten mit KI-Klassifizierern suchen und dann halt eben die entsprechenden Inhalte entweder wieder vom Netz nehmen oder hinter einen entsprechenden Schutz stellen lassen. Die KI wird auch in der Altersverifikation eingesetzt, also so Überlegungen oder Mechanismen, mit denen ich halt eben automatisiert das Alter von der Person, die vor der Kamera sitzt, zur Freigabe von Zugriffen auf Inhalte steuern kann, ist durchaus auch Praxis. Es gab mal eine Lösung von Apple, die die, glaube ich, wieder zurückgezogen haben, weil sie verschiedene andere Probleme aufgeworfen hat, aber da war die Idee, dass Kinder vor pornografischen Inhalten geschützt werden, indem auf dem Smartphone des Kindes automatisiert, pornografische Inhalte erkannt werden und dann geblurrt werden. Das heißt, das Kind hat nicht unvermittelt von außen irgendwelche Pornografie angezeigt bekommen, sondern konnte die dann gegebenenfalls, weil es vielleicht auch mal eine Fehlererkennung ist oder weil es vielleicht auch ein pubertierendes Kind ist, dass von den Eltern die Erlaubnis hat, ja zumindest mal milde erotische Inhalte auch zu betrachten. Das ist ja alles denkbar. Dann konnte man das über die Eltern freigeben lassen. Man konnte also diese Bilder dann quasi freischalten. Das hat aber zu Komplikationen geführt, weil dadurch teilweise wohl ein unerwünschtes Outing erfolgt ist. Also sprich, wenn ein männliches Kind dann plötzlich nackte männliche Darsteller sich anschaut und das freigeschaltet bekommt, dann stellen die Eltern vielleicht entsprechende Fragen und dementsprechend wurde das dann wieder zurückgefahren. Aber technisch war das alles schon da.

[00:16:13.270] - Nadia Kailouli

Aber ist das auch ein Hinweis dahingehend, dass wir eigentlich vom Wissensstand und vom Forschungsstand viel weiter sind, als wir zulassen, was zum Beispiel Kinderschutz betrifft?

[00:16:23.580] - Martin Steinebach

Da wäre ich skeptisch. Also das sind ja ziemlich unterschiedliche Sachen. Also eine Erotik-Erkennung oder eine Pornografie-Erkennung funktioniert nicht besonders zuverlässig, aber sie wird schon ziemlich breit eingesetzt. Ganz einfaches Beispiel: Wenn Sie heute mit generativer KI Bilder erstellen, gerade wenn sie einen freien Account nehmen, dann verbietet die normalerweise, pornografische Inhalte zu erzeugen. Da man aber nie so 100% weiß, wie eine KI ein Prompt umsetzt, also es kann immer sein, dass selbst wenn ich sage: „Zeichne mir das Bild einer Person auf einer Blumenwiese", dann ist eine gewisse Chance, dass die Person plötzlich nackt ist. Also es ist dann einfach, die KI hat viele Nacktpersonen gesehen, dementsprechend würfelt die halt und malt dann auch mal eine nackte Person. Und um zu verhindern, dass dann unvermittelt solche potenziell anstößigen Inhalte an die Nutzer weitergereicht werden, wird jedes Bild erst noch mal durch einen entsprechenden Klassifizierer geprüft. Das heißt also, da wird das Ganze wirklich flächendeckend eingesetzt. Und im Jugendschutz ist es wahrscheinlich eben die Frage des konkreten Szenarios. Wir diskutieren halt häufig über so Fragen wie Chatkontrolle und Ähnliches und da ist es ja dann eher die Frage des Eingriffs in der Privatsphäre und die Wahrscheinlichkeit, dass hier unvermittelt oder dass hier fehlerhaft in die Privatsphäre eingegriffen wird. Das wird dann relativ komplex, weil wir eben, wie gesagt, Fehlerraten haben. Die KI muss sich jedes Bild anschauen und es muss jedes Mal eine Entscheidung treffen. Und wie gesagt, bei zehn Milliarden Bildern, wenn ich jetzt eine Fehlerrate im Prozentbereich habe und das wäre eine sehr niedrige Fehlerrate, dann habe ich halt immer noch 100 Millionen Bilder, bei denen das Tool eine Fehleinschätzung durchführt. Das heißt, 100 Millionen Mal wird vielleicht zufällig irgendein Bild rausgegriffen, das dann von der EU-Behörde, die da bei der Chat-Kontrolle eingesetzt werden soll, erst mal überprüft wird. Und die Wahrscheinlichkeit steigt halt mit einer hohen Ähnlichkeit zu problematischen Inhalten. Das heißt, wenn sie 19 sind und eine 18-jährige Freundin haben, die jedes Recht hat, ihnen Nacktbildern zu schicken, ist die Wahrscheinlichkeit halt ziemlich hoch, dass irgendeine Behörde sich die Bilder dann auch mal anschaut, weil die ja genauso 17 oder 16 sein könnte. Und das sind die Probleme. Also von daher, glaube ich, ist die technische Entwicklung halt einfach nicht so weit, dass sie unproblematisch für solche Massenüberwachungsszenarien eingesetzt werden kann. Die technische Entwicklung ist aber durchaus weit genug, jetzt zum Beispiel eine Vorfilterung im der Sichtung von großen beschlagnahmen Datenmengen durchzuführen. Das sind die gleichen Algorithmen mit den gleichen Fehlerraten. In einem Fall ist es fatal, im anderen ist es einfach nur eine Unterstützung.

[00:19:41.390] - Nadia Kailouli

Heißt das dann aber im Umkehrschluss, dass wir bei aller technischen Expertise und Weiterentwicklung auf den Menschen in der Zusammenarbeit eigentlich nicht verzichten können?

[00:19:51.920] - Martin Steinebach

So in den Szenarien auf jeden Fall. Also die KI kann meiner Meinung nach da immer nur ein Vorfilter sein. Das heißt also, gerade bei dieser doch komplexen Entscheidung habe ich hier Jugend- oder Kinderpornografie vorliegen, wird man keine automatisierte Lösung haben. Man wird einen Filter haben, der wird Hinweisgeber für diejenigen sein, die Entscheidung treffen, aber bis jetzt ist da ein Mensch auf jeden Fall noch erforderlich.

[00:20:22.790] - Nadia Kailouli

Wenn wir uns die künstliche Intelligenz, die KI, anschauen, dann haben wir in den letzten Jahren vor allem auch feststellen können, dass sie unterstützen kann bei Missbrauchsabbildungen. Ich spreche da oder schaue da vor allem auf Deep Fakes, die vielleicht ganz lustig sind, wenn man einen Donald Trump sieht, wie er verhaftet wird, wenn man aber sein Gesicht in einem Pornofilm wiederfindet, obwohl man darin nie mitgespielt hat, dann ist das eine andere Sache: Wie ist denn da die Forschung? Wie kann man der KI selbst mit der KI sagen: "Die KI missbraucht hier und die andere KI schützt davor, dass das passiert?" Ist jetzt kompliziert ausgedrückt von meiner Seite, aber Sie wissen, glaube ich, was ich meine.

[00:21:00.480] - Martin Steinebach

Nein, ich glaube, ich verstehe, was Sie meinen. Also das ist noch ein bisschen die Frage: Davor schützen oder entdecken, erkennen, sind ja unterschiedliche Sachen. Also wenn Sie mit einem Deepfake-Verfahren oder mit einem generativen KI-Verfahren Kinderpornografie erzeugen wollen, dann werden sie das höchstwahrscheinlich in der Umgebung machen, in der sie Kontrolle über das System haben. Und das muss einem dann halt klar sein, die KI als solches ist in erster Linie auch erst mal ein Algorithmus, der Content, also Inhalte nimmt, anhand diesen Inhalten Training durchführt, danach ein trainiertes Netz hat und dann solche Inhalte beispielsweise wieder erzeugen kann. Und das haben sie dann vollständig unter Kontrolle. Da können Sie wahrscheinlich wenig verhindern, wenn jemand jetzt die Verfahren verwendet und das Material bei sich lokal hat. Was Sie machen können, ist die KI einsetzen, um dann dann zum Beispiel zu erkennen, dass solche Inhalte synthetisch erstellt wurden. Das ist vielleicht für die Polizei wichtig, wenn sie irgendwelche Missbrauchsabbildungen haben und sich dann entscheiden müssen: „Muss ich jetzt ausrücken, um zu versuchen, die Person, das Kind, das da missbraucht wird, zu befreien." Das geht ja ins Leere, wenn das Opfer ein rein synthetisches Opfer ist. Da ist dann eben zumindest der Opferschutz erst mal nicht so wichtig oder wird auch ins Leere führen. Was man auch in der Forschung schon sieht, ist, dass man KI einsetzen kann, um Bilder so nachzubearbeiten, dass sie nicht mehr verändert werden können, in dem Sinn, dass ich jetzt ein Foto von meinem Kind in sozialen Medien habe, ob das jetzt schlau ist oder nicht, ist immer dahingestellt, aber sagen wir mal, ich möchte aus irgendwelchen Gründen Fotos teilen, ich möchte sie vielleicht auch im Bekanntenkreis teilen, dass man dann diese Fotos so nachbearbeiten kann, dass, wenn ich die jetzt ein Standardwerkzeug reinlade, mit denen dann jemand z. B. Sagt: "Na gut, das sind Fotos in Badehosen, Fotos in Schwimmkleidung. Jetzt zieh die Person mal aus", dass das dann plötzlich nicht mehr geht, weil plötzlich statt dem Körper nur noch eine graue Fläche entsteht oder das Erkennungsverfahren den Körper gar nicht mehr genau erkennen kann, das Gesicht an eine falsche Position setzt. Also dass so dieser Erstellungsprozess gezielt gestört wird. Es gibt also eine ganze Reihe von technischen Ansätzen, mit denen man auch gegen KI-basierte Veränderungen nach erotisieren von Inhalten vorgehen kann.

[00:23:45.240] - Nadia Kailouli

Das finde ich jetzt aber wirklich mal einen interessanten Einblick, weil ich das selbst so jetzt auch noch nicht gehört habe, dass das machbar ist. Und ich glaube, das ist auf jeden Fall etwas, worauf man vorfreudig guckt, weil wir können eben der KI jetzt nicht mehr sagen: „Dich brauchen wir nicht mehr!" Aber wenn wir sagen: „Okay, die KI könnte dann aber, wenn man sie richtig benutzt, dann dafür sorgen, dass ein Foto nicht mehr missbräuchlich genutzt wird mit der KI." Habe ich Sie da richtig verstanden?

[00:24:11.650] - Martin Steinebach

Ja, das haben Sie richtig verstanden. Ich bin da immer nur ein bisschen vorsichtig, zu viel Hoffnung zu machen. Das sind eben Forschungsergebnisse. Die Forschungsergebnisse zeigen, dass das geht. Ich weise aber immer darauf hin, dass man sich dann ziemlich genau anschauen muss, wie zuverlässig das wirklich funktioniert, weil letztendlich ist es ja dann eine sehr detaillierte, gezielte Veränderung an dem Bild. Das ist so ähnlich wie das, was man immer mal wieder hört, dieses Stoppschild und dann da so ein paar Pixel verändern und dann ist es plötzlich ein Speed Limit 80 oder sowas und dann fährt man über das Stoppschild drüber. Und mit den gleichen Konzepten kann man eben auch solche Veränderungen durchführen. Nur wenn der Angreifer das Foto jetzt wirklich verwenden möchte, kann es halt immer sein, dass er mit einem Rauschfilter, mit einem Weichzeichner, mit ein bisschen Shaper-Kompression, diesen Schutz auch wieder umgehen kann. Also, dass man jetzt nicht so das Gefühl hat, wir haben jetzt so Feenstaub, den wir über alle Bilder drüber träufeln können und danach ist man davor geschützt. Aber das ist halt eben ein Forschungsthema. Da gibt es noch nicht allzu viel Forschung dazu. Es gibt ein paar Beispiele. Diese ganze Geschichte der Robustheit von Bildern und Adversarial Attacks und so weiter ist immer noch relativ unerforschtes oder wenig erforschtes Thema im Vergleich zu diesen ganzen generativen Möglichkeiten, die es schon gibt.

[00:25:40.590] - Nadia Kailouli

Also Sie haben es jetzt auf jeden Fall geschafft, meiner Euphorie innerhalb kürzester Zeit einen Dämpfer zu verpassen.

[00:25:45.040] - Martin Steinebach

Ja, das ist ja meine Aufgabe.

[00:25:46.120] - Nadia Kailouli

Einen Realistischen.

[00:25:46.230] - Martin Steinebach

Ich versuche ja, neutrale Informationen zu vermitteln und mich nicht im Hype-Cycle zu bewegen.

[00:25:53.880] - Nadia Kailouli

Ja, aber wir, die nicht in der Forschung sind, denken: „Wow, toll, was Sie da entwickelt haben. Herr damit, ich will das haben." Aber so ist es ja dann nicht. Vielleicht können Sie uns aber auch mal einen Einblick geben, wie das konkret aussieht jetzt für Sie, als der da forscht. Wir haben ja oft schon mit Menschen gesprochen, die eben diese Arbeit machen und sich Bilder anschauen und das ja nun kein einfacher Job ist. Der ist sehr belastend. Kann ich mir vorstellen, dass Sie und Ihr Team sich auch diese Bilder erst mal anschauen müssen, dann Ihre KI damit zu befüttern, damit die KI weiß, woran wir hier eigentlich arbeiten?

[00:26:25.800] - Martin Steinebach

Nein, das ist tatsächlich was, was wir nicht machen müssen. Wir arbeiten dann meistens mit unserer Meinung nach vergleichbaren Inhalten, aber wir arbeiten jetzt nicht mit kinderpornografischen Inhalten. Das wäre wahrscheinlich auch rechtlich gar nicht so einfach, aber man braucht dann auch wirklich Mitarbeiter, die das wollen und man braucht dann auch psychologische Unterstützung und so weiter. Wir hatten es mal im Rahmen von einem Projekt, in dem wir uns mit dem Darknet beschäftigt haben. Da war es dann so, dass man bei groß angelegten Recherchen durchaus auch dem Risiko ausgesetzt ist, dann auf entsprechende Inhalte zu stoßen. Und da haben wir dann tatsächlich meine Psychologin hinzugezogen, die denjenigen, die diesen Content analysiert haben, ein paar Tipps gegeben hat, wie sie damit umgehen können. Das war aber alles nur ein sehr geringes Ausmaß.

[00:27:21.850] - Nadia Kailouli

Aber gut zu wissen, dass das eben auch Thema bei Ihnen ist im Forschungsfeld im Fraunhofer-Institut, auch wenn Sie sich rein technisch mit dem Thema sozusagen befassen. Aber am Ende muss man ja auch über diese Themen sprechen und sich ein Bild, sei es realistisch, also zu sehen, was ist da eigentlich, aber ein Bild meine ich jetzt übertragen, in dem, dass man sich vorstellen muss, was passiert da eigentlich und warum generieren wir jetzt diese KI, Kinderschutz überhaupt mit der KI auf den Markt zu bringen. Aber können wir zusammenfassend sagen, nach Ihren Forschungserkenntnissen, kann die KI uns in der Zukunft besser und noch mehr dabei unterstützen, Kinder zu schützen vor Missbrauchshandlungen zum Beispiel?

[00:28:02.950] - Martin Steinebach

Natürlich. Wir sehen eine rasante Entwicklung bei der KI. Wir werden sicherlich auch noch viel bessere Methoden sehen, Cybergrooming zu erkennen. Die Erkennungsrate bei Missbrauchsabbildungen wird höher werden. Das automatisierte Abschätzen des Alters von Personen auf Fotos wird besser werden. Das wird alles helfen, dass die Methoden zuverlässiger werden.

[00:28:31.520] - Nadia Kailouli

Und können Sie uns auch sagen, was schlechter wird?

[00:28:33.540] - Martin Steinebach

Ja, ich meine, die gleichen Werkzeuge oder sehr ähnliche Werkzeuge können natürlich auch einen Groomer unterstützen. Also ich kann heute schon in einem ChatGPT oder Ähnlichem sagen: „Pass mal auf, schreib den Text mal so, wie ein zehnjähriges Kind das schreiben würde." Also wenn ich selbst vielleicht gar nicht in der Lage bin, so zu sprechen oder schreiben, wie ein Kind das tun würde, dann kann mir die Maschine dabei helfen. Die Maschine kann Stimmen imitieren. Ich kann mir mit Deepfakes das Gesicht von einem Kind geben und über Videochat mit Kindern reden. Ich glaube, auch da werden noch viele Probleme auftauchen. Also wo ich persönlich zum Beispiel wirklich noch ein großes Risiko sehe, ist, dass Kinder ihren Eltern vertrauen und dass Kinder immer mehr auch mit Smartphones und digitalen Kommunikationsmitteln agieren. Und ich befürchte ein bisschen, wenn wir heute jetzt schon Deepfake-Methoden haben, mit denen ich aus einem einzelnen Foto eine realistisch animierte Person machen kann, ist es nicht mehr weit davon, dass ich mir aus den sozialen Medien ein Profilfoto von einem Vater von einem Kind oder Mutter von einem Kind besorge, das dann quasi als Maske nehme und dann irgendwie mit dem Kind kommuniziere, mit dem Gesicht seiner Eltern. Und das könnte halt ein unheimlich problematisches Vertrauensverhältnis sein. Also keine Ahnung, was da alles passieren kann.

[00:30:09.140] - Nadia Kailouli

Ich war jetzt kurz irritiert, als Sie sagten, dass Kinder immer mehr ihren Eltern vertrauen. Da dachte ich: „Das ist doch super", aber dass dieses Vertrauen dann eben von Täter missbraucht werden kann, weil man heutzutage sehr viel über WhatsApp zum Beispiel kommuniziert – ich weiß nicht, ich mit meiner Mutter telefoniere. Ich schreibe hauptsächlich mit meiner Mutter, ohne ihre Stimme dabei zu hören –, dass man das missbrauchen kann, zu wissen, der oder die denkt, ich bin ein Elternteil, dabei habe ich mir nur ein Foto gezogen und tue jetzt so, als wäre ich Mama oder Papa. Verstehe.

[00:30:35.770] - Martin Steinebach

Genau. Dass dann wirklich einfach man mit dem Gesicht von dem Elternteil bei dem Kind einen Videochat startet und sagt: „Hey, ich bin gerade beim Arzt. Keine Sorgen, mir ist nichts passiert, aber ich habe dem gesagt: 'Du bist letztens gestolpert. Zieh dich doch mal aus und zeig dem Arzt deinen blauen Fleck'", oder so was. Das ist natürlich eine Frage für Psychologen, wie das Kind drauf reagiert und ob das einfach so ist. Aber ich habe so die Befürchtung, dass dieses Imitieren von Personen, bei denen ja wirklich Erwachsene schon drauf reinfallen, bei Kindern noch dramatischere Auswirkungen haben könnte.

[00:31:17.860] - Nadia Kailouli

Herr Professor Dr. Steinebach, ich finde das sehr gut, dass Sie uns auch mal einen Ausblick gegeben haben auf das, was vielleicht nicht so gut ist. Nicht um Angst zu machen, sondern einfach um zu sensibilisieren. Ich finde das sehr gut, aber Sie haben uns vor allem auch einen tollen Einblick gegeben in das, was Sie erforschen. Wir können das nicht allumfänglich besprechen, jetzt hier in diesen knapp 30 Minuten, aber der Einblick, der hat geholfen. Den fand ich sehr gut und ich sage an dieser Stelle vielen Dank, dass Sie heute unser Gast waren.

[00:31:43.000] - Martin Steinebach

Vielen Dank für das Gespräch.

[00:31:46.720] - Nadia Kailouli

Also ich fand, das war ja wirklich ein tolles Gespräch. Ein Techniker natürlich, der forscht an KI, aber ich konnte das alles sehr gut verstehen. Ich hoffe, euch geht es genauso und ich finde es wirklich auch gut, dass er noch mal auch angesprochen hat, was da vielleicht auch auf uns zukommen könnte im negativen Sinne mit der KI. Und wie ich eben ja schon sagte zum Ende des Gesprächs: Es soll uns keine Angst machen. Wir sollen weiter ein schönes Leben haben, tolle Fotos machen etc. Aber gerade wenn es um das Thema Kinderschutz geht. Da bin ich jetzt bei meiner ganz persönlichen Haltung, da muss man eigentlich nicht einmal darüber nachdenken, ob man Kinderfotos in sozialen Netzwerken teilt, vor allem wenn diese nicht bekleidet sind. Das ist meine persönliche Haltung. Denkt da bitte drüber nach und auch dazu haben wir hier über ein bis zwei schon tolle Gespräche geführt. Also Professor Dr. Steinebach, ich finde dieser Gast tat unserer Sendung mal richtig gut.

[00:32:40.180] - Nadia Kailouli

An dieser Stelle möchte ich mich auch ganz herzlich mal bei euch bedanken, dass ihr uns so treu zuhört und dass ihr auch bei schwierigen Themen dranbleibt. Wenn ihr wollt, dann folgt uns doch gerne, abonniert unseren Kanal und wenn ihr uns persönlich einmal schreiben wollt, dann könnt ihr das natürlich sehr gerne tun. Eine E-Mail könnt ihr einfach schreiben an: presse@ubskm.bund.de.