Der digitale Schutzengel

Sichtbarkeit in anderen Umgebungen birgt Gefahren besonders für Frauen. Anfeindungen in der digitalen (und womöglich auch in der analogen) Welt sind vor allem diejenigen ausgesetzt, die in der Öffentlichkeit sichtbar sind, die sich exponieren, erfolgreich sind und/oder Stellung beziehen. Außer den Auswirkungen dieser Bedrohung auf die unmittelbaren Betroffenen ist auch die einschüchternde Wirkung auf andere eine Gefahr für die ganze Gesellschaft.

Umso erfreulicher deshalb, wenn ein Startup eine gute Idee hat, wie diesem Trend Einhalt geboten und praktische Abhilfe geschaffen werden kann.

PENEMUE (im althebräischen Buch Enoch ist das der Engel, der den Menschen das Schreiben beibrachte: Segen und Fluch zugleich) ist wohl der perfekte Name für eine KI-basierte App, die Hassrede und potenziell strafbare Inhalte in Echtzeit erkennt und aufdeckt, um Menschen vor digitaler Gewalt zu schützen.

Die Startup-Gründer:innen Sara Egetemeyr und Jonas Navid Mehrabanian Al-Nemri auf ihrer Website: „Das digitale Tool identifiziert antidemokratische, diskriminierende und Menschenrechte verletzende Inhalte und klassifiziert sie entsprechend spezifischer Hatespeech-Kategorien und Straftatbestände.“

Laut Handelsblatt soll die Technologie „Unternehmen und Personen des öffentlichen Lebens helfen, toxische Inhalte und Hassrede in Direktnachrichten, Kommentarspalten, Social-Media-Debatten und dem Intranet in Echtzeit zu erkennen. Dadurch sollen etwa Community-Manager Zeit sparen, die sie bisher mit dem Löschen der Kommentare verbringen.“

Bei einem Test, so das Handelsblatt, zeigte das Tool z.B. Folgendes an: „Hassrede, toxischer Inhalt, Rassismus. Strafbar nach Strafgesetzbuch §130 Volksverhetzung.“ Es sei offenbar gar nicht so einfach, „jemanden ganz sicher ungestraft zu beleidigen“.

Der „digitale Schutzengel“ wird derzeit in einem wissenschaftlich begleiteten Testlauf geprüft, an dem die Grünen-Bundestagsabgeordnete Chantal Kopf  teilnimmt. Sie schreibt: „Früher hatte ich weder die Zeit noch den Fokus, unangemessene Kommentare auf meinen Accounts zu löschen oder zu melden. Dabei bin ich überzeugt, dass ich mitverantwortlich dafür bin, dass meine Kommentarspalten kein rechtsfreier Raum sind. Die Zusammenarbeit mit Penemue ermöglicht mir, Hatespeech schnell herauszufiltern. Die KI gibt mir automatisch eine erste Einschätzung, welche Kommentare eventuell strafbare Inhalte enthalten, so dass ich gegen die Absender gegebenenfalls juristisch vorgehen kann. Hatespeech will Menschen einschüchtern und abhalten von der Teilnahme an einer offenen Diskussion – das schadet unserer Demokratie und darf daher nicht ignoriert werden.“

Sara Egetemeyr sagt bei YouTube: „Was unsere Modelle sehr innovativ macht ist, dass wir den Wandel von Sprache und auch von Hass sehr gut erfassen können – das heißt, unsere Systeme lernen nie aus, sondern wir entwickeln das stetig weiter und passen es an gesellschaftliche Veränderungen an.“

Das klingt nach einer ermutigenden Lösungsidee. Wir sind gespannt auf die weitere Entwicklung! Was meint ihr?
In der neuen Folge des herCAREER Podcasts sprechen Yasmin Weiß, Eva Gengler und Christiane Nischler-Leibl (in Vertretung für Staatsministerin Ulrike Scharf) mit Kristina Appel über die Bedeutung von KI-Tools vor allem für Frauen: „Unsere Zukunft der Arbeit mit künstlicher Intelligenz – Wie Frauen davon profitieren können“. Denn: „Für alles gibt’s die passende KI. Und KI ist für alle da.“

Zum Podcast: Unsere Zukunft der Arbeit mit künstlicher Intelligenz – Wie Frauen davon profitieren können
Über euer Abonnement unseres Podcasts freuen wir uns sehr!

Ein Beitrag von Natascha Hoffner, Founder & CEO of herCAREER I Preisträgerin des FTAfelicitas-Preis des Femtec. Alumnae e.V.I LinkedIn-TOP-Voice 2020 I Herausgeberin der Bücher „Frauen des Jahres“ im Callwey Verlag
veröffentlicht bei LinkedIn 27.03.2025