Podcast: Der taktvolle Tanz mit dem Algorithmus

00:00:08-9 Moderation: Herzlich willkommen zum herCareer Voice Podcast. Sie sind hier richtig, wenn Sie diverse und vor allem weibliche Perspektiven auf arbeitsmarktpolitische, gesellschaftliche und wissenschaftliche Themen hören wollen. Lernen Sie dabei von Rolemodels, ExpertInnen und Insidern und nehmen Sie wertvolle Anregungen für Ihre eigene Karriereplanung mit. Mit herCareer Voice fangen wir vielfältige Sichtweisen ebenso wie ganz persönliche Einblicke und Erfahrungen spannender Frauen ein. Von der herCareer Expo live und aus der herCareer Community.

00:00:41-5 Moderation: Computer entscheiden heute über unseren Job, unseren Krankenversicherungstarif, unsere Partnersuche. Sie wissen alles über uns, aber was wissen wir eigentlich über sie? Warum sollte man bei Tinder nicht alle Profile liken? Weshalb werden manche von Algorithmen automatisch diskriminiert? Unsere heutige Speakerin hat Technik für ihr Leben gern und zeigt auf, warum es sich lohnt, keine digitale Analphabetin mehr zu sein. Und weshalb wir auf Algorithmen ziemlich gut tanzen können, solange wir ihnen den Takt vorgeben. Kenza Ait Si Abbou löste schon als kleines Mädchen Rechenaufgaben schneller als ihre Mutter neue stellen konnte. Sie ist weltweit gefragt als Rednerin, Jurorin und Moderatorin. Sie spricht sieben Sprachen fließend und versteht Maschinen mindestens ebenso gut. 2020 erschien ihr erstes Buch „Keine Panik, ist nur Technik“ im Gräfe und Unzer Verlag.

00:01:46-1 Moderation: So, wir legen los. Herzlich willkommen, herzlich willkommen zurück. Der nächste Talk ist mit Kenza Ait Si Abbou. Ich freue mich sehr, dass du hier bist. Wir werden über KI reden und das tun wir, weil du hast Elektrotechnik und Telekommunikation studiert und deine Abschlussarbeit 2004 zu Algorithmen geschrieben.

00:02:10-6 Kenza Ait Si Abbou 2003.

00:02:12-6 Moderation: Ich kannte, glaube ich, das Wort da noch nicht mal. Also Respekt Und du bist leitende Managerin für künstliche Intelligenz und Robotik und vielfach ausgezeichnet für deine Arbeit in den Bereichen Female Empowerment, Diversity und Digital Ethics, herzlich willkommen.

00:02:28-4 Kenza Ait Si Abbou Super, vielen Dank.

00:02:30-6 Moderation: Genau, wir reden miteinander, weil du dieses schöne Buch geschrieben hast mit dem sehr netten Titel „Keine Panik, ist nur Technik – warum man auf Algorithmen super tanzen kann und wie wir ihnen den Takt vorgeben“. Und was mir auch total gut gefallen hat ist, dass in der Klappe dieses Buch so beschrieben wird, „Keine Panik, ist nur Technik ist ein lockerer Erziehungsratgeber, damit die Maschinen in unserem Leben endlich machen was wir wollen. Also das fand ich eine sehr nette Beschreibung und habe mich gefragt, ist es so eine Erkenntnis aus deinem beruflichen oder/und privaten Leben gewesen, dass wir die Technik erziehen müssen?

00:03:10-6 Kenza Ait Si Abbou Ich glaube, das hat sich so einfach entwickelt. Als ich mein Studium angefangen habe, das war Ende der 90er bzw. 2000, im Jahr 2000 habe ich begonnen, da war die Telekommunikationsbranche gerade im Wachsen und da waren viele Telekomingenieure gebraucht und sagte ich, okay, ich studiere das mal. Der Einfluss von der Technologie auf das tägliche Leben kam, glaube ich, im Laufe der Zeit. Das war damals noch nicht, also für mich zumindest noch nicht ganz klar. Okay, wir haben alle Handys bekommen, aber damals waren sie ja nur zum Telefonieren und ich habe mir damals nicht vorgestellt, dass diese Handys irgendwann mal so wie kleine Rechner mit uns, also das ausgelagerte Organ, sage ich mal, werden. Und wir sind jetzt soweit, dass das ausgelagerte Organ viel mehr über uns weiß als wir teilweise. Deswegen die Technologie gewinnt immer mehr an Bedeutung und das sollte uns allen bewusst sein.

00:04:09-8 Moderation: Das heißt, in welchem Stadium befinden wir uns gerade, wenn wir diesen Erziehungsratgeber noch mal zu rate ziehen? Es sind so die Kinder, die jetzt in die Pubertät kommen und anfangen, uns zu durchschauen? Also dass sie so anfangen selber zu laufen und uns eigentlich überholen.

00:04:21-3 Kenza Ait Si Abbou Ah okay, die Analogie der Maschine meinst du jetzt, in welcher Entwicklungsphase. Ja vielleicht kurz davor. Ich würde mal sagen, weil ich die Pubertät ja auch mit Rebellion verbinde, soweit sind wir noch nicht. Meine Kinder sind sechs und anderthalb. Ich würde mal sagen, das ist auch etwas zwischen beiden Kindern vom Alter her. Also ja vielleicht so ein Kind mit drei oder vier, aber ohne Bewusstsein, das ist dann doch ein Unterschied.

00:04:53-2 Moderation: Okay, das wäre dann doch zu weit.

00:04:54-2 Kenza Ait Si Abbou Also die Maschinen saugen die ganze Zeit das wissen, haben auch Antennen wie unsere Kinder, sie wissen, wie wir uns fühlen. Sie wissen, dass die Mama gleich raus muss und dann fängt es an schief zu laufen und solche Sachen. Aber sie wissen noch nicht, dass sie existieren, sie haben noch kein Bewusstsein, die Maschinen und sind weit weg davon, dass sie rebellieren.

00:05:17-3 Moderation: Okay, also ist so ein strenges Gespräch nicht das letzte strenge Gespräch, sondern eher so das erste, was wir führen müssen, um zu gucken, dass die Kinder sich vernünftig, also die Technik sich vernünftig entwickelt, dass die das macht, was wir eigentlich wollen.

00:05:29-2 Kenza Ait Si Abbou Genau, also wir sind noch in der Erziehungsphase. Ich finde es jetzt so lustig, dass wir diese Analogie machen.

00:05:34-6 Moderation: Ich finde sie ganz großartig tatsächlich.

00:05:37-4 Kenza Ait Si Abbou Genau, also wir sind noch in der Erziehungsphase und deswegen finde ich es gerade jetzt so wichtig, dass wir uns die Wichtigkeit dieser Phase bewusst werden und das total gestalten. Also bewusst gestalten und bewusst so Rahmenbedingungen geben und Moral und Ethik und die ganzen Sachen, die wir mit unseren Kindern automatisch machen, das machen wir mit den Maschinen noch nicht automatisch. Wir sind immer noch da, wo wir ihnen halt die Daten und Fakten und die Bewegungen und alles beibringen, also die mechanischen Teile fast und kognitiven Teile, aber nicht das wie, also wie sie das und in welchem Rahmen sie das machen sollen, damit die Beziehung zwischen Mensch und Maschine in Zukunft auch gut bleibt.

00:06:31-5 Moderation: Dein Arbeitsschwerpunkt ist ja künstliche Intelligenz. Nur damit wir alle so auf dem gleichen Wissensstand sind, magst du mal kurz skizzieren, was versteht man heute unter künstlicher Intelligenz, wie weit ist die schon, was kann die? Vielleicht hast du so ein paar Beispiele auch, an denen man erkennt, was die schon alles so tut.

00:06:49-2 Kenza Ait Si Abbou Ja, also das ist ja fast immer die schwierigste Frage, was ist KI. Es gibt keine eindeutige Definition dazu. Aber ich sage, alles was… es basiert ja ganz viel auf Mathematik und Statistik und diese Methoden nutzt man entweder einzeln, es sind viele Methoden, entweder einzeln oder in Kombination dazu führen, dass eine Maschine irgendwas tut, was wir sonst nur mit Menschen verbinden. Eine kognitive Fähigkeit, die dann erlangt wird und auch die Fähigkeit, dass die Maschine aus Erfahrung Wissen raus identifiziert und lernt. Also aus Erfahrung, das heißt aus Daten, aus unserer Erfahrung, aus unseren Daten, das wird analysiert und dann daraus zieht die Maschine irgendein Wissen, mit dem sie was machen muss. Und ja, also das ist so ein bisschen grob erklärt dazu. Wie gesagt, es gehören ganz ganz viele Methoden und die können wir ja beliebig einsetzen.

00:07:51-5 Moderation: Hast du so ein Beispiel? Also tatsächlich online passiert ja schon so ganz viel. Hast du ein Beispiel, an dem man das so ganz gut sehen kann? Also was lernt die Maschine, um dann was zu tun?

00:08:03-0 Kenza Ait Si Abbou Ja. Also es gibt die eine Methode, Natural Language Processing. Ich muss immer mit den deutschen Worten hadern. Die Prozessierung der natürlichen Sprache. Also dass die Maschine die Fähigkeit erlangt, unser gesprochenes Wort zu verstehen und auch selbst zu generieren. Das ist nicht trivial. Das ist so eine der Methoden. Und wenn die Maschinen das lernen, dann können sie sich auch mit Menschen unterhalten. Also Chatbots oder Autos, die auch jetzt unsere Stimme hören, verstehen, teilweise antworten können, die ganzen digitalen Assistenten. Viele Leute haben sie auch zu Hause. Computer Vision. Also dass die Maschine die Fähigkeit erlangt zu sehen. Dazu gibt es natürlich auch ganz viele Anwendungsbeispiele, auch gerade beim autonomen Fahren ist es sehr eindeutig, das Auto muss sehen können, damit es weiß, wie es sich verhalten soll. Soll es bremsen, abbiegen, klar, aber ausweichen. Und das wird ermöglicht durch die Sensorien, aber natürlich auch ganz viel maschinell lernen und viele Intelligenzen. Vielleicht für viele erst mal nicht wie Intelligenz aussieht, aber in der mathematischen Definition ist es schon.

00:09:23-6 Moderation: Bevor wir so über diese Problematik sprechen und was wir so tun müssen, würde ich gerne noch kurz bei dir bleiben. Und zwar du kannst ja, wie viele sind es, eins, zwei, drei, vier, sieben Sprachen. Arabisch, Französisch, Spanisch, Mandarin, Englisch, Deutsch und Catalan. War Coden dann einfach eine weitere Sprache für dich? Also wie kam es dazu, dass du so in diesen Bereich?

00:09:48-2 Kenza Ait Si Abbou Ja tatsächlich. Es ist genau so. Eine Programmiersprache ist wie eine natürliche Sprache, sie hat ein eigenes Vokabular, eigene Syntax. Man muss lernen, wie dieses Konstrukt funktioniert, wie man die Sätze baut, wo ein Satz anfängt, wo es aufhört. Und man wächst einfach da rein. Also es ist kein Hexenwerk, es ist nur Handwerk. Man lernt das langsam und dann probiert man und so wird man immer besser, genauso wie man andere Sprachen lernt.

00:10:18-2 Moderation: Weißt du noch, was dein erster Code war? Also was so das erste war, wo du dann einen Effekt gesehen hast von dem, was du geschrieben hast?

00:10:25-5 Kenza Ait Si Abbou Ja, der Effekt war nicht sofort. Ich habe ja Elektrotechnik studiert, keine Informatik, das ist schon bisschen ein Unterschied, weil wir andere Sprachen lernen. Also wir lernen die Sprachen, die Lowlevel, also die die Maschine direkt steuern und teilweise wirklich Bits und Bytes steuern. Also ich habe mit Assembler angefangen und das ist für einen Mensch total abstrakt. Also da muss man von der Komplexität total runtergehen, weil es wirklich darum geht, jetzt Strom rein, Strom raus.

00:10:57-9 Moderation: Licht an, Licht aus, genau.

00:10:59-7 Kenza Ait Si Abbou Genau, das sieht man erst mal im Oszilloskop, sage ich mal, Strom ja, also 1 oder 0. Und es dauert eine Weile, bis man es tatsächlich schafft, dass irgendein Ergebnis kommt. Und das ist inzwischen aber komplett anders, wenn wir über Python sprechen als Sprache. Die ist ja viel menschennäher, das ist eine Highlevelsprache. Da sage ich einfach „print hello world“ und dann kommt hello world raus. Und bei Assembler sind es Seiten und Seiten Code. Deswegen finde ich, dass man heute viel schneller das Erfolgserlebnis hat oder bekommt, als als ich damals angefangen habe.

00:11:36-6 Moderation: Im Buch gibt es ja so ganz viele Alltagsbeispiele, also in denen du erzählst, was macht KI, welche Problematiken treten dabei dann auch auf. Und eins, was mich echt schockiert hat, ich habe es fotografiert und mehreren Leuten geschickt, war dieses Beispiel mit den Reiseplattformen. Also wenn man etwas bucht und dass, wenn man nicht sofort bucht, sondern erst mal nur rumguckt und denkt, ah interessant und am nächsten Tag wiederkommt, dass sich der Preis erhöht hat, weil die Maschine gelernt hat, ich habe Interesse daran und jetzt komme ich wieder, also offensichtlich bin ich kaufbereit. Und dann habe ich mich gefragt, weil es zieht sich schon auch durch andere Sachen hindurch, ist Geld der Faktor, der eigentlich diese Technik, die wir ja nur entwickelt haben, weil sie uns das Leben besser machen soll, verdirbt? Also ist Geld so ein Faktor, der es echt schwierig dann macht, auch dann zum Beispiel Kontrolle noch zu behalten? Also weil ich glaube, niemand möchte, dass seine Preise steigen, nur weil er schon mal sich das gleiche Angebot angeguckt hat, aber der Anbieter will das natürlich. Aber wo wir dann die Kontrolle schnell verlieren.

00:12:45-4 Kenza Ait Si Abbou Ja, also zwei Aspekte. Eins ist, diese dynamische Preisgestaltung das ist eigentlich eine Methode im Marketing oder im Vertrieb, die schon länger ist. Was jetzt die KI ermöglicht, dass sie viel schneller läuft und dass das online auch geht. Aber vom Prinzip ist es gar nicht neu. Also ich bin ja in Marokko geboren und aufgewachsen und wenn man dann auf den Basar geht, das funktioniert ja auch so.

00:13:17-5 Moderation: Angebot und Nachfrage.

00:13:19-4 Kenza Ait Si Abbou Ja genau. Und dann, wenn ich in einen Laden reingehen, die sehen mich, sagen, okay die hat Geld, also verlange ich mehr. Das heißt, das ist ein Konzept, was ich von meiner Kindheit kenne. Ich weiß nicht, wie das in Deutschland früher war, hier ist ja eh alles mit Preisschildern und alles ist fest. Aber in der Türkei, in vielen Ländern, Lateinamerika, Asien, Afrika, das ist total normal, der Preis ist nicht fest, der Preis hängt von deiner Einkaufskraft ab und die schätzt immer der Verkäufer ein. Und je mehr Interesse du für das Produkt zeigst, desto teurer wird es. Je weniger Interesse, desto weniger wird es. Und in Marokko wir gehen auch so damit um, dass ich mit meiner Mutter reingehe und sage, nein gefällt mir nicht. Und ich täusche, dass ich gehen will und meine Mutter sagt, ja siehst du, es gefällt ihr nicht, also wenn du es verkaufen willst, dann musst du den Preis runterdrehen. Und das ist so ein bisschen so ein Theater, damit wächst man auf und genau das machen wir digital. Das heißt, für mich ist das Konzept gar nicht neu. Viele Leute, die in Ländern aufgewachsen sind, wo die Preise fest sind, sind davon schockiert, aber an sich ist es so ein bisschen die Art und Weise wie Handel früher funktioniert hat.

00:14:21-9 Moderation: Ja, also bei uns gibt es das natürlich auf einer größeren Basis. Also man weiß, wenn insgesamt ein Gut sehr begehrt ist, dann steigen die Marktpreise, aber so unmittelbar kannte ich es tatsächlich nicht.

00:14:30-8 Kenza Ait Si Abbou Ja das ist der Unterschied.

00:14:33-1 Moderation: Und man hat so das Gefühl, man hat ja gar keine Kontrolle darüber. Ich meine, wenn du sagst, ja du hast die Kontrolle darüber, welche Attitüde du in dem Laden zeigst, mag ich hier sowieso nicht kaufen, ich guck nur so. Aber online, wenn ich natürlich nicht gebucht habe und wiederkomme, kann ich so viel vorm Computer sitzen wie ich will.

00:14:50-2 Kenza Ait Si Abbou Doch das kannst du trotzdem machen, indem du jetzt nicht von einem iPhone oder iPad buchst, also wenn du verstehst, was den Preis nach oben drückt, dann kannst du schon ein bisschen damit arbeiten und dagegen steuern. Und ich will es jetzt nicht verteidigen, aber wenn man es anders denkt, ist es vielleicht auch ein bisschen fair. Das heißt, die Leute, die sich mehr leisten können, die können durchaus ein bisschen mehr zahlen dafür, dass andere, die sich weniger leisten können, vielleicht ein bisschen weniger. Die Frage ist natürlich, ob das beim Händler, ob dieser Preisausgleich so auch gesehen wird oder ob das einfach nur Marge für ihn bedeutet, also so ein bisschen teilweise auch eine philosophische Frage, sage ich mal. Aber ja, das ermöglicht die Technologie.

00:15:36-4 Moderation: Aber tatsächlich ist es ja so, also solche Mechanismen, wie du auch gerade kurz erwähnt hast, also dass das System erkennt, versucht ich gerade, über ein Apple-Gerät etwas zu buchen, das System versteht, Apple ist sehr teuer, also hat diese Person offensichtlich Geld, ist ja aber ein Mechanismus oder ein Faktor, der in dieser KI eingerechnet ist, den wir nicht kennen. Also ist es denn was, wo du komplett fein damit bist, dass wir eben die Faktoren nicht kennen oder wo du sagst, hey wir müssen viel mehr darüber reden, welche, sagt man denn Faktoren, oder welche Bausteine führen eigentlich zu dem wenn, dann, also was die KI am Ende auswirft oder macht.

00:16:19-2 Kenza Ait Si Abbou Ja, also ich bin auch für diese Transparenz, sage ich mal, welche Kriterien bei der Bewertung eine Rolle spielen. Und so eine Transparenz ist ja sowohl im Analogen als auch im Digitalen wichtig, denn die gibt den Nutzerinnen die Macht zurück. Wir haben es gerade gesagt, wenn ich weiß, worauf es ankommt, dann kann ich das beeinflussen. Wenn ich es nicht weiß, dann fühle ich mich wie ein Opfer und das ist nicht schön. Und deswegen sind die Leute eher so mit der Abwehrhaltung, es kann nicht sein. Vieles ist aber als Information schon vorhanden im Netz, es bedarf nur ein bisschen mehr Recherche und mehr Aufwand seitens der Nutzerinnen. Aber man kann, wenn man sich ein bisschen bemüht, man kann schon einiges im Netz finden. Ja. Also um die Frage zu beantworten, ich würde mir da auch viel mehr Transparenz wünschen, ja.

00:17:18-8 Moderation: Ich meine, der Titel deines Buches ist ja auch so wie eine Beruhigungsformel. Also hey, keine Panik, ist nur Technik. Und wenn du sagst, man kann auch solche Sachen recherchieren, also für mich ist es schon schwer jetzt, also ich kann ja wahrscheinlich nicht bei Google einfach eingeben, wie entsteht mein Preis im Reisebüro zum Beispiel KI.

00:17:41-2 Kenza Ait Si Abbou Doch.

00:17:41-9 Moderation: Kann ich das tatsächlich googeln?

00:17:42-0 Kenza Ait Si Abbou Du wirst erstaunt sein.

00:17:42-7 Moderation: Okay, das heißt, so könnte ich mich da ermächtigen. Okay, weil sonst wäre ja nämlich ja so die Frage, auf welcher Ebene könnte man diese Kriterien denn auch veröffentlichen oder wie könnte man die Nutzer quasi … oder wie nimmt man den Leuten die Panik so ein bisschen?

00:17:56-7 Kenza Ait Si Abbou Das ist ein guter Punkt. Also wenn du diese Frage tatsächlich so bei Google eingibst, dann kommt schon einiges raus. Die Suchmaschine ist super intelligent, also wenn es eine Sprache gut versteht, dann ist es Google. Du würdest, ja, also mein Bauchgefühl, zu 80 Prozent auf irgendwelche Foren stoßen, wo Leute das ansprechen. Sehr wenig findet man an Informationen bei den Herstellern direkt. Die sagen, also ich sage mal ein Beispiel, was in Deutschland auch so ein bisschen problematisch ist, ist die Schufa und die Bonität. Das ist ein total intransparentes Vorhaben, sage ich mal, keiner weiß, wie die Bonität berechnet wird, aber wir leiden alle darunter, also leiden in Anführungszeichen und das beeinflusst unser Leben. Wenn du guckst, wie wird die Bonität bei der Schufa kalkuliert, wirst du höchstwahrscheinlich nichts von der Schufa direkt finden, aber von irgendwelchen Foren oder Vereinen, gemeinnützige Organisationen, die das so ein bisschen untersucht haben, die irgendwelche Studien gemacht haben und dann findet man so ein bisschen Informationen. Obwohl ganz klar, weil ich den Fall da tatsächlich ein bisschen untersucht habe, die meisten Informationen kommen aus den USA, wo die Bonitätsunternehmen in den USA das doch transparent offenlegen, das fand ich sehr interessant, dass es dort nicht ein Geheimnis ist und hier wird es als Geschäftsgeheimnis wahrgenommen und deswegen nicht offen gelegt.

00:19:26-1 Moderation: Und gibt es denn da Bestrebungen, also gerade Leute, die sich dann wie du jetzt auch mit so einer Technikethik oder eben, sorry wie war der genaue, Digital Ethics, also so mit so tatsächlich Moralfragen beschäftigen. Gibt es denn da auch Bestrebungen, dann zu sagen, wir brauchen zum Beispiel ein Gesetz, dass so was offengelegt werden muss. Also sei es Algorithmen, sei es künstliche Intelligenz?

00:19:57-1 Kenza Ait Si Abbou Also je nachdem worum es geht, ich würde sagen, ja. Also vieles funktioniert nicht mit Freiwilligkeit, Stichwort Frauenquote. Anderes Thema. Aber tatsächlich, also Regulierung braucht man an manchen Stellen und wir sind schon auf einem guten Weg in Europa, muss ich sagen. Also es gab jetzt im Mai vor paar Monaten den ersten Entwurf von der EU zu künstlicher Intelligenz, was genau dieser Rahmen regulieren soll. Das ist der erste Versuch, und überhaupt der erste weltweite Versuch, KI-Entwicklung zu reglementieren oder so ein bisschen einzugrenzen. Wir sind mit diesem Entwurf immer noch nicht da wo wir sein wollen, aber das ist schon ein erster sehr wichtiger und guter Schritt. Und es geht jetzt so darum, in die nächsten Iterationen zu gehen und das zu verbessern und natürlich immer auch zu schauen, was ist auch von der Wirtschaft leistbar? Was ist möglich, was sind die Erwartungen der Gesellschaft? Und das alles in Einklang zu bringen. Mit Politik ist das natürlich immer ein langes und schweres Vorhaben, aber ich bin froh, dass ich in Europa lebe, sage ich mal so.

00:21:16-3 Moderation: Weil tatsächlich, das schreibst du ja auch in deinem Buch, kommen ja, also jetzt ist vielleicht auch zu eng gefasst, aber seit einer Weile treten auch wirklich Probleme auf. Also wo man dann sieht so, eine KI wurde für irgendwas geschaffen und letzten Endes treten Probleme auf, die rassistisch, sexistisch sind, also die diskriminierend sind. Und solange man den Code nicht kennt oder nicht genau weiß, wie ist diese KI entstanden, also wie ist der Code da entstanden, versteht man gar nicht, was jetzt das Problem ist. Also ich will es jetzt nicht vorwegnehmen, deswegen magst du vielleicht einfach mal diese Beispiele ein bisschen erzählen? Also es gab ja zum Beispiel dieses Einstellungstool, was mit KI gearbeitet hat. Was aber letzten Endes einfach sehr sexistisch war.

00:22:05-6 Kenza Ait Si Abbou Also diese Diskriminierungen, klar, also ein paar Beispiele kann ich schnell nennen, was du erwähnt hast, Recruiting-Tools.

00:22:17-2 Moderation: Magst du ein bisschen darüber reden, weil ich finde es, glaube ich, es ist total interessant für alle.

00:22:19-8 Moderation: Ja genau, also Recruiting-Tools da hat man festgestellt, so für Führungspositionen werden eher die Frauen, Entschuldigung andersrum, die Männer vorgeschlagen, die Frauen weniger. Gesichtserkennungssoftware funktioniert bei dunkelhäutigen Frauen sehr schlecht, also gerade mal so 65 Prozent, während für weiße Männer so ca. 100 Prozent. Kreditwürdigkeit benachteiligt die Frauen. Also es gibt so viele Aspekte, wo man unterschiedliche Diskriminierungen festgestellt hat und am Ende, was uns das alles zeigt, ist, dass unsere Gesellschaft diese Diskriminierungen drin hat und die KI hat das jetzt nur offen gelegt. Denn die KI lernt ja von den Daten und die Daten stammen ja aus der Gesellschaft, das ist so eine Repräsentation. Es ist natürlich nicht immer die hundertprozentige Realität, aber egal, Daten beinhalten Diskriminierungen, die Machtstrukturen auch sind dort zu finden. Und das findet die KI schon heraus. Und dann haben wir solche Ergebnisse und dann fragen wir uns, wie kann das sein, die Algorithmen sind rassistisch. Ich sage, nein nein, ein Algorithmus kann nicht rassistisch sein, Algorithmus ist nur eine Reihenfolge von Anweisungen, es macht genau das, wofür es programmiert war. Es kann gar kein Urteil für sich treffen. Der Rassismus war in den Daten drin und woher kommen die Daten? Aus den Menschen. Also wir sind diejenigen, die das so gebaut haben und das reproduzieren die Maschinen. Das Problem liegt natürlich daran, dass ein digitales System oder wenn eine KI dann funktioniert, ich sage mal, so eine Recruiting-Software, die wird weltweit verkauft und dann von Millionen Unternehmen genutzt und sie betrifft dann Milliarden Menschen auf dieser Welt. Und wenn diese Software nicht mit Acht entwickelt wurde, dass sie die Diskriminierungen nicht beinhaltet, dann hat sie auf der ganzen Welt einen Einfluss darauf, welche Führungsposition von wem besetzt wird. Und das ist halt der Unterschied an Magnitude. Also wenn ich eine Führungskraft habe, die sexistisch ist und die stellt nur den nächsten Thomas ein oder den nächsten Michael ein, kann ich sagen, okay Pech gehabt, aber ist okay, hält sich in Grenzen. Aber eine KI-Software, die weltweit verwendet wird, die hat natürlich einen riesigen Einfluss auf die Gesellschaft.

00:24:50-4 Moderation: Und es ist ja tatsächlich, also bisher war der Diskurs oft oder die Behauptung, die Unterstellung, dass eben Technik neutral ist. Also man kann natürlich auch sagen, Technik hat keine Vorurteile, so ist es ja tatsächlich und es war aber lange auch nicht darüber nachgedacht, warum treten denn solche Phänomene auf? Bis man jetzt halt eben sagt, ja klar es wird von weißen Männern programmiert, die testen die Software im Zweifelsfall an sehr sehr vielen weißen Männern und dann funktioniert sie halt zum Beispiel für Frauen, für dunkelhäutige Frauen nicht, für Menschen die einfach von diesem weißen Thomas, Michael, irgendwas abweichen. Und genauso bei dem Einstellungstool war das ja so, dass die Grunddaten, die gefüttert wurden, waren einfach die Erfahrungswerte der letzten Jahre. Also man hat eingefüttert, wer wurde denn eingestellt. Und dann ist es natürlich so ein Perpetuum Mobile. Ist denn diese Diskussion darum, also dass man sagt, hey da sind Menschen dahinter, deren Schwächen kommen ins System und werden dann eben wie du sagst Magnitude, werden vervielfacht und wir haben vielleicht gar keine Sensibilität dafür, gibt es diese Diskussion jetzt schon viel stärker, also auf solche Fehler im System zu schauen?

00:26:06-4 Kenza Ait Si Abbou Absolut. Also das Thema Bias und AI-Bias ist seit, ja, ich glaube, 2015 kamen die ersten Fälle, wo man festgestellt hat, ups das funktioniert doch nicht für alle Menschen gleich gut. Es ist jetzt sechs Jahre her, also die Sensibilität in der Tach-Branche ist schon da und jetzt fängt man damit an zu schauen, wie können wir das beheben? Weil letztendlich es ist ja das, die bestehenden Machtstrukturen kommen jetzt zum Vorschein und viele waren überrascht am Anfang, inzwischen ist man da nicht mehr überrascht. Und jetzt reflektiert man mehr, okay die Entwicklung ist sehr homogen, wir müssen mehr schauen, dass es diverser ist, wir müssen drauf achten, welche Daten wählen wir aus, wie wir diese Daten diversifizieren können oder man redet ja auch von Data Hygiene, so ein bisschen Hygiene da betreiben, dass wir repräsentative Gruppen drin haben, dass die Systeme auch divers lernen. Und dass wir natürlich auch andere Menschen in der Entwicklung mit einbinden. Also ich möchte nicht sagen bzw. ich sage es ja, die Entwickler sind nicht schuld, dass das so ist. Also sie machen es ja nicht mit Absicht. Also ich sage Entwickler mit Absicht, nicht gendern, das sind mehrheitlich Männer. Sie machen es nicht mit Absicht, sie machen einfach ihren Job. Und ihr Job hat bisher nicht verlangt, dass sie sich Gedanken darüber machen, was sind das für Daten, wo die Software verwendet wird und welchen Einfluss diese Software auf eine Gesellschaft haben kann. Also wenn man Informatik studiert, sage ich mal, das ist eher so was trockenes wie, okay, du kriegst hier einen Input, du machst das und dann kommt ein Output und du machst dir keine Gedanken über gesellschaftliche Auswirkungen. Das sind eher Fragestellungen, die die Geisteswissenschaften behandeln. Und wir haben in den letzten Jahren, 100 Jahren, hunderten, nicht nur 100, so Technologie von der Geisteswissenschaft total getrennt. Und jetzt mit der KI lernen wir, das geht nicht mehr so weiter. Wir können nicht die Welt gestalten nur von einer kleinen homogenen Gruppe. Weil die Komplexität kann keine kleine Gruppe verstehen. Die Welt ist so komplex, da brauchen wir viel mehr Wissen und viel mehr Reflexion und viel mehr Hinterfragen, viel mehr Beobachten. Also wie eine gesellschaftliche Situation ist. Wie Menschen, Nutzerinnen mit Geräten umgehen. Haben sie überhaupt Strom? Haben sie überhaupt WLAN? Also man kann sich die tollsten Lösungen ausdenken, aber wenn die Leute kein WLAN haben, dann hilft das nicht. Und das sind so Sachen, die eher so Anthropologen machen, sage ich mal. Dass sie erst mal die Gruppe beobachten und sagen, ja okay das könnte klappen, das nicht. Und die müssen viel mehr eingebunden werden in diese Entwicklung. Deswegen vorsichtig mit so ein bisschen bösen weißen Männern, so homogene Gruppe, nein das war einfach nicht Teil des Jobs und wir müssen so jetzt als Entwicklerinnen auch viel mehr reflektieren, viel mehr überlegen und wir müssen ja gar nicht, also wir können die Verantwortung nicht alleine tragen, das trägt wirklich die komplette Gesellschaft. Weil ich sage mal, auch wenn wir es schaffen, ein neutrales System zu bauen, was nicht diskriminiert, geht dieses System raus, es interagiert mit der Welt und lernt Diskriminierungen neu. Das heißt, wenn man das so ein bisschen breiter sieht, ist die gesamte Gesellschaft dafür verantwortlich, wie die KI weiter lernt und sich weiter entwickelt. Natürlich die Hersteller müssen auch in der Nutzungsphase immer schauen und immer korrigieren. Aber um auf die Entwicklung so zurückzukommen. Das wird jetzt viel mehr verlangt als die Teams bisher gelernt haben oder was zu deren Aufgabenspektrum gehört. Und ja deswegen braucht man mehr Menschen mit anderen Skills. Also die Diversität jetzt nicht nur der Geschlechter, sondern gerade Skills, wir brauchen auch andere Menschen, gerade die Humanisten, die mitdenken und mitentwickeln, wie das Zusammenleben in der Zukunft ist, weil die Maschinen kriegen wir nicht raus aus unserer Zukunft, deswegen müssen wir nur schauen, wie wir es am besten gestalten.

00:30:37-6 Moderation: Und wie läuft es? Also ist die nächste Generation schon so in den Startlöchern? Also du arbeitest ja auch ganz viel als Mentorin und begleitest auch viele junge Leute in diesen Job hinein. Also ist denn das Interesse an Technologie, an KI, am Programmieren kriegt man das in alle gesellschaftlichen Bereiche rein, kann man alle dafür begeistern? Funktioniert das gut schon oder müssen wir da auch noch so nachjustieren?

00:31:05-4 Kenza Ait Si Abbou Ja, ich glaube, da müssen wir noch nachjustieren. Ich empfinde das so, für viele Menschen ist es immer noch weit weg, ich habe damit nichts zu tun. Du redest über KI, aber ich lache mich tot, ich bin Köchin. Es gab tatsächlich Feedback von irgendjemandem auf LinkedIn, wir müssen programmieren lernen, was ist das für ein Quatsch, ich arbeite in einer Küche. Wo ich sage, ja aber wer weiß, wenn die Thermomix mal Beine und Arme kriegt, dann bist du auch joblos. Also es ist nicht mehr zu trennen, man kann nicht mehr sagen, in meinem Berufsumfeld wird die Automatisierung oder die KI keine Rolle spielen, das kann keiner sagen. Also noch nicht mal ich als Ingenieurin. Das heißt, es ist besser, sich mit dem Thema auseinanderzusetzen und zu schauen, wie kann ich mein Arbeitsumfeld auch mitgestalten, statt Opfer zu sein und jetzt zu sagen, das hat mit mir nichts zu tun und in zehn Jahren da zu stehen und zu sagen, oh Gott ich habe den Zug verpasst. Also so in die gesamte Breite bin ich noch nicht durchgedrungen, sage ich mal. Das war der Versuch mit dem Buch, dass wirklich KI salonfähig zu machen. Dass alle Menschen, egal in welchem Berufsumfeld sie unterwegs sind, dass sie sich ein bisschen dafür interessieren und schauen, wie sie da mitmachen können, das läuft sehr langsam.

00:32:26-6 Moderation: Im Prinzip ist es ja so, Angst hat man ja immer vor Sachen, die man nicht kennt, die einem so ein bisschen fremd sind und überfordern wahrscheinlich auch. Also der beste Ansatz wäre wahrscheinlich Grundschule, also Kindergarten könnte man schon mit so kleinen Sachen anfangen, aber in der Grundschule da erreicht man ja wirklich alle Kinder, damit anzufangen, damit es einfach normal ist. Aber seid ihr da auch irgendwie im Gespräch oder bist du da auch im Gespräch mit zum Beispiel Leuten wieder in der Politik, die das da so ein bisschen vorantreiben könnten? Also gut, das ganze Thema Digitalisierung, Bildung, die letzten anderthalb Jahre haben uns, glaube ich, alle traumatisiert, aber dass wenigstens, sagen wir mal, eine Allianz da ist, die das pushen will dann in der Politik. Also dass Leute aus dem Technikbereich wissen, wir müssen da ansetzen.

00:33:17-1 Kenza Ait Si Abbou Also interessanterweise habe ich das Gefühl, dass viele Leute und Mütter, ja jetzt, lustigerweise, wo ich drüber nachdenke, sind alles Frauen und Mütter, die ein bisschen jetzt aktiver werden und sagen, so ein bisschen Forderungen stellen auch an die Politik und auch an die Gesellschaft, dass es so nicht weitergehen kann. Ich merke Bewegung da. Die Frage ist, wieviel Macht haben wir und haben wir die kritische Masse erreicht, damit wir wirklich zu Gehör finden. Also wenn man sieht, digitale Bildung mit Corona, wo wir alle im letzten Jahr mit den Kindern zu Hause waren und Homeschooling und Homeoffice und der Wahnsinn, und es hat sich wenig getan. Also schwierig, schwierig. Ich weiß nicht, was wir noch machen wollen.

00:34:06-3 Moderation: Muss noch eine Schüppe drauf.

00:34:07-9 Kenza Ait Si Abbou Aber ja wie du sagst, wahrscheinlich braucht man so eine kritische Masse, dass es dann eben ein Thema ist einfach.

00:34:23-8 Moderation: Wenn Sie jetzt Lust bekommen haben, in die Unterhaltung einzusteigen, dann besuchen Sie uns auf der nächsten herCareer Expo in München und netzwerken Sie zusammen mit tausenden ExpertInnen aus den verschiedensten Branchen und Fachbereichen. Oder fangen Sie gleich von zu Hause aus an, zum Beispiel über www.hercareer-lunchdates.com. Ob virtuell oder im Reallife, wir vernetzen Sie gern. Wenn Sie gerade eine neue Herausforderung suchen, dann probieren Sie unbedingt www.hercareer-jobmatch.com aus. Bei Fragen zum Podcast schreiben Sie uns einfach eine Mail an podcast@her-career.com . Abonnieren Sie den herCareer Voice Podcast auf iTunes, Spotify oder wo immer Sie Ihre Podcasts hören und empfehlen Sie uns an Ihre liebsten KollegInnen. Alle Episoden gebündelt finden Sie zum Beispiel unter www.her-career.com/podcast . Wir sind glücklich und stolz, dass Sie ein Teil der herCareer Community sind. Danke, dass Sie anderen zuhören, um uns alle weiter zu bringen. So klingt female Empowerment.