David Elliman
Global Chief of Software Engineering
Viele Unternehmen sind bei der Nutzung von KI bereits weiter, als ihnen bewusst ist. Mitarbeitende verwenden KI-Tools, die nie offiziell freigegeben wurden. Daten fließen durch Systeme, die niemand geprüft hat. Und die Verantwortung für den Umgang mit KI liegt häufig zwischen Rechtsabteilung, IT und Produktmanagement – ohne klare Zuständigkeiten.
In dieser Folge von Tech Tomorrow spricht David Elliman mit Zahra Shah, die Unternehmen seit vielen Jahren dabei unterstützt, genau diese Herausforderungen zu bewältigen. Gemeinsam gehen sie der zentralen Frage der Episode nach: Führen Unternehmen KI schneller ein, als sie sie verantwortungsvoll steuern können?
Über Zahra Shah
Zahra Shah ist Vorstandsmitglied der KI-Transformationsberatung NexaQuanta sowie Vorsitzende und Gründungsmitglied der Women in AI Working Group von UKAI.
Sie verfügt über umfangreiche Erfahrung in der Beratung von Organisationen zu den Themen KI-Governance, Ethik und verantwortungsvolle KI-Strategien und arbeitet mit Führungskräften aus verschiedenen Branchen zusammen, um bei der Einführung von KI für Verantwortlichkeit und Sorgfalt zu sorgen, bevor aus Problemen Krisen werden.
Die wichtigsten Erkenntnisse der Episode
Shadow AI – das Governance-Problem, das bereits in Ihrem Unternehmen existiert
Eine der wichtigsten Erkenntnisse der Episode ist zugleich eine der einfachsten: Viele Unternehmen nutzen bereits KI, ohne sich dessen bewusst zu sein. Mitarbeitende setzen eigenständig KI-Tools ein – ohne offizielle Freigabe, ohne Transparenz für die IT oder das Management und ohne die Schutzmechanismen, die bei einer regulären Einführung selbstverständlich wären.
Zahra bezeichnet dieses Phänomen als Shadow AI. Aus ihrer Sicht handelt es sich um einen der wichtigsten und zugleich am häufigsten unterschätzten Aspekte erfolgreicher KI-Governance. Denn, bevor Unternehmen KI steuern können, müssen sie zunächst wissen, wo KI überhaupt bereits eingesetzt wird.
“Viele Unternehmen wissen gar nicht, dass sie bereits KI einsetzen. Viele Mitarbeitende nutzen bereits das, was wir Shadow AI nennen – ohne dass das Unternehmen davon Kenntnis hat.”
David Elliman zieht dabei eine Parallele zur Softwareentwicklung. Die größten Risiken entstehen selten dort, wo intensiv diskutiert wird – sondern dort, wo niemand hinsieht.
„Shadow AI“ ist genau diese Lücke. Um sie zu schließen, müssen Teams eine Anforderungsanalyse und eine Use-Case-Zuordnung durchführen, wie sie zu Beginn eines Projekts üblich sind, und diese auf die Frage anwenden, was bereits im Einsatz ist.
Es ist wichtiger, mit dem richtigen Problem zu beginnen, als schnell anzufangen
Ein immer wiederkehrendes Thema in der Diskussion sind die Kosten, die durch die Wahl des falschen Anwendungsfalls entstehen. Zahra bringt es auf den Punkt: Wenn man sich das falsche Problem zum Lösen aussucht, wird man niemals eine Rendite für seine Investition erzielen. Mehr noch: Man wird Zeit und Geld dafür aufwenden, etwas zu entwickeln, das den Menschen, für die es gedacht war, keinen Nutzen bringt.
Als ersten Schritt empfiehlt sie ein Pilotprojekt mit geringem Risiko. Ein HR-Wissensassistent ist beispielsweise eine praktische Möglichkeit, das Vertrauen der Organisation in die KI-Governance zu stärken, ohne das Unternehmen ernsthaften Risiken auszusetzen. Entscheidend ist, realistische KPIs für diese Pilotphase festzulegen, anstatt einen sofortigen ROI zu verlangen.
“Anstatt den Erfolg eines Piloten ausschließlich daran zu messen, ob sich die Investition sofort auszahlt, könnten die KPIs beispielsweise lauten: Haben unsere Leitplanken funktioniert? Konnten wir bestimmte Verzerrungen wirksam reduzieren? Solche realistischen KPIs geben allen Beteiligten die Möglichkeit, Erfahrungen zu sammeln und Kompetenzen aufzubauen.”
Zahra weist außerdem auf einen Aspekt hin, der in Diskussionen über KI häufig zu kurz kommt: Nicht jedes Unternehmen benötigt ein Large Language Model (LLM). Unterschiedliche Modelle eignen sich für unterschiedliche Aufgaben. Ein kleineres, gezielt auf einen konkreten Anwendungsfall abgestimmtes Modell liefert häufig bessere Ergebnisse als ein leistungsfähiges Universalmodell. Die Auswahl des passenden Modells ist daher ein wesentlicher Bestandteil einer verantwortungsvollen KI-Strategie.
Auch Technologien wie Retrieval-Augmented Generation (RAG) können dazu beitragen, Risiken wie Halluzinationen im produktiven Einsatz deutlich zu reduzieren. Gleichzeitig sollten Unternehmen das Risiko eines Vendor Lock-ins ebenso sorgfältig bewerten wie die Leistungsfähigkeit eines Modells.
David beschreibt dieses Muster treffend: Ein Team entscheidet sich für ein Modell, das kurzfristig ein Problem löst. Nach und nach fließen immer mehr Daten in eine proprietäre Plattform. Erst später wird deutlich, wie hoch die Wechselkosten inzwischen geworden sind.
Das Verantwortungsvakuum, über das kaum jemand spricht
Das Gespräch wendet sich dem Thema Verantwortlichkeit zu. Wenn bei einem KI-System etwas schiefgeht, berichtet Zahra, habe sie Unternehmen erlebt, in denen die Rechtsabteilung der Ansicht ist, es handele sich um ein technisches Problem, die IT-Abteilung um ein Produktproblem und das Produktteam um ein rechtliches Problem. Das Ergebnis ist, dass niemand handelt.
Ihr Argument lautet, dass KI ein Werkzeug ist. Wenn sie also im Finanzbereich eingesetzt wird, sollte die Verantwortung beim Finanzleiter liegen. Wird sie im Personalwesen eingesetzt, sollte die Verantwortung bei demjenigen liegen, der die Personalabteilung leitet. Die Technologie ändert nichts daran, wo die Verantwortung liegt.
Ihrer Meinung nach ist ein interdisziplinärer Ausschuss hilfreich, der Menschen aus verschiedenen Bereichen des Unternehmens zusammenbringt, die Verantwortung gruppenweit verteilt und etwas durchführt, was Zahra als „Pre-Mortem“ bezeichnet: die Analyse dessen, was schiefgehen könnte, bevor tatsächlich etwas schiefgeht. Die Person, die die Geschäftsfunktion versteht, ist am besten in der Lage, operative Risiken zu erkennen. Der KI-Experte kann Systemrisiken identifizieren. Der Rechtsexperte kann regulatorische Risiken aufzeigen. Gemeinsam decken sie einen Bereich ab, den keine einzelne Person oder kein einzelnes Team jemals abdecken könnte.
Dies ist der Kern dessen, wie eine ausgereifte KI-Governance in der Praxis tatsächlich aussieht.
Die globale Regulierungslandschaft und die außergewöhnliche Chance für Großbritannien
Das Gespräch wandert ganz natürlich von der Governance innerhalb von Organisationen hin zur Governance auf nationaler Ebene, und hier zeichnet Zahra ein Bild, das differenzierter ist, als es die meisten öffentlichen Debatten zulassen.
Derzeit sieht die Lage in etwa so aus:
- In den USA gibt es nur minimale KI-Vorschriften, was zwar rasche Innovationen ermöglicht hat, nun aber zu spürbaren Vertrauensproblemen führt.
- Die EU verfügt über den EU-AI-Act, der einen risikobasierten Ansatz verfolgt. Zahra befürchtet, dass sich dieses bei Systemen, die von Natur aus dynamisch sind, nur schwer durchsetzen lässt. Ein System mit geringem Risiko kann bei unsachgemäßer Nutzung sehr schnell zu einem System mit hohem Risiko werden.
- Großbritannien nimmt eine Mittelposition ein, und nach Zahras Ansicht ist dies eine echte Chance. Ein prinzipienbasierter, innovationsfreundlicher Rahmen, der schutzbedürftige Menschen schützt, könnte Großbritannien weltweit als vertrauenswürdigen Standort für eine verantwortungsvolle KI-Entwicklung positionieren.
Sie verweist auf Singapurs Regulierungsrahmen für agentische KI, der auf dem Weltwirtschaftsforum vorgestellt wurde, als ein Modell, das es wert ist, genauer betrachtet zu werden: agil, iterativ und darauf ausgelegt, mit Systemen Schritt zu halten, die sich schneller verändern, als die traditionelle Regulierung mithalten kann.
Die Chance, die Zahra für Großbritannien sieht, erstreckt sich auch auf die Frage der Bevölkerung. David beschreibt das Risiko einer sich langsam vergrößernden Kluft zwischen denjenigen, die sich mit KI auskennen, und allen anderen, und Zahra stellt dies als nationale Herausforderung dar. Der UK AI Opportunities Action Plan berücksichtigt zwar regionale Zentren, doch sie macht deutlich, dass es gezielter politischer Maßnahmen bedarf – und nicht nur guter Absichten –, um sicherzustellen, dass die Vorteile der KI auch die benachteiligten Teile des Landes erreichen.
Führen Führungskräfte KI also schneller ein, als sie sie effektiv steuern können?
Zahra antwortet mit „Ja, in manchen Situationen“, wobei sie darauf achtet, dies nicht als Kritik zu formulieren. Das Tempo des Wandels ist in der Tat außergewöhnlich, und viele Führungskräfte treffen ihre Entscheidungen unter großem Druck, aus Angst, den Anschluss zu verlieren, wenn sie das Tempo drosseln.
“Es gibt Unternehmen oder Länder, die ihre Entscheidungen auf Angst stützen. Sie treffen ihre Entscheidungen nicht auf der Grundlage rationaler Objektivität. Sie lassen sich von dieser Angst leiten: Wenn ich es nicht tue, werde ich den Anschluss verlieren.”
Eine sinnvollere Sichtweise ist, dass die Kluft zwischen Einsatz und Steuerung nicht unvermeidbar ist. Sie entsteht dadurch, dass Steuerung als etwas betrachtet wird, das erst nach dem Einsatz folgt, anstatt von Anfang an mit einbezogen zu werden. Ethik von Anfang an, Sicherheit von Anfang an und Rechenschaftspflicht von Anfang an sind keine Einschränkungen für Innovation. Sie sind vielmehr die Voraussetzungen, unter denen KI-Systeme tatsächlich das Vertrauen gewinnen, das sie benötigen, um nachhaltigen Mehrwert zu schaffen.
Davids Sichtweise, geprägt von vier Jahrzehnten Erfahrung in der Softwarebranche, lautet: Die Disziplin ist vertraut, auch wenn die Technologie neu ist. Fortschritt entsteht dadurch, dass man weiß, was man entwickelt, warum es wichtig ist und wie man testen wird, ob es funktioniert. Das war schon immer so. KI ändert nichts an diesem Grundsatz. Sie erhöht lediglich den Druck, alles richtig zu machen.
