David Elliman
Global Chief of Software Engineering
Agentische KI entwickelt sich derzeit schnell von einem spannenden Thema für Vorstandsetagen zu einem echten Ziel für Unternehmen. Das Versprechen ist verlockend: KI-Systeme, die nicht nur Fragen beantworten, sondern mit einem gewissen Maß an Eigenständigkeit planen, handeln, Werkzeuge nutzen und Aufgaben ausführen.
Doch der Moment, in dem KI im Namen einer Person oder Organisation handeln kann, verändert die zentrale Frage. Dann geht es nicht mehr darum: „Was kann das Modell tun?“, sondern vielmehr: „Was sollte es tun dürfen, wo müssen Grenzen gesetzt werden und wie gehen wir damit um, wenn etwas schiefläuft?“
In Episode neun des Tech Tomorrow-Podcasts spricht David Elliman, Global Chief of Software Engineering bei Zühlke, mit Sam Newman – unabhängiger Berater, Autor und eine der einflussreichsten Stimmen zu Microservices, Cloud und Continuous Delivery. Gemeinsam diskutieren sie, was notwendig ist, um agentische KI sicher in groß angelegten Systemen zu integrieren.
Der Gast: Sam Newman
Sam Newman ist ein unabhängiger Berater aus London, der weltweit Organisationen in den Bereichen Cloud, Continuous Delivery, Microservices und Systemarchitektur unterstützt. Er ist Autor der Bücher Building Microservices and Monolith to Microservices. Seine jüngste Arbeit konzentriert sich auf resiliente verteilte Systeme.
Mit mehr als 30 Jahren Erfahrung in der Softwareentwicklung bringt Sam Newman eine ausgesprochen pragmatische Perspektive in die KI-Debatte ein. Er sieht großes Potenzial in generativer KI, warnt jedoch zugleich vor zu großer Gewissheit in einem Bereich, der sich von Monat zu Monat verändert.
Wie er in der Episode sagt: „Jeder, der Ihnen mit absoluter Sicherheit sagt, genau so müsse man es machen, lügt entweder – oder versteht den aktuellen Zustand der Welt nicht.“
Die wichtigsten Erkenntnisse aus der Episode
Agentische KI ist keine Magie – sondern Software mit neuen Fehlerquellen
Für Sam beginnt alles mit Klarheit. Agentische KI-Systeme werden oft als autonom beschrieben. Im heutigen Unternehmenskontext handelt es sich jedoch meist um LLM-basierte Systeme, die Werkzeuge nutzen, auf Eingaben reagieren und im Auftrag eines Nutzers Handlungen ausführen können.
Dieser Unterschied ist entscheidend: Große Sprachmodelle sind leistungsfähig, aber nicht deterministisch. Bei traditioneller Software sollte dieselbe Eingabe normalerweise dieselbe Ausgabe erzeugen. Bei LLMs kann die Ausgabe variieren – und dabei lediglich plausibel wirken.
Das ist nicht zwangsläufig in jedem Kontext problematisch. Wenn ein Bildgenerierungssystem mehrere kreative Varianten erzeugt, kann diese Variabilität sogar ein Vorteil sein. Doch wenn ein System Unternehmensdaten berechnet, bereitstellt, genehmigt, weiterleitet oder verändert, reicht „wahrscheinlich richtig“ bei Weitem nicht aus.
Die Lehre daraus ist einfach: Agentische KI sollte nicht als universelle Automatisierungsebene betrachtet werden. Sie sollte dort eingesetzt werden, wo ihre probabilistische Natur einen Mehrwert schafft – und von Aufgaben ferngehalten werden, bei denen Determinismus, Nachvollziehbarkeit und Wiederholbarkeit unverzichtbar sind.
Mit Grenzen beginnen – nicht mit Fähigkeiten
Ein Großteil des Hypes rund um agentische KI konzentriert sich auf Fähigkeiten: Was kann der Agent tun? Auf welche Werkzeuge kann er zugreifen? Wie weit darf er gehen?
Sam argumentiert jedoch, dass Unternehmensarchitektur an einer anderen Stelle beginnen muss: bei den Grenzen.
Anstatt KI-Agenten tief in Kernsysteme einzubetten, sollten Unternehmen sie hinter klaren Abstraktionen abschirmen. Der Agent sollte keinen uneingeschränkten Zugriff auf Daten, Services oder Workflows erhalten. Stattdessen sollte er über klar definierte Schnittstellen interagieren – mit expliziten Regeln dafür, was hineingeht, was herauskommt und was passiert, wenn die Zuverlässigkeit der Ergebnisse gering ist.
Diese architektonische Disziplin erleichtert die Absicherung von Systemen, ermöglicht den Austausch von Modellen, Anbietern oder Workflows und schafft die Möglichkeit, KI-Komponenten später durch deterministischen Code zu ersetzen – etwa, wenn ein
Gerade hier gewinnen klassische Prinzipien der Softwarearchitektur wieder an Bedeutung. Modularität, Informationsverbergung, begrenzte Kontexte und Microservices sind keine veralteten Konzepte im KI-Zeitalter. Möglicherweise sind sie genau das, was agentische KI sicher skalierbar macht.
Nicht alles braucht ein LLM
Eine der wichtigsten Botschaften des Gesprächs ist zugleich eine der am leichtesten vergessenen: Viele Aufgaben, die heute an LLMs übergeben werden, lassen sich mit konventioneller Software besser lösen.
Sam beschreibt ein häufiges Muster: Teams starten mit einem KI-gestützten Workflow, weil er sich schnell prototypisch umsetzen lässt. Mit der Zeit stellen sie fest, dass Teile des Workflows stabil, vorhersehbar und wiederholbar sind. An diesem Punkt kann ein deterministischer Service günstiger, schneller, einfacher testbar und vertrauenswürdiger sein.
Das ist kein Argument gegen KI-gestützte Coding-Tools. Eine deterministische Komponente kann mit Hilfe generativer KI entwickelt werden und sich dennoch wie klassische Software verhalten. Entscheidend ist nicht, wie der Code erstellt wurde, sondern wie sich das laufende System verhält.
Für Führungskräfte ergibt sich daraus ein hilfreiches Prinzip: KI dort einsetzen, wo Mehrdeutigkeit, Sprache, Planung oder Anpassungsfähigkeit wichtig sind – klassische Software dort, wo Prozesse bekannt, testbar und reproduzierbar sind.
Diese Denkweise hilft außerdem, eine häufige Skalierungsfalle zu vermeiden: Ein funktionierendes Modell ist nicht automatisch ein funktionierendes KI-Produkt. Produktionsreife hängt vom gesamten Umfeld ab – Daten, Integration, Plattformen, Sicherheit, Verantwortlichkeiten und Änderungsmanagement.
Validierungsschritte sind in KI-Workflows unverzichtbar
Agentische Systeme arbeiten häufig als Ketten von Einzelschritten: Ein Modell extrahiert Informationen, ein weiteres interpretiert sie, ein drittes entscheidet über das weitere Vorgehen und ein Tool führt schließlich eine Aktion aus.
Diese Modularität ist hilfreich, bringt aber ein ernstes Risiko mit sich. Wenn ein früher Schritt fehlerhafte Ergebnisse liefert, können alle nachfolgenden Schritte diesen Fehler übernehmen und verstärken – selbst, wenn sie ansonsten korrekt funktionieren.
David beschreibt deshalb die Notwendigkeit von „Validation Gates“: Kontrollpunkten zwischen KI-gesteuerten Schritten, die überprüfen, ob das vorherige Ergebnis sicher, strukturiert und zweckmäßig ist, bevor es zur Eingabe für den nächsten Schritt wird.
Solche Kontrollmechanismen können deterministische Prüfungen, Schema-Validierungen, Konfidenzschwellen, menschliche Überprüfungen, Prüfpfade oder Rollback-Mechanismen umfassen. Wenn ein Schritt beispielsweise eine Zahl extrahieren soll, sollte geprüft werden, ob tatsächlich eine gültige Zahl vorliegt. Wenn ein Tool eine geschäftskritische Aktion auslösen soll, muss sichergestellt sein, dass diese Aktion reversibel, autorisiert und nachvollziehbar ist.
An dieser Stelle wird KI-Governance von einem Richtliniendokument zu einer Frage des Systemdesigns.
Auch externe Sicherheitsrichtlinien entwickeln sich schnell weiter. Die OWASP Top 10 for Large Language Model Applications weisen auf Risiken wie Prompt Injection, übermäßige Autonomie und unsichere Ausgabeverarbeitung hin. Gleichzeitig bietet das NIST Generative AI Profile einen branchenübergreifenden Rahmen zur Identifikation und Steuerung generativer KI-Risiken.
Token-Ökonomie wird zu einer Architekturfrage
KI-Kosten werden oft als Beschaffungsthema betrachtet. Sam argumentiert jedoch, dass sie ebenso eine architektonische Fragestellung sind.
Heute experimentieren viele Unternehmen mit KI über Abonnements, Credits oder frühe Preismodelle. Mit steigender Nutzung kann der Verbrauch von Tokens jedoch zu einem erheblichen Kostenfaktor werden – insbesondere, wenn die Arbeitsabläufe mehrere Modelle, wiederholte Aufrufe, lange Kontextfenster oder die Koordination zwischen verschiedenen Agenten umfassen.
Der Vergleich mit der Cloud-Einführung ist hilfreich. Viele Unternehmen gingen zunächst davon aus, dass Cloud-Technologien automatisch Kosten senken würden. Tatsächlich stiegen die Kosten häufig zunächst an, bis Governance, Observability und architektonische Disziplin eingeführt wurden.
Mit KI könnte sich ein ähnliches Muster wiederholen. Führungskräfte müssen die wirtschaftlichen Grundlagen ihrer KI-Workflows verstehen, bevor diese geschäftskritisch werden. Manchmal ist die richtige Antwort ein anderes Modell. Manchmal eine lokale Bereitstellung. Und manchmal der Ersatz eines Teils des KI-Workflows durch klassische Software.
Die Zukunft gehört Organisationen, die sicher experimentieren können
Trotz seiner Bedenken hinsichtlich Hype, Zentralisierung und Marktvolatilität blickt Sam nicht pessimistisch auf die Technologie selbst. Er ist überzeugt, dass die wirklich wertvollen Anwendungsfälle generativer KI noch vor uns liegen und dass viele der heute sichtbarsten Anwendungen möglicherweise gar nicht die interessantesten sind.
Erfolgreich werden nicht jene Organisationen sein, die versuchen, die gesamte Zukunft der KI vorherzusagen. Erfolgreich werden jene sein, die die Fähigkeit entwickeln, schnell zu lernen, ohne kritische Systeme, Kundinnen und Kunden oder Daten unnötigen Risiken auszusetzen.
Das bedeutet: kleine Experimente, klare Schnittstellen, starke Feedback-Schleifen, menschliche Verantwortung, modulare Architektur – und die Demut anzuerkennen, dass manche heutigen KI-Komponenten morgen ersetzt oder entfernt werden müssen.
Ein praktischer Fahrplan für Führungskräfte
Agentische KI sollte nicht blockiert werden. Aber sie muss sorgfältig gestaltet werden. Für Führungskräfte und Technologieverantwortliche, die KI-Agenten in groß angelegten Systemen einsetzen möchten, zeigt die Episode sechs praktische Schritte auf:
Zuerst die Aufgabe definieren, dann die Technologie wählen
Ausgangspunkt sollte das Geschäftsproblem sein – nicht der Wunsch, einen Agenten einzusetzen.
Deterministische und nicht-deterministische Aufgaben trennen
LLMs dort einsetzen, wo Unsicherheit und Sprache relevant sind. Klassische Software dort, wo Prozesse stabil und testbar sind.
Agenten hinter klaren Schnittstellen isolieren
KI-Komponenten sollten als volatile Abhängigkeiten mit expliziten Verträgen, Berechtigungen und Datengrenzen behandelt werden.
Validierungsschritte zwischen Workflow-Schritten einbauen
Es darf nicht passieren, dass fehlerhafte Ergebnisse eines Modells unbemerkt zur Eingabe eines anderen Modells werden.
Rückverfolgbarkeit und Rollback einplanen
Davon ausgehen, dass Agenten Fehler machen. Diese Fehler müssen sichtbar, nachvollziehbar und korrigierbar sein.
KI-Ökonomie von Anfang an überwachen
Token-Kosten, Modellnutzung und Kosten-Nutzen-Verhältnis jedes Workflow-Bestandteils kontinuierlich beobachten.
Die Grenze ist eine gut gestaltete Schnittstelle
Welche Grenzen sollten also unsere Beziehung zu agentischer KI in groß angelegten Systemen definieren?
Die Antwort besteht weder darin, KI vollständig aus Unternehmen herauszuhalten, noch autonomen Agenten im Namen von Geschwindigkeit uneingeschränkten Zugriff zu gewähren.
Die richtige Grenze ist eine gut gestaltete Schnittstelle: eine, die KI dort einsetzt, wo sie nützlich ist, und gleichzeitig die Systeme, Daten und Entscheidungen schützt, die am wichtigsten sind.
Agentische KI wird echte Chancen für Organisationen schaffen, die Experimentierfreude mit technischer Disziplin verbinden können. Doch die Gewinner werden nicht diejenigen mit den autonomsten Agenten sein. Erfolgreich werden jene sein, die die klarsten Grenzen, die stärksten Kontrollmechanismen und die schnellsten Lernschleifen besitzen.
Denn in einer Welt, in der niemand genau weiß, was als Nächstes kommt, bedeutet Resilienz nicht Gewissheit – sondern die Fähigkeit, sich jederzeit anpassen zu können.
