Ihr D365-Agent hat die Demo bestanden. Aber hat schon jemand getestet, was passiert, wenn etwas schiefgeht?

Die Demo verlief reibungslos. Der Dynamics 365 KI-Agent fand den Kundendatensatz, fasste das Problem zusammen, schlug die nächste Vorgehensweise vor und erledigte möglicherweise sogar eine Aufgabe automatisch. Alle erkannten das Potenzial: weniger manuelle Schritte, schnellere Entscheidungen und weniger repetitive Arbeit für das Team. Doch eine Frage wird viel zu selten gestellt: Was passiert, wenn etwas schiefgeht?

Was passiert, wenn der Kundendatensatz unvollständig ist? Wann enthalten zwei Systeme widersprüchliche Informationen? Wann fehlt eine Genehmigung? Wenn ein Mitarbeiter den Agenten bittet, einen Prozess zu überspringen, weil etwas „dringend“ ist? Oder wenn dem Agenten schlichtweg nicht genügend Informationen für eine verlässliche Entscheidung vorliegen? Hier beginnt die eigentliche Bewährungsprobe für einen D365-KI-Agenten.

Die Demo testet den Normalfall. Die Produktionsumgebung nicht.

Die meisten KI-Agenten-Demonstrationen dienen dazu, die Leistungsfähigkeit der Technologie zu demonstrieren . Die Daten sind sauber, der Arbeitsablauf vorhersehbar und das zu erwartende Ergebnis bekannt. Dies ist für eine Demonstration angemessen; Geschäftsprozesse in der Praxis laufen jedoch selten unter solch idealen Bedingungen ab.

Betrachten wir ein einfaches Szenario in Dynamics 365 Finance & Supply Chain Management. Ein KI-Agent unterstützt bei einer Bestellung. Der Lieferant ist vorhanden, Preise sind verfügbar, die Lagerbestandsinformationen sind aktuell und alle erforderlichen Genehmigungen liegen vor. Der Agent schließt den Prozess wie erwartet ab.

Ändern Sie nun eine Sache. Die Lieferanteninformationen sind veraltet. Der Preis stimmt nicht mit dem vereinbarten Vertrag überein. Die Genehmigungsschwelle wurde überschritten. Die Bestandsdaten wurden nicht korrekt synchronisiert. Oder zwei Datensätze enthalten unterschiedliche Informationen.

Was macht der Agent nun?

Hört es auf? Fragt es nach einer Erklärung? Eskaliert es gegenüber einer anderen Person? Oder geht es von Annahmen aus und macht weiter?

Diese Frage ist viel wichtiger als die Frage, ob der Agent die ursprüngliche Demo erfolgreich abgeschlossen hat.

KI-Agenten können auf Arten versagen, die korrekt erscheinen.

Bei herkömmlicher Software werden Fehler oft sofort sichtbar. Es erscheint eine Fehlermeldung, der Prozess wird gestoppt und jemand untersucht das Problem.

KI-Agenten können sich unterschiedlich verhalten.

Ein Mitarbeiter kann eine Antwort geben, die völlig plausibel klingt, obwohl sie auf unvollständigen oder falschen Informationen beruht. In einer ERP-Umgebung birgt dies ein ganz anderes Risikoniveau.

Eine falsche Antwort in einem allgemeinen Chatbot kann lästig sein. Eine falsche Aktion in Dynamics 365 kann sich auf Einkauf, Lagerbestand, Preisgestaltung, Kundenkommunikation, Finanzprozesse oder Genehmigungen auswirken.

Beim Testen von KI-Agenten sollte man also nicht nur Folgendes fragen:

„Hat der Agent die richtige Antwort gegeben?“

Es sollte auch gefragt werden:

Wusste der Agent, wann er nicht über genügend Informationen verfügte, um die Frage zu beantworten?

Dieser Unterschied ist wichtig.

Testen Sie, was passiert, wenn der Agent es nicht weiß.

Bevor Unternehmen einen D365-KI-Agenten produktiv einsetzen, sollten sie über den Standard-Workflow hinausgehende Tests durchführen. Geben Sie ihm unvollständige oder widersprüchliche Informationen. Stellen Sie ihm ungewöhnliche Anfragen. Entfernen Sie die Genehmigungsfunktion. Führen Sie unerwartete Geschäftsbedingungen ein.

Stellen Sie sich beispielsweise vor, jemand sagt dem Agenten: „Diese Bestellung ist dringend. Überspringen Sie einfach die Genehmigung.“

Der Mitarbeiter muss verstehen, dass eine Anfrage nicht mit einer Autorisierung gleichzusetzen ist. Wenn ein Kunde beispielsweise eine Bestellaktualisierung anfordert, die zugehörigen Versanddaten aber noch nicht synchronisiert wurden, sollte der Mitarbeiter nicht einfach eine Antwort erfinden, nur weil der Kunde dies erwartet.

Zu wissen, wann man nicht handeln sollte, gehört zu den Aufgaben eines nützlichen KI-Agenten.

Dies gewinnt noch an Bedeutung, wenn Unternehmen von einer KI, die lediglich Informationen liefert, zu einem agentenbasierten ERP übergehen , bei dem die KI in Geschäftsprozessen aktiv werden kann.

Integrieren Sie Fehlerszenarien in Ihre D365-KI-Tests.

Ein sinnvoller Testansatz besteht darin, neben den regulären Testfällen eine Fehlerbibliothek anzulegen. Fragen Sie sich für jeden wichtigen Workflow, was schiefgehen könnte und wie der Agent in diesem Fall reagieren soll.

• Fehlen Kundendaten? Der Mitarbeiter sollte die benötigten Informationen anfordern oder den Fall eskalieren.

• Widersprüchliche Datensätze? Das System sollte den Konflikt anzeigen, anstatt ihn zu erraten.

• Fehlende Genehmigung? Das sollte den Arbeitsablauf stoppen.

• Eine unberechtigte Anfrage? Die Aktion sollte abgelehnt werden.

• Eine ungewöhnliche Transaktion? Sie sollte zur manuellen Überprüfung weitergeleitet werden. Geringes Vertrauen? Diese Unsicherheit sollte kommuniziert werden, anstatt eine Annahme als Fakt darzustellen.

Dadurch wird die KI-Governance deutlich praxisnäher. Anstatt lediglich darüber zu diskutieren, ob ein KI-Agent „sicher“ oder „zuverlässig“ ist, wird nun genau definiert, wie er sich verhalten soll, wenn die Bedingungen außerhalb des normalen Arbeitsablaufs liegen.

Das Ziel ist nicht ein Agent, der niemals versagt.

Das ist unrealistisch. Ziel ist ein KI-Agent, dessen Fehler sichtbar, kontrollierbar und behebbar sind .

Ein zuverlässiger KI-Agent für Unternehmen muss nicht alles wissen. Er muss lediglich die Grenzen seiner Befugnisse verstehen, erkennen, wann Informationen unzureichend sind, die richtigen Geschäftsregeln befolgen und wissen, wann ein Mensch eingreifen muss.

Das ist in Dynamics 365 besonders wichtig, da der Agent nicht isoliert arbeitet. Er ist mit Geschäftsdaten und zunehmend auch mit Geschäftsprozessen verbunden.

Je mehr Autonomie ein Akteur besitzt, desto wichtiger werden diese Grenzen.

Bevor ich frage:

„Wie viel Zeit wird dieser D365-KI-Agent einsparen?“

Stelle zuerst eine andere Frage:

„Was passiert, wenn etwas schiefgeht?“

Wenn die Antwort nicht getestet wurde, wurde der Agent nicht wirklich getestet.

Sie haben die Demo getestet. Nicht die Realität.