Wir messen, wie viele Menschen KI nutzen. Aber messen wir auch, was sich dadurch verändern sollte?

Warum hohe Nutzungszahlen noch keine erfolgreiche KI-Transformation bedeuten – und weshalb die entscheidende Frage vor der ersten Messung gestellt werden muss.

Unternehmen investieren erhebliche Ressourcen in die Einführung künstlicher Intelligenz. Sie stellen Werkzeuge bereit, schulen Mitarbeitende und entwickeln Anwendungsfälle. Der Fortschritt lässt sich gut dokumentieren: Wie viele Mitarbeitende verwenden KI? Wie häufig werden die Werkzeuge eingesetzt? Wie viele Anwendungsfälle befinden sich im produktiven Einsatz?

Diese Kennzahlen zeigen, ob eine Technologie in der Organisation ankommt. Ob dadurch bessere Entscheidungen getroffen, qualitativ hochwertigere Ergebnisse erzielt oder wirtschaftlicher Mehrwert geschaffen wird, bleibt jedoch offen. Häufig beginnt die Suche nach geeigneten Erfolgskennzahlen erst nach der Einführung. Dabei hätte die entscheidende Frage bereits am Anfang stehen müssen: Was genau soll sich durch KI verändern – und woran würden wir erkennen, dass diese Veränderung eingetreten ist?

Wenn Nutzung zum Erfolgsmaßstab wird

Adoption ist eine naheliegende Kennzahl. Sie lässt sich einfach erheben, regelmäßig berichten und zwischen Organisationseinheiten vergleichen. Eine steigende Nutzungsquote vermittelt dem Management das Gefühl, dass die Transformation vorankommt.

Dass Verbreitung und Unternehmensnutzen unterschiedliche Dinge sind, verdeutlichen Untersuchungen zur Einführung generativer KI. Accenture berichtet in Making Reinvention Real with Gen AI, dass 36 Prozent der Befragten generative KI bereits skaliert einsetzen, während 13 Prozent einen signifikanten Mehrwert auf Unternehmensebene angeben. Die Zahlen beruhen auf Befragungen und sind kein kausaler Nachweis. Sie illustrieren jedoch die Lücke zwischen technischer Skalierung und wirtschaftlicher Wertschöpfung.

Auch McKinsey zeigt in The State of AI: How Organizations Are Rewiring to Capture Value, dass die Neugestaltung von Arbeitsabläufen besonders stark mit dem berichteten wirtschaftlichen Nutzen generativer KI zusammenhängt. Offenbar reicht es nicht, neue Werkzeuge bereitzustellen. Entscheidend ist auch, wie Unternehmen ihre Arbeit verändern.

Adoption bleibt dabei wichtig: Eine Technologie, die niemand verwendet, wird kaum Verbesserungen ermöglichen. Problematisch wird es, wenn ihre Nutzung bereits als Beleg für eine erfolgreiche Transformation interpretiert wird.

Was soll durch KI konkret besser werden?

Stellen wir uns ein Unternehmen vor, das einen KI-Assistenten im Kundenservice einführt. Er soll Anfragen analysieren, Informationen zusammenführen und Antwortvorschläge erstellen. Nach drei Monaten verwenden 85 Prozent der Mitarbeitenden das Werkzeug regelmäßig. Die Einführung gilt als gelungen.

Doch was war eigentlich das Ziel? Schnellere Bearbeitung? Bessere Antworten? Weniger Rückfragen? Entlastung bei komplexen Anliegen? Diese Ziele verlangen unterschiedliche Kennzahlen. Eine kürzere Bearbeitungszeit deutet auf höhere Effizienz hin. Müssen gleichzeitig mehr Anfragen erneut geöffnet werden, relativiert das den Produktivitätsgewinn. Auch eine höhere Anzahl bearbeiteter Anfragen bedeutet nicht automatisch, dass Kunden zufriedener sind oder ihre Anliegen nachhaltig gelöst wurden.

Selbst eine nachweisbare Produktivitätssteigerung führt nicht zwangsläufig zu wirtschaftlichem Nutzen. Vielleicht werden frei gewordene Kapazitäten für andere Aufgaben verwendet oder die Servicequalität verbessert sich. Welcher Mehrwert entsteht, hängt davon ab, welche Ziele verfolgt werden und wie sich die Veränderungen im gesamten Arbeitsprozess auswirken.

Die Auswahl geeigneter Kennzahlen beginnt deshalb nicht bei den verfügbaren Daten, sondern bei der angestrebten Veränderung.

Produktivität ist nicht gleich Wertschöpfung

Generative KI kann einzelne Tätigkeiten erheblich beschleunigen. Texte entstehen schneller, Informationen lassen sich leichter strukturieren und Analysen mit weniger Aufwand vorbereiten. Doch Zeitersparnis bei einer Tätigkeit bedeutet nicht automatisch eine entsprechende Verbesserung des gesamten Prozesses.

Vielleicht dauert die Erstellung eines Dokuments nur noch halb so lange, während dessen Prüfung zusätzliche Zeit benötigt. Vielleicht steigt die Anzahl produzierter Inhalte, ohne dass deren Qualität oder Nutzen zunimmt. Gerade bei miteinander verbundenen Arbeitsschritten können Produktivitätsgewinne an Schnittstellen verloren gehen oder neue Engpässe erzeugen.

Deshalb müssen Unternehmen nicht nur die Effizienz einzelner Tätigkeiten betrachten, sondern auch untersuchen, ob Aufgaben, Verantwortlichkeiten, Qualitätskontrollen und Entscheidungswege weiterhin sinnvoll organisiert sind.

Daraus ergeben sich unterschiedliche Ebenen der Wirkungsmessung: die Verbreitung der Technologie, Veränderungen einzelner Tätigkeiten, die Leistungsfähigkeit vollständiger Prozesse und schließlich der Nutzen für Kunden und Unternehmen. Diese Ebenen können zusammenhängen, bilden aber keine automatische Wirkungskette.

Die richtigen Kennzahlen brauchen einen Bezug zum Ziel

Eine hilfreiche Ausgangsbasis ist eine konkrete Wirkungshypothese. Für unser Kundenservice-Beispiel könnte sie lauten: Wenn wir KI bei der Vorbereitung von Kundenantworten einsetzen, sollte sich die durchschnittliche Bearbeitungszeit reduzieren, ohne dass die Antwortqualität sinkt oder zusätzliche Nacharbeit entsteht.

Daraus ergeben sich mehrere Beobachtungen: Wie intensiv wird KI genutzt? Wie verändert sich die Bearbeitungszeit? Wie häufig müssen Antworten korrigiert werden? Wie entwickelt sich die Kundenzufriedenheit? Entscheidend ist, dass diese Kennzahlen gemeinsam betrachtet werden. Eine isolierte Verbesserung kann sonst darüber hinwegtäuschen, dass Probleme lediglich an eine andere Stelle verlagert wurden.

Auch unbeabsichtigte Auswirkungen sollten berücksichtigt werden. Neue Arbeitsweisen können Verantwortlichkeiten verschieben, zusätzliche Abstimmungen erzeugen oder die Zusammenarbeit verändern. Unser Use Case zur KI-Transformation illustriert beispielsweise eine Situation, in der Nutzung und Produktivität steigen, während gleichzeitig Hinweise auf Schwierigkeiten in der Zusammenarbeit auftreten.

Wirkungsmessung ist kein einmaliger Nachweis

Selbst bei klar definierten Zielen bleibt die Bewertung anspruchsvoll. Angenommen, nach Einführung eines KI-Assistenten sinkt die durchschnittliche Bearbeitungszeit um 20 Prozent. Das könnte ein Erfolg sein. Zunächst wissen wir allerdings nur, dass sich eine Kennzahl verändert hat.

Vielleicht wurden gleichzeitig Prozesse vereinfacht, Teams neu organisiert oder schwierige Anfragen anders verteilt. Ein Vorher-Nachher-Vergleich allein beweist deshalb nicht, dass KI die Verbesserung verursacht hat. Für eine belastbare Bewertung braucht es klare Ausgangswerte, geeignete Vergleichsmöglichkeiten und die Berücksichtigung relevanter Veränderungen im Umfeld.

Nicht jede Organisation muss dafür aufwendige wissenschaftliche Untersuchungen durchführen. Sie sollte aber zwischen einer beobachteten Entwicklung und einem nachgewiesenen Ursache-Wirkungs-Zusammenhang unterscheiden.

Gerade in komplexen Organisationen ist eine wiederkehrende Überprüfung oft hilfreicher als die Suche nach einer endgültigen Erfolgskennzahl. Wurden die erwarteten Verbesserungen erreicht? Sind unerwünschte Nebenwirkungen entstanden? Welche Annahmen müssen angepasst werden? Werden solche Fragen regelmäßig gestellt, wird Wirkungsmessung zum Bestandteil organisationalen Lernens – und unterstützt die laufende Steuerung der Transformation.

Nicht alles messen. Das Richtige messen.

KI-Transformationen erzeugen eine wachsende Menge an Daten. Nutzungsstatistiken, Produktivitätskennzahlen, Qualitätsmessungen und wirtschaftliche Ergebnisse lassen sich zu umfangreichen Dashboards zusammenführen. Mehr Daten bedeuten allerdings nicht automatisch bessere Entscheidungen. Ein Dashboard dokumentiert, was passiert. Ob es die richtigen Fragen beantwortet, hängt von den Zielen und Annahmen ab, die seiner Gestaltung zugrunde liegen.

Wer lediglich misst, was leicht verfügbar ist, läuft Gefahr, seine Erfolgskriterien an den vorhandenen Kennzahlen auszurichten. Die Herausforderung besteht daher nicht darin, möglichst viele zusätzliche Metriken einzuführen, sondern jene Veränderungen zu identifizieren, die für den jeweiligen Anwendungsfall tatsächlich relevant sind.

Eine KI-Transformation ist nicht erfolgreich, weil möglichst viele Menschen neue Werkzeuge verwenden. Sie ist erfolgreich, wenn die angestrebten Verbesserungen eintreten und daraus nachhaltiger Nutzen entsteht. Dafür müssen wir vor der Einführung klären, was sich verändern soll, geeignete Kennzahlen festlegen und anschließend überprüfen, ob die beobachtete Entwicklung unseren Erwartungen entspricht.

Vielleicht sollten wir deshalb weniger häufig fragen, wie viele Mitarbeitende KI bereits nutzen – und häufiger, was durch diese Nutzung eigentlich besser werden soll.