Voraussetzung für eine gelungene Umsetzung von evidenzbasiertem Management ist nicht nur, dass evidenzbasiertes Wissen in »gut verdaubarer« Form zur Verfügung steht, sondern auch, dass Praktiker wissen, wie man selbst systematische Evidenz findet, be- und verwertet und schließlich auch selbst durch Experimente Evidenz schafft. Dieser Beitrag erläutert, wie Praktiker aus dem Bereich Personalmanagement auf diese neuen Aufgaben im Rahmen eines Zertifikatslehrganges vorbereitet werden können.

Was will evidenzbasiertes Management?

Evidenzbasiertes Management kann man als gewissenhafte, explizite und vernünftige Anwendung der besten Informationen in der täglichen Entscheidungsfindung definieren. Evidenz beschreibt Informationen, die wahr und – weil objektiv – auch gut sind. Im Kern geht es darum herauszufinden, was diese »besten Informationen« sind und wie man diese anwendungs- und kontextbezogen in Entscheidungen nutzen kann. Jeffrey Pfeffer, ein wichtiger Vertreter der Bewegung, übersetzt diese Anforderung in drei Bestandteile:

Manager sollten …

1. … in der Lage sein, gezielt Evidenz für ein Problem zu finden (»Get the Evidence«) – alle Berufe, einschließlich Manager, haben die professionelle Verantwortung, mit neuen Entwicklungen in der wissenschaftlichen Literatur Schritt zu halten.
2. … sich eine experimentelle Denk- und Handlungsweise aneignen – Managemententscheidungen sind häufig mit Unsicherheiten belastet und richtig ausgeführt können kontrollierte Experimente wertvolle Entscheidungsgrundlagen liefern (»Create the Evidence«).
3. … »eine kluge innere Einstellung annehmen« – auch im Management ist es wichtig zu verstehen, wo die Grenzen des eigenen Wissens liegen und wann man sich in eine Reflexionsschlaufe begeben oder Hilfe von Dritten suchen muss.

Doch entscheiden Manager häufig so, wie hier gefordert wird? Noch nicht! Aktuell dürften andere Entscheidungsgrundlagen »die Nase vorn« haben, nämlich: Intuition, Best Practices und von Beratern generiertes Wissen.

Entscheidungsgrundlagen im Alltag und deren Tücken

Intuition ist bei Alltagsentscheidungen von größter Bedeutung. Bauchentscheidungen führen, wie Gerd Gigerenzer in vielen Studien zeigt, zu besseren Resultaten als sorgsame und langwierige Abwägungen. Geht man davon aus, dass intuitive Entscheidungen in erster Linie auf Erfahrungen aus angewandtem Fachwissen beruhen, erscheint dieser Zusammenhang, vor allem für langjährige Experten, plausibel. Was aber, wenn liebgewordene Heuristiken und grundlegende Denkmuster plötzlich nicht mehr zeitgemäß sind und wenn neue Erkenntnisse zeigen, dass sich Fehler eingeschlichen haben? Intuition ist also nur dann erfolgreich, wenn sie mit einer offenen und selbstreflektierten, »klugen inneren Einstellung« gepaart ist.

Sehr gesuchte Entscheidungsgrundlagen sind zudem Best Practices, also Erkenntnisse darüber, was die Besten in einem Bereich möglicherweise anders machen. Allerdings funktioniert das Lernen von anderen nicht immer wie gedacht. In den Worten von Nicolai und Kieser ist die »Erfolgsfaktorenforschung eklatant erfolgslos«, was im Kern bedeutet, dass Unternehmenserfolg meist durch eine konsistente Verknüpfung sehr unterschiedlicher Elemente zustande kommt und es schwierig ist, hier allgemein gültige »Standardrezepte« herauszulösen. Jeder Anwendungskontext unterscheidet sich, weshalb 1:1-Umsetzungen solcher Best Practices zum Scheitern verurteilt sind – oder wie Pfeffer und Sutton es formulieren: »Frei atmen ist an Land eine Schlüsselkompetenz, im Wasser würde es fatale Folgen haben«.

Übrig bleiben die Berater und ihr Wissen, auf das Unternehmen gern zurückgreifen. Der Beratungsmarkt zeigt seit Jahren eine stabile Wachstumsrate. Viele Unternehmen scheinen sich gerade in Zeiten des digitalen Wandels noch mehr auf Beratungsleistungen zu stützen. Auch hier gilt die berechtigte Hoffnung, dass die gut ausgebildeten Beratungsdienstleister auf der Grundlage ihrer vielen Praxiseinsätze, Probleme aus einer anderen Perspektive angehen können. Doch Beratungsdienstleistungen bleiben ein Vertrauensgut. Die Frage, ob es letztendlich der Beratereinsatz war, der zur Leistungssteigerung führte, ist kaum zu klären. Ein kritischer Praxispartner, der über eigene evidenzbasierte Kenntnisse verfügt, kann die Ideen der Beratung besser einordnen und auf die Probleme im eigenen Unternehmen anpassen.

Evidenzbasiertes Entscheiden lernen

Noch ist evidenzbasierte Managementpraxis selten. An der Universität St. Gallen wurde daher auf Grundlage englischsprachiger Vorbilder ein Kurs für HR-Praktiker entwickelt, der das nötige Werkzeug für eine evidenzbasierte Vorgehensweise in der Praxis vermittelt. Der Kurs gliedert sich in zwei Bereiche: (1) evidenzbasiertes Wissen finden, bewerten und mit anderen Wissensgrundlagen verbinden (»Get the Evidence«) und (2) evidenzbasiertes Wissen durch Praxisexperimente schaffen (»Create the Evidence«).

Evidenz finden, bewerten und nutzen

Der Kurs verfolgt in diesem ersten Modul drei Lernziele. Erstens lernen Praktiker, wie man Praxisprobleme analysieren muss, um mit einer zielgerichteten Evidenzsuche beginnen zu können. Zweitens sollen Praktiker verstehen, welche Frage sich mit welcher Studie am besten beantworten lässt. Dafür werden die beiden Bewertungskriterien nützlich und rigoros vorgestellt. Drittens geht es darum, eigene Merksätze und Überzeugungen zu hinterfragen.

Was ist eigentlich meine Frage? Wissenschaftliche Erkenntnisse sind häufig kleinteilig und beleuchten einen Aspekt tiefgehend. Praxisprobleme hingegen sind meist breitgefächert und unscharf. Eine wichtige Grundvoraussetzung, um Probleme der Praxis evidenzbasiert zu lösen, ist also in einem ersten Schritt die Übersetzung des Problems in die wissenschaftliche Sprache. Eine hilfreiche Heuristik ist hierbei das PIMO-Modell (vgl. Abb. 1). Probleme in PIMO-Fragen – Fragen nach Perspektive und Kontext, Intervention, Mechanismus und Outcome – zu übersetzen hilft dabei, sich mit der Frage nach dem »Warum« auseinanderzusetzen und erleichtert das zielgerichtete Vorgehen bei der Recherche nach wissenschaftlichen Studien.

Abb. 1 PIMO-Modell – Dem Managementproblem in vier Analyseschritten auf den Grund gehen

In vier Analyseschritten – dem sogenannten PIMO-­Modell – kann man Managementproble­men auf den Grund gehen. Wo finde ich Evidenz und wie bewerte ich diese Evidenz? In diesem nächsten Schritt geht es darum, bereits vorhandene wissenschaftliche Evidenz zum Thema zu finden. Der Kurs zeigt Praktikern, wie sie das systematisch machen bzw. andere dabei anleiten können. Recherchieren ist eine Kompetenz, die sich zwischen Ausprobieren, Erfahrung und Systematik bewegt. Die Systematik kann erlernt werden und beinhaltet das Dokumentieren von Suchvorgängen sowie die Führung von Ergebnisprotokollen.

Die gefundene Evidenz muss auch eingeordnet und bewertet werden. Für die Praxis ist entscheidend, ob die Evidenz nützlich ist, also zur Beantwortung der konkreten Praxisfrage beitragen kann. Abbildung 2 fasst zusammen, welches Forschungsdesign für welche Frage am besten geeignet ist.

Abb. 2 Wahl des Forschungsdesigns

In der Forschung werden sehr häufig die folgenden vier Untersuchungsarten genutzt: (1) qualitative Interviews, (2) einmalige Erhebungen, auch Querschnittstudien genannt, (3) wiederholte Befragungen der gleichen Teilnehmenden, auch als Längsschnittstudie bezeichnet und (4) Experimente. Möchte man wissen, wie häufig ein Problem vorkommt oder ein neues Instrument schon eingesetzt wird, sind Querschnittstudien geeignet. Wenn wir verstehen und erklären wollen, warum ein Problem vorhanden ist und welche möglichen Ursachen eine Rolle spielen, sind Interviews unschlagbar. Wenn es gelingt Mitarbeitende »zum Erzählen« zu bringen, lernt man häufig die eigenen blinden Flecken kennen. Geht es darum, die Wirksamkeit einer neuen Maßnahme zu überprüfen, kommt man kaum um ein Experiment herum. Nur mit Experimenten lassen sich »Wenn-Dann-Ketten« überprüfen. Zweitbeste Option in diesem Fall sind Längsschnittstudien. Häufig ist es wichtig zu verstehen, ob ein neues Instrument auf Akzeptanz in der Nutzergruppe stößt. Dies lässt sich sowohl durch Interviews als auch mittels Querschnittsbefragungen herausfinden. Evidenz soll auch stringent hergeleitet, also rigoros sein. Publizierte wissenschaftliche Studien sind im Gegensatz zu Evaluations- oder Auftragsarbeiten drittgeprüft. Je besser der Ruf einer Zeitschrift ist, desto strenger sind, in aller Regel, deren Gütekriterien für eine Veröffentlichung. Dennoch bleibt kritisches Denken ein Muss. Bei der Beurteilung von Studien helfen die Checklisten, die das Center for Evidence Based Management veröffentlicht hat.

Wichtig ist zudem, dass man widersprüchliche Resultate nicht wegwischt. Sie sind meist ein Indiz dafür, dass die gefundenen Zusammenhänge nicht auf jeden Kontext zutreffen, für den eigenen Fall aber durchaus von Bedeutung sein können.

Wie führe ich meine Erkenntnisse zusammen? Die Synthese des Wissens – Evidenz, Erfahrungswissen, gesammelte Dritterfahrungen und Beraterwissen – gleicht einem kreativen Akt. Es gilt die Erkenntnisse gegenüberzustellen, Gemeinsamkeiten aufzuzeigen, Widersprüche zu diskutieren und alles vor dem Hintergrund der eigenen Organisation zusammenzufügen. Diese Kompetenz kann durch häufiges Praktizieren gestärkt werden. Hilfreich können hier Methoden wie Storytelling oder Design Thinking sein. Es gilt jedoch: Nach der Analyse ist vor der Analyse! Denn meistzeigen Recherchen und eigene Überlegungen zwar eine erste Marschrichtung auf, die mögliche Lösung jedoch sollte in einem ersten Schritt eher als Experiment gesehen werden: Funktioniert das auch bei uns?

Kontrolliertes Probieren stützt das Studieren

Microsoft spricht von »kontrollierten Experimenten« und meint damit, dass Machen vor Studieren geht und dass Misserfolge daher als mögliche Konsequenz ohne negative Folgen bleiben müssen. Andere Unternehmen sprechen von Experimentierfeldern, von Pilotprojekten, von Versuchen, die klug machen können. Es scheint, als sei die zweite Forderung von Jeffrey Pfeffer – das Annehmen einer experimentellen Denkund Handlungsweise – in den Unternehmen angekommen. Es gibt aber noch Luft nach oben, z. B. wenn es darum geht, welche Erkenntnisse man aus diesen Experimenten tatsächlich ziehen kann. Im zweiten Modul des Kurses wird deshalb erklärt, wie ein wissenschaftliches Experiment aussieht und wie man Praxisexperimente selbst gestalten kann.

Was ist der Nutzen von Experimenten? Mit Experimenten können Ideen in einem kleinen und geschützten Rahmen überprüftwerden. Anwendungsprobleme und Konstruktionsfehler können so aufgespürt und vor dem großen Rollout ausgemerzt werden. Schließlich produzieren Experimente harte Fakten, die genutzt werden können, um die Unternehmensleitung von einer größeren Investition zu überzeugen. Die Wissenschaft verspricht sich von Experimenten vor allem, den Nachweis von Kausalität, ob A also tatsächlich zu B führt.

Wie sieht ein ideales Experiment aus wissenschaftlicher Perspektive aus? Konkret kann man sich das ideale Experiment an einem Beispiel aus der Medizin vorstellen. Ein neues Medikament soll am Markt zugelassen werden. Dies geht natürlich nicht ohne eine strenge Zulassungsstudie, welche die Wirksamkeit des Medikaments nachweist. Würde man das neue Medikament einfach zum Testen an einige Freiwillige verteilen und sie bitten, sich in einigen Tagen wieder zu melden, stünden zwei Fragen im Raum:

1. Wirkt das Medikament überhaupt? Unabhängig davon, ob es den Teilnehmern nachher besser oder schlechter geht – es bleibt bei dieser Versuchsanlage unklar, ob das Medikament selbst oder aber z. B. einfach eine veränderte Wetterlage, die alle betrifft, Ursache des neuen Zustands ist.
2. Wie wirkt das Medikament unter verschiedenen Umständen? Das Vorhandensein von sowohl positiven als auch negativen Ergebnissen, könnte systematisch dadurch entstehen, dass Teilnehmer unterschiedliche Eigenschaften aufweisen oder ungleichen Rahmenbedingungen ausgesetzt waren – vielleicht waren einige bereits sehr alt, standen unter Stress oder haben das Medikament nur unregelmäßig genommen.

Um solchen Fallstricken aus dem Weg zu gehen, haben sich in der Medizin sogenannte randomisierte und kontrollierte Studien als Goldstandard für Experimente durchgesetzt. Bei solchen Studien gibt es zwei Gruppen: eine Experimentalund eine Kontrollgruppe. Nur die Experimentalgruppe wird mit der Intervention – in unserem Beispiel das neue Medikament – konfrontiert. Durch eine randomisierte, also zufällige Einteilung der Teilnehmer in die Gruppen, wird gewährleistet, dass sich die Gruppen auch wirklich nur in diesem einen Punkt systematisch unterscheiden. Um einen gänzlich unverzerrten Vergleich zwischen den Gruppen anstellen zu können, muss das Experiment auch noch kontrolliert ablaufen. Das bedeutet, dass der Versuch in einem überwachten Kontext, also häufig im Labor stattfindet. Dadurch kann der Einfluss externer Störgrößen, wie in unserem vorherigen Beispiel das Wetter, unter Kontrolle gehalten werden. Abbildung 3 veranschaulicht diesen Goldstandard eines Experiments.

Abb. 3 Goldstandard bei der Marktzulassung für ein neues Medikament

Wie können wir Experimente im Unternehmen möglichst streng gestalten? Im Unternehmen lässt sich das ideale Experiment nicht immer so umsetzen. Möchte man beispielsweise die Abschaffung leistungsvariabler Lohnbestandteile evaluieren, lässt sich eine zufällige Teilung der Mitarbeitenden in Versuchsund Kontrollgruppe vor dem Betriebsrat schwerlich rechtfertigen. Man muss also am Untersuchungsaufbau tüfteln, um einen Kompromiss zwischen Goldstandard und Machbarkeit im Unternehmenskontext zu finden. Im Folgenden werden vier Tricks vorgestellt, die im Unternehmensalltag umsetzbar sind und ein hohes Maß an Gültigkeit haben.

Matching: Der Vorteil von randomisierten Kontrollund Experimentalgruppen ist, dass alle denkbaren Störgrößen in beiden Gruppen zufällig verteilt sind. Vermutlich wichtige, bekannte Störgrößen können allerdings auch durch Matching ausbalanciert werden. Das bedeutet, dass man in der Experimentalund in der Kontrollgruppe jeweils einen »Zwilling« hinsichtlich verschiedener Eigenschaften hat, die eine Störgröße darstellen könnten. Ein Beispiel: Die Produktivität der Belegschaft geht stark zurück. Daher wollen Sie klassische Mitarbeitendengespräche durch Feedforward-Gespräche ersetzen. Sie wissen, dass Männer und Frauen auf diese Form der Gesprächsführung unterschiedlich reagieren. Geschlecht ist damit eine Störgröße. Ein Matching würde in diesem Fall bedeuten sicherzustellen, dass der Frauenanteil in beiden Gruppen 50 % beträgt.

Intraindividuelle Veränderungsmessung: Wie im Medikamentenbeispiel gezeigt, brauchen wir immer den Vergleich, um zu wissen, ob es eine Wirkung gibt. Statt des Querschnittvergleichs mit einer Kontrollgruppe kann auch der Vorher-nachher-Vergleich durchgeführt werden, d. h.: Dieselben Personen werden vor und nach der Einführung einer Maßnahme befragt.

Wartegruppen: Statt der strengen Trennung von Kontrollund Experimentalgruppe wird die untersuchte Maßnahme im sogenannten Wartegruppendesign in beiden Gruppen implementiert – allerdings zeitversetzt. Die Experimentalgruppe bekommt die Maßnahme sofort, die andere Gruppe erst später und fungiert so zunächst auch als Kontrollgruppe. In der Praxis kann ein solches Design z. B. für das Testen von neuen Entlohnungssystemen, die offensichtlich zwischen den Gruppen diskriminieren würden, sinnvoll sein.

Mehrere Messzeitpunkte: Regelmässige Erhebungen, zum Beispiel in Form von Mitarbeitendenbefragungen, können Dynamiken aufzeigen und so dabei helfen, die Wirkungsweisen verschiedener Maßnahmen zu verstehen. Ist die aktuelle Produktivitätsverbesserung der Mitarbeitenden auf die allerneuste Lohnsystemänderung zurückzuführen oder gibt es schon länger einen Trend, der von ganz anderen Faktoren beeinflusst wird? Längsschnittstudien mit mehreren Messzeitpunkten können Antworten auf solche Fragen liefern.

Abb 4: Tricks, wenn der Goldstandard nicht realisierbar ist

Zusammenfassung

Um gute Managemententscheidungen zu treffen, reicht es nicht, sich auf Intuition, Best Practices und Beraterwissen zu verlassen. Eine wichtige Ergänzung ist Evidenz, also forschungsbasierte Erkenntnis. Wie man im Praxiskontext an Evidenz kommt, können Manager in einem Zertifikatslehrgang mit zwei Modulen erarbeiten. Im Modul »Get the Evidence« geht es darum, die richtigen Fragen zu stellen, Evidenz in vorhandenen Studien zu finden und zu bewerten. Im Modul »Create the Evidence« wird vermittelt, wie Evidenz im Unternehmen mit raffinierten Untersuchungsdesigns generiert und sinnvoll genutzt werden kann. Wer trotz der Ausführungen in diesem Beitrag glaubt, evidenzbasiertes Management sei eine akademische Übung mit wenig Praxisnutzen, der irrt. Denn sicher möchte niemand Managemententscheidungen treffen und am Schluss feststellen, dass man einem statistischen Artefakt aufgesessen ist und an der Unternehmenswirklichkeit vorbei entschieden hat?

Dieser Artikel erschien zuerst in ZFO Zeitschrift Führung + Organisation. Wiederveröffentlichung mit freundlicher Genehmigung der AutorInnen.

Download (PDF, 1.04MB)