Welche Verfälschungen können bei Testergebnissen auftreten? Welche Rolle spielen die Stichprobengröße und der Kontext? Beim Messen von Verhalten muss an einiges gedacht werden. Jason Martuscello hat in seinem Blog die häufigsten Fehler zusammengetragen.
1. Es gibt nicht die eine Methode
Menschliches Verhalten ist komplex, umfasst sehr viele Aspekte und hängt von unterschiedlichsten Umwelteinflüssen ab. Dementsprechend unmöglich ist es, sich auf ein Modell oder eine Berechnungsmethode zu beschränken. Je nach Kontext sollte die geeignete Methode gewählt werden.
2. Intentionen sind keine guten Indikatoren für Verhalten
Intentionen werden häufig als Anzeichen für Verhalten gedeutet. Studien zeigen, dass der Schritt von einem Vorhaben zu einer Verhaltensänderung oft nicht gemacht wird. Besser man verlässt sich also nicht auf diesen Zusammenhang.
3. Weiss man, warum man tut, was man tut?
Der Grund, den Befragte für ihr Verhalten angeben, hat oft nicht viel mit der wirklichen Ursache zu tun. Die richtige Strukturierung von Antwortformaten und Formulierung von Fragen können dem entgegenwirken.
4. Unterbewusst ist nicht automatisch besser
Das Unterbewusste spielt in unser aller Leben eine grosse Rolle und wird deswegen gern gemessen. Dennoch ist es wichtig, sich über den Geltungsbereich und Einschränkungen von entsprechenden Forschungsmethoden im Klaren zu sein. Diese einfach in allen möglichen Bereichen anzuwenden, kann eine Geld- und Zeitverschwendung sein.
5. Geblendet durch unsere eigenen Biases
«I propose amending Kahneman’s ‚What you see is all there is‘ (WYSIATI) to ‚What you BELIEVE is all you see‘ (WYBIAYS)», sagt Jason Martuscello . Unsere Meinung und Vorstellung machen uns empfänglicher für Ergebnisse, die unserem Blick auf die Welt entsprechen. Dieser Umstand sollte unbedingt bedacht werden.
6. Der fehlende Kontext
Kognitive Aktivität findet immer in einem bestimmten Kontext statt. Diesen zu vernachlässigen, kann Messungen erheblich beeinträchtigen. Ob wir uns mit einem Freund treffen oder zu einem Vorstellungsgespräch gehen, beeinflusst beispielsweise ja auch, wie wir uns kleiden.
7. Mehr Komplexität ist nicht immer besser
Auch einfache Ergebnisse kann man komplex darstellen. Mehr Komplexität geht jedoch oft mit mehr Fehlerquellen einher, worunter die Vorhersagekraft leiden kann. Ein möglicher Ansatz ist, maschinelles Lernen einzusetzen, um Vorhersagen treffsicherer zu machen.
8. Die richtige Wahl der Stichprobengrösse
Ist der Stichprobenumfang zu klein, können Ergebnisse nicht immer aussagekräftig hochgerechnet werden (qualitativer Aspekt). Eine zu grosse Stichprobe erhöht die Wahrscheinlichkeit statistische Unterschiede zu entdecken, die für die Fragestellung nicht relevant sind (quantitativer Aspekt).
9. Zeit ist nicht gleich Zeit
Die Zeit „verfliegt“ und manchmal muss man sie „totschlagen“. Menschliches Verständnis von Zeit folgt keiner fixen Skala. Ein Vorschlag: Subjektive Einschätzung von Zeit quantifizieren.
10. Verhalten oder Verhaltensänderung vorhersagen?
Selbst wenn ein Kriterium verlässlich ein Verhalten vorhersagt, bedeutet das nicht, dass bei einer Änderung des Kriteriums sich auch das Verhalten ändert. Ein Beispiel: Daten können darauf hinweisen, dass der Preis der beste Indikator für den Kauf einer bestimmten Marke ist. Eine Veränderung des Preises muss jedoch nicht dazu führen, dass die Marke seltener gekauft wird.
11. Die Vergangenheit ist nicht der beste Prädikator für Verhalten
Vor allem die Zukunft spielt in unser aller Leben eine wichtige Rolle und beeinflusst demnach auch unser gegenwärtiges Verhalten. Was miteinbezogen werden sollte: zukünftige Präferenzen, Erwartungen und Wünsche, Motivation und Ziele.
12. Statistische und wirtschaftliche Aussagekraft sind nicht das Gleiche
Was statistisch relevant ist, kann für Manager uninteressant sein – und was bei strategischen Entscheidungen eine Rolle spielt, muss nicht statistisch signifikant sein.
13. Korrelationen sehen, die es gar nicht gibt
Neurowissenschaftliche und biometrische Methoden werden häufig falsch interpretiert und verwendet. Anhand einer erhöhten Herzfrequenz kann man beispielsweise auch nicht eindeutig sagen, ob diese Person vergessen hat ihre Blutdruckmedikamente zu nehmen oder zuvor laufen war. Eine mögliche Lösung: objektive und subjektive Methoden miteinander verbinden.
14. Fehlende Visualisierung von Daten
Daten zu visualisieren, hilft nicht nur dabei, Ergebnisse besser darstellen zu können, sondern auch Analysen auszuwerten. Berechnungen und Graphen sollten verwendet und beachtet werden, da beide zum Verständnis beitragen.
15. Smartphone oder Computer? Es macht einen Unterschied!
Studien zeigen, dass der Touchscreen bei Umfragen auf dem Smartphone systematisch Konsumentenentscheidungen beeinflusst. Forscher sollten deswegen unter anderem protokollieren, welches Medium benutzt wird.