Zeigt der Fleck auf dem Mammografiebild Brustkrebs? Wird Serbien 2025 Mitglied der EU sein? Wird es in fünf Jahren mehr Überschwemmungen geben? ÄrztInnen, WissenschaftlerInnen und ExpertInnen stellen Diagnosen und machen Vorhersagen mit oftmals weitreichenden Auswirkungen. Welcher Experte am häufigsten richtig lag, lässt sich meist aber erst Jahre später überprüfen.
Ein interdisziplinäres Forschungsteam des Max-Planck-Instituts für Bildungsforschung und des Leibniz-Instituts für Gewässerökologie und Binnenfischerei hat nun eine neue, einfache Methode entwickelt, mit deren Hilfe die besten EntscheiderInnen aus einer ExpertInnengruppe ermittelt werden können – und das, ohne das Wissen zu benötigen, ob deren frühere oder aktuelle Diagnosen oder Prognosen richtig oder falsch sind. “Sobald mindestens die Hälfte aller Entscheidungen innerhalb der Gruppe richtig sind – was bei ExpertInnengruppen typischerweise der Fall ist –, man circa 20 Entscheidungen pro Person vorliegen hat und es sich um Ja-oder-Nein-Entscheidungen handelt, können wir diese Methode sehr erfolgreich anwenden”, sagt Max Wolf, Wissenschaftler am Leibniz-Institut für Gewässerökologie und Binnenfischerei und Koautor der Studie.
Die WissenschaftlerInnen haben diese Methode aus Erkenntnissen zur Kollektiven Intelligenz entwickelt. Sie beruht auf einer einfachen Annahme: Wer innerhalb einer Gruppe von ExpertInnen Entscheidungen trifft, welche die höchste Ähnlichkeit zu den Entscheidungen der Anderen haben, trifft auch die besten Entscheidungen. In mathematischen Modellen lässt sich diese Annahme bei Ja-oder-Nein-Entscheidungen einfach nachweisen. Um zu überprüfen, ob die Methode auch in realen Gruppen funktioniert, haben die Forscher schon publizierte Vorhersagen und Diagnosen verschiedener Gruppen aus verschiedenen Bereichen analysiert.
So untersuchten die WissenschaftlerInnen zum Beispiel Diagnosen von 100 RadiologInnen aus den USA. Den RadiologInnen wurde Anfang der Nullerjahre die Aufgabe gestellt, bei 155 Frauen anhand deren Mammografien zu entscheiden, ob sie Brustkrebs haben oder nicht. Vergleicht man diese RadiologInnen und ihre Entscheidungen, kann man diejenigen ermitteln, deren Entscheidungen insgesamt am ähnlichsten zu den Entscheidungen der anderen waren. Da die WissenschaftlerInnen Zugang zu den späteren Krankheitsverläufen der 155 Patientinnen hatten, konnten sie auch feststellen, welche RadiologInnen die genauesten und somit besten Diagnosen stellten. Es waren dieselben, die die WissenschaftlerInnen mit der statistischen Methode ermittelt hatten.
“Es zeigt sich immer wieder, dass gute ExpertInnen in ihrem Fach auf eine ähnliche Art und Weise gut sind, dagegen sind die schlechten unter ihnen auf ganz unterschiedliche Arten schlecht. Aus dieser Beobachtung heraus haben wir diese Methode entwickelt und in verschiedenen Bereichen erfolgreich überprüft”, sagt Ralf Kurvers, Erstautor und Wissenschaftlicher Mitarbeiter des Forschungsbereichs Adaptive Rationalität am Max-Planck-Institut für Bildungsforschung.
Neben den Diagnosen der RadiologInnen analysierten die WissenschaftlerInnen auch Hautkrebsdiagnosen von 40 italienischen DermatologInnen, geopolitische Vorhersagen von 90 PrognostikerInnen der Onlineplattform “Good Judgment Project” sowie die Ergebnisse eines einfachen Wissenstests, in dem 100 ProbandInnen zwischen zwei amerikanischen Städten die größere wählen sollten.
“Wir glauben, dass der Zusammenhang zwischen Ähnlichkeit in den Entscheidungen und deren Genauigkeit ein wirkungsvolles Werkzeug für die Praxis sein kann. Kollektive und individuelle Entscheidungsprozesse in der medizinischen Diagnose, in Umweltrisikoanalysen oder in der Wirtschaft können mit dieser Methode verbessert werden”, sagt Koautor Stefan Herzog.