Online-Werbung boomt: Die Ausgaben dafür haben 2017 das Volumen im TV-Bereich erstmals überschritten. Von diesen Werbegeldern hängt der Grossteil aller digitalen Inhalte und Services ab. Und die Werbetreiber verlangen, wie im Falle analoger Werbeflächen, eine adäquate Messung der Werbewirksamkeit, seien es Link Ad Exposures, Page Visits, Online- oder sogar Offline-Verkäufe.
Die Messung von Kausaleffekten in der Online-Werbung ist allerdings gar nicht so einfach:
First, individual-level outcomes are volatile relative to ad spending per customer, such that advertising explains only a small amount of the variation in outcomes (Lewis and Reiley 2014, Lewis and Rao 2015). Second, even small amounts of advertising endogeneity (e.g., likely buyers are more likely to be exposed to the ad) can severely bias causal estimates of its effectiveness (Lewis, Rao, and Reiley 2011).
15 umfangreiche Werbe-RCTs
Eine Studie untersuchte nun, ob wegen der Datenschwankungen in der Online-Werbewirtschaft Beobachtungsmethoden vorzuziehen sind, welche randomisierte Experimente zuverlässig ersetzen. Dafür wurde eine Sammlung von 15 gross angelegten Werbe-RCTs (randomisierte kontrollierte Studien) auf Facebook analysiert. Mit den Ergebnissen versuchte man verschiedene Arten von Beobachtungsmethoden zur Messung der Werbewirksamkeit zu rekonstruieren, und verglich diese dann jeweils mit den Ergebnissen der RCT.
Es zeigte sich ein signifikanter Unterschied zwischen den Beobachtungsansätzen und den RCTs. Erstere überschätzen den RCT-Effekt meist, und hin und wieder wurde dieser wiederum stark unterbewertet: Bei der Hälfte aller Studien war der geschätzte prozentuale Anstieg der Einkaufsergebnisse im Falle aller Methoden um den Faktor Drei gesunken.
Die Untersuchung, ob – wie in der Branche angenommen – ausgefeilte Beobachtungsmethoden auf Basis von gesammelten Individualdaten gut genug für die Wirkungsmessung sind, oder ob diese Methoden eher zu unzuverlässigen Schätzungen von Kausal-Effekten führen, zeigt also: Die untersuchten Methoden führen in der Mehrzahl der Fälle zu verzerrten Einschätzungen kausaler Werbe-Effekte. Im Gegensatz zu bestehenden Beispielen in der wissenschaftlichen Literatur wurden Belege für Unter- und Überschätzung der Werbewirksamkeit gefunden.
Fazit: Beobachtungsmethoden liefern oft nicht die gleichen Effekte wie randomisierte Experimente.