„… quod enim mavult homo verum esse, id potias credit“, d.h. etwa “… was jemand wahrhaben möchte, dem schenkt er Vertrauen/das erkennt er an/das glaubt er]“, so schrieb Francis Bacon im Jahr 1620 in seinem „Novum Organum“, genau: im Aphorismus XLIX des ersten Buches im „Novum Organum“, und hat damit etwas benannt, was man heute einen kognitiven Bias oder eine kognitive Verzerrung nennen würde. Dabei handelt es sich um systematische Denkfehler, die zu falschen Schlussfolgerungen oder falschen Einschätzungen von Dingen führen können. Und obwohl kognitive Verzerrungen heute in aller Munde sind, scheint dies nicht dazu zu führen, dass Menschen heutzutage besser darin sind, sie zu vermeiden, als das in vorangegangenen Jahrzehnten und Jahrhunderten der Fall war.
Dabei haben wir heute jede Menge Experten, von denen man mit Bezug auf ihr Wissens-/Interessengebiet erwarten würde, dass sie kognitiven Verzerrungen mit Bezug auf dieses Gebiet besser erkennen und vermeiden können als der Durchschnittsmensch. Und wir haben die Wissenschaft, die einen Vorrat von Methoden entwickelt hat, um Dingen auf den Grund zu gehen, ohne den kognitiven Verzerrungen einzelner Personen, seien es diejenigen von Forschern oder Befragten, zum Opfer zu fallen.
Beispielsweise ist die sogenannte Delphi-Methode eine Methode, bei der eine im mehreren Gesprächsrunden organisierte strukturierte Diskussion einer Reihe von Experten stattfindet, um möglichst gute Vorhersagen mit Bezug auf die in Frage stehenden Entwicklungen oder mit Bezug auf die Wahrscheinlichkeit des Eintretens bestimmter Ereignisse zu erreichen. Heutzutage wird sie auch dazu instrumentalisiert, um möglichst einen Experten-„Konsens“ zu generieren (https://www.rand.org/topics/delphi-method.html), dem wir in der jüngeren Vergangenheit u.a. hinsichtlich der gentherapeutischen Intervention wegen SARS-CoV‑2 und hinsichtlich eines angeblich menschengemachten Klimawandels zum Opfer gefallen sind.
Bevölkerungsbefragungen, bei denen verschiedene Methoden der Stichprobenziehung, der Datenerhebung anhand standardisierter Fragen und der statistische Auswertung der gewonnenen Daten verwendet werden, sollen ebenfalls Aufschluss über zu erwartende Entwicklungen oder über die Einstellungen bezüglich der interessierenden Sache geben können. Sie werden z.B. zur Vorhersage der Ausgänge von Wahlen benutzt oder – wie unlängst hier in Wales mit Bezug auf die Einführung einer Höchstgeschwindigkeit vom 20 km pro Stunde in bewohnten Gebieten – dazu, das Ausmaß der Zustimmung in der Bevölkerung zu einer bestimmten Politik oder Maßnahme festzustellen.
Nur – in der Regel liegen die auf der Basis dieser oder anderer Methoden gewonnen Vorhersagen mehr oder weniger stark daneben. Ein bekanntes Beispiel dafür ist der Ausgang des Brexit-Referendums, also der Abstimmung der Bevölkerung über den Austritt oder den Verbleib des Vereinigten Königreiches aus/in der EU, der für Politiker, Medien und pundits gleichermaßen unerwartet kam – und, wäre er erwartet worden, wahrscheinlich dazu geführt hätte, dass gar keine Abstimmung stattgefunden hätte.
Dass Vorhersagen, die auf Bevölkerungsbefragungen basieren, in der Regel falsch sind, hat viele verschiedene Gründe, aber welche genau das sind bzw. wie genau sich bestimmte Faktoren auf die Qualität der Vorhersage auswirken, ist unklar. So berichten Celli et al. (2016: 112) mit Bezug auf die Vorhersagen des Ausgangs des Brexit-Referendums durch die Meinungsforschungsinstitute:
Man kann also nicht einfach davon ausgehen, dass Vorhersagen, die auf einer höheren Zahl von Befragten basieren, immer bessere Vorhersagen erbringen als Vorhersagen, die auf einer niedrigeren Zahl von Befragten basieren, oder dass Online-Befragungen immer zuverlässige und auch nicht immer bessere Ergebnisse als telefonische Befragungen erbringen. Allenfalls kann man auf der Basis der Befunde zu den Vorhersagen des Ausgangs des Brexit-Referendums festhalten, dass Befragungen, die innerhalb eines mehrtägigen Zeitfensters stattfinden, bessere Ergebnisse erbringen als Befragungen, die an nur einem Tag durchgeführt werden. Aber inwieweit sind diese Befunde verallgemeinerbar auf Bevölkerungsbefragungen zu anderen Themen?
Niemand weiß es.
Alternativen zur Vorhersage mit Hilfe von teuren und mit Bezug auf die Vorhersage wenig erfolgreichen Bevölkerungsbefragungen sind vor allem solche, die auf dem sogenannten „data mining“ basieren, d.h. der Sammlung von großen Datenmengen, um aus ihnen Muster und Trends herauszufiltern. Beim sogenannten „Social Opinion Mining“ (SOM) (s. hierzu Cortis & Davis 2021), handelt es sich um
‘‘… the study of user-generated content by a selective portion of society be it an individual or group, specifically those who express their opinion about a particular entity, individual, issue, event and/or topic via social media interaction’’ (Cortis & Davis 2021: o.S.),
d.h.
„… die Untersuchung von durch einen ausgewählten Teil der Gesellschaft, sei es eine Einzelperson oder eine Gruppe, generierten Inhalten, insbesondere diejenigen, die ihre Meinung über eine bestimmte Einrichtung, eine Einzelperson, ein Problem, ein Ereignis und/oder ein Thema in den sozialen Medien zum Ausdruck bringen“ (Cortis & Davis 2021: o.S.).
Wie effizient das SOM bzw. computergestützte NLP-Techniken, d.h. „Natural Language Processing“-Techniken bzw. Techniken zur Verarbeitung natürlicher Sprache, mit Bezug auf Vorhersagekraft sind, ist allerdings unklar. Es gibt sehr viele Veröffentlichungen, in denen das Potenzial des SOM betont wird und berichtet wird, wie die KI, die im Rahmen von SOM zum Einsatz kommt, optimiert werden kann, aber vergleichsweise wenige Studien dazu, inwieweit man aufgrund des SOM zu korrekten Vorhersagen kommt oder zu besseren als unter Verwendung anderer Verfahren, und die diesbezüglichen Studien kommen zu überwiegend positiven, aber teilweise widersprüchlichen Ergebnissen (s. hierzu Celli et al. 2016; Hou et al. 2022; Jaidka et al. 2018; Skoric et al. 2020). Bislang fragen Medien, politische Parteien und andere entsprechend interessierte Parteien jedenfalls nach wie vor die auf Bevölkerungsbefragungen basierenden Daten der Meinungsforschungsinstitute nach oder lassen „Experten“ unbekannter Qualifikation zu Wort kommen, so dass auch heute noch gilt, was Celli et al. im Jahr 2016 festgehalten haben:
“[t]o date, however, neither polling organizations nor the media have paid much attention to NLP methods for election and referendum forecasting, …” (Celli et al. 2016: 117),
d.h.
„[b]islang haben jedoch weder Meinungsforschungsinstitute noch die Medien NLP-Methoden für die Vorhersage von Wahlen und Volksabstimmungen viel Aufmerksamkeit geschenkt, …“ (Celli et al. 2016: 117).
Ein grundsätzliches Problem, vor dem alle „data mining“-Strategien stehen, ist, dass sie zwar Muster oder Beziehungen aus Daten herausfiltern können, aber keine Aussage darüber erlauben, ob diese Muster in der realen Welt und nicht bloß statistisch als methodisches Artefakt bestehen, welcher Art gefundene Zusammenhänge sind – sind sie z.B. als Kausalzusammenhänge zu werten? – und welche lebenspraktische Bedeutung sie haben, falls sie eine haben. Es ist also immer eine Interpretationsleistung notwendig (Seifert 2006: 201), und für diese gibt es so gut wie keine verbindlichen Standards.
Die Frage danach, warum Vorhersagen durch Experten und Meinungsforschungsinstitute so oft danebenliegen und Algorithmen, die riesige Datenmengen auf Muster hin durchsuchen, bislang auch keinen Königsweg des Orakelns bieten, beschäftigt viele Forscher und viele von ihnen dauerhaft.
Gibt man z.B. heute die Suchbegriffe „Brexit referendum forecasting“ in die Suchmaschine von Google Scholar ein, dann erhält man 10.900 Einträge, wobei unter meinen Favoriten (allein aufgrund ihres Unterhaltungswertes) diejenigen Texte sind, in denen die Autoren noch Jahre nach dem Referendum die Frage beantworten wollen, wie sich die heftigen Regenfälle am Tag des Referendums auf die Wahlbeteiligung ausgewirkt haben und insbesondere, ob sie die Wahlbeteiligung derer, die für einen Verbleib in der EU waren, und derer, die für einen Austritt aus der EU waren, unterschiedlich beeinflusst haben, bzw. ob das Vereinigte Königreich noch in der EU wäre, wenn der Tag des Referendums ein sonniger Tag gewesen wäre (s. z.B. den Text von Patrick A. Leslie und Arı Barış (2018). Immerhin wirft das Interesse hieran ein ganz neues Licht auf das Gerücht, dass es erhebliche Versuche diverserer Regierungen gibt, das Wetter zu beeinflussen ….)
Wenn schon Experten, „Mustererkenner“ und professionelle Prognostiker aller Art mit ihren Vorhersagen häufig danebenliegen, gilt dies dann nicht um so mehr für Nicht-Experten bzw. „normale“ Bürger, denn haben Letzere nicht eine größere Wahrscheinlichkeit, kognitiven Verzerrungen zum Opfer zu fallen oder die Bedeutung von Zusammenhängen nicht zu erkennen oder falsch zu interpretieren?!
Nein:
“The emergent literature on citizen forecasting suggests that the public, in the aggregate, can often accurately predict the outcomes of elections” (Morisi & Leeper 2022: o.S.),
d.h.
„Die bislang vorliegende Literatur über Bürgerprognosen deutet darauf hin, dass die Öffentlichkeit in ihrer Gesamtheit die Ergebnisse von Wahlen oft genau vorhersagen kann“ (Morisi & Leeper 2022: o.S.).
(Diese Literatur umfasst u.a. Dufresne et al. 2022; Lewis-Beck & Stegmaier 2011; Miller et al. 2012; Murr 2016; Murr & Lewis-Beck 2021; Murr & Lewis-Beck 2022; Temporão et al. 2019; eine Ausnahme unter den nahezu durchweg positiven Befunden stellt die Studie von Ganser & Riordan 2015 dar, in der die in der Politikwissenschaft traditionelle Frage nach der Wahlabsicht das Wahlergebnis besser vorhersagte als die Frage nach dem erwarteten Wahlausgang, während Murr, Stegmaier und Lewis-Beck 2021 – auf der Basis anderer Daten – ihrerseits das Gegenteil feststellten.)
Wohlgemerkt: es ist die Gesamtheit der Befragten, die Wahlergebnisse oft genau vorhersagen kann; was das bedeutet, beschreibt Sjöberg (2008) in der Zusammenfassung seiner Studie:
Wie aus dieser Zusammenfassung der Studie von Sjöberg erkennbar ist, können „normale“ Bürger nicht nur Wahlergebnisse ziemlich genau vorhersagen, sondern sie schneiden in ihren Vorhersagen auch besser ab als verschiedene Arten von Experten wie z.B. Politikwissenschaftler oder Journalisten besser als Prognostiker, die sich auf Vorhersagemodelle oder Meinungsumfragen stützen, und zu diesem Ergebnis ist nicht nur Sjöberg (2008) gekommen, sondern u.a. auch Fisher und Shorrocks (2017) und Graefe (2014; 2016).
Es verdient festgehalten zu werden, dass die Qualität von Vorhersagen durch Gruppen von Bürgern auch – oder vielleicht gerade – dann hoch ist/bleibt, wenn diese Gruppen explizit ohne Anspruch auf „Repräsentativität“ ausgewählt wurden wie das z.B. in der Studie von Graefe (2016) der Fall war. In einer anderen Studie haben die Autoren gezeigt, dass
“… even samples with a strong partisan bias can be used to generate useful forecasts” (Rothschild und Wolfers 2012: 41),
d.h.
„… sogar stark parteiische Stichproben können zur Gewinnung brauchbarer Prognosen verwendet werden“ (Rothschild und Wolfers 2012: 41),
wobei die „stark parteiischen Stichproben“ in dieser Studie zwei Stichproben waren, von denen die eine nur Wähler der Republikaner enthielt, die anderen nur Wähler der Demokraten.
Dies alles bedeutet nicht, dass die Vorhersagen von Gruppen „normaler“ Bürger in jedem Fall verlässlich sind , aber es bedeutet, dass sie, die „normalen“ Bürger, es sind, die – nach dem derzeitigen Stand der Erkenntnis – Wahlergebnisse häufig richtig vorhersagen können und häufiger als Meinungsforschungsinstitute, Experten/-Panels, Journalisten oder Politikwissenschaftler.
Aber warum können Gruppen von Bürgern Wahlergebnisse besser vorhersagen als individuelle Bürger?
Murr (2011) erklärt sich dies auf der Basis des sogenannten Geschworenentheorems des französischen Philosophen und Mathematikers Marquis de Condorcet (1785). Condorcet hat untersucht, unter welchen Bedingungen Gruppenentscheidungen, besser, gleich oder schlechter sind als Einzelentscheidungen, und er zeigt, dass sich dann, wenn jedes Mitglied die richtige Alternative mit einer Wahrscheinlichkeit von mehr als 50 Prozent wählt, die Wahrscheinlichkeit einer korrekten Gruppenentscheidung mit zunehmender Gruppengröße der Unendlichkeit nähert, während dann, wenn jedes Mitglied die richtige Alternative mit weniger als 50 Prozent Wahrscheinlichkeit wählt, die Wahrscheinlichkeit einer korrekten Gruppenentscheidung gegen Null geht. Leiter et al. weisen darauf hin, dass dieser Aggregations-Effekt auch bei kleinen Gruppen besteht:
Man spricht in diesem Zusammenhang häufig von der „Weisheit der Menge“ bzw. „wisdom of the crowd“.
Zusätzlich zu dieser rein mathematischen Begründung haben Leiter et al. (2018) festgestellt, dass bestimmte Eigenschaften der sozialen Netzwerke der Befragten Einfluss auf die Akkuratheit von Vorhersagen haben:
Dagegen haben weder das Ausmaß der Expertise im Netzwerk noch seine Heterogenität Erklärungskraft mit Bezug auf die Qualität der Vorhersage des Wahlergebnisses durch einzelne Bürger. (Man beachte, dass das zuletzt genannte Ergebnis mit dem oben berichteten aus der Studie von Rothschild und Wolfers (2012) mit bezug auf stark parteiische Stichproben übereinstimmt, also Stichproben, die mit Bezug auf die Präferenz für eine politische Partei vollständig homogen sind.)
Die Qualität der Vorhersage von Wahlergebnissen durch „normale“ Bürger ist also sowohl eine rein mathematische Funktion als auch eine Funktion der Qualität der Vorhersagefähigkeit individueller Bürger, die ihrerseits – sicherlich: u.a. – von einigen Eigenschaften ihrer Netzwerke abhängt. Während die Vorhersagekraft von Wahlergebnissen durch (viele) „normale“ Bürger also aus mathematischen Gründen hoch ist, ist sie nicht bei allen Gruppen „normaler“ Bürger gleichermaßen hoch (und – wie wir schon anhand anderer oben berichteter Befunde gesehen haben – nicht bei allen Gruppen von Personen gleichermaßen hoch (wie z.B. Journalisten, die als Gruppe weniger gute Prognosen abgeben als „normale“ Bürger als Gruppe).
Im Bereich der Bürgerprognosen ist noch sehr, sehr viel Forschungsarbeit zu leisten. Aber natürlich könnte man die Frage stellen, wozu man überhaupt darüber forschen sollte, wer warum wie gut Prognosen erstellen kann. Eine Antwort wäre gegeben, wenn Personen in politischer Verantwortung und Verwaltungen in Übereinstimmung mit demokratischen Grundsätzen an möglichst zuverlässigen Prognosen dahingehend interessiert wären, ob ihre Beschlüsse oder Maßnahmen geeignet sind, den Willen der Mehrheit der Bürger, die sie repräsentieren bzw. verwalten sollen, umzusetzen. Bedauerlicherweise scheinen wir derzeit in den westlichen Staaten von solchen Verhältnissen sehr weit entfernt zu sein:
“There is a long tradition of research on electoral forecasting … and considerable interest in the topic persists to this day … Accurate nowcasts, or long-term forecasts, of these results are desired by a large set of stakeholders, such as politicians, practitioners and policy makers. Such an achievement would drive strategic choices and influence political strategies, as well as the financing of political parties” (Colladon 2020: 3).
Und:
“The author’s findings are important not only in terms of forecasting, they also give evidence to the influence that online news can have on voting intentions … Indeed, the question whether the online news are better for revealing or influencing electoral results remains open” (Colladon 2020: 37).
„Es gibt eine lange Forschungstradition im Bereich der Wahlprognosen … und das Interesse an diesem Thema ist bis heute ungebrochen … Genaue Nowcasts oder langfristige Vorhersagen dieser Ergebnisse werden von einer Vielzahl von Interessengruppen wie Politikern, Praktikern und Entscheidungsträgern gewünscht. Eine solche Leistung würde strategische Entscheidungen vorantreiben und politische Strategien sowie die Finanzierung von politischen Parteien beeinflussen“ (Colladon 2020: 3).
Und:
„Die Ergebnisse des Autors sind nicht nur im Hinblick auf die Vorhersage wichtig, sondern sie belegen auch den Einfluss, den Online-Nachrichten auf die Wahlabsichten haben können … In der Tat bleibt die Frage offen, ob die Online-Nachrichten besser geeignet sind, Wahlergebnisse aufzudecken oder zu beeinflussen“ (Colladon 2020: 5; Hervorhebung d.d.A.).
Hinter dem Interesse von “stakeholdern” bzw. Interessengruppen, möglichst genau zu wissen, was Bürger von bestimmten Zielen, Politiken oder Personen wie z.B. Politikern, die bei einer Wahl antreten, halten, dient also nicht dem Ziel, den Willen der Bürger möglichst gut umsetzen zu können, wie das in einer Demokratie notwendig ist, sondern dazu, „stategische Entscheigungen“ zu treffen, „politische Strategien“ zu entwerfen und den Willen der Bürger zu beeinflussen – statt ihn mit eigenen Politiken und Maßnahmen möglichst in die Praxis umzusetzen.
Und vielleicht ist dies der oder zumindest ein Grund daür, warum „normale“ Bürger bessere Prognosen abgeben können als z.B. Journalisten oder vermeintliche oder tatsächliche Experten: Letztere sind als solche „stakeholder“ insofern als sie in einer Vielzahl von hierarchischen Abhängigkeitsbeziehungen stehen, die es ihnen entweder direkt zur Aufgabe machen, statt im eigentlichen Sinn zu prognostizieren vermeintliche „Prognosen“ als Mittel zur Beeinflussung des Bürgerwillens zu verbreiten, oder sie an der Aufstellung und Verbreitung echter Prognosen durch sozialen Druck innerhalb einer Echokammer, hindern, während „normale“ Bürger mit ihren Prognosen nicht beeinflussen wollen, sondern tatsächlich vorhersagen möchten, und dabei auch nicht von einem „stark parteiischen“ Netzwerk behindert werden (oder sich von ihm nicht behindern lassen).
Wenn das zutrifft, dann bedeutet das, dass nicht alle Echokammern gleich beschaffen sind; dann ist nicht das Vorhandensein von Echokammern für die Akkuratheit von Prognosen relevant, sondern die Frage, ob eine Echokammer eine mehr oder weniger private ist oder eine, die in hierarchische Abhängigkeitsstrukturen eingelassen ist, womit die „Prognose“ zur verpflichtenden Solidaritätsbekundung wird (sofern sie nicht direkt zum Beeinflussungsinstrument mutiert).
Der „Weisheit der Menge“ stehen dann die Interessen der Stakeholder und der Gehorsam der Abhängigkeitsstrukturen Befangenen gegenüber.
Dieser Beitrag erschien zuerst bei sciencefiles.org
Du muss angemeldet sein, um einen Kommentar zu veröffentlichen.