- Wie Umfragen unsere Meinung beeinflussen
Politiker, Medien und Leser orientieren sich immer häufiger auch an Online-Umfragen von Civey, YouGov und Co. Doch die Qualität der Online-Methoden ist zweifelhaft. Was nach messbarer, repräsentativer Beteiligung aussieht, schadet unserer Demokratie
Meinungen gibt es unendlich viele. Wir finden sie überall, nicht nur auf Twitter, Facebook, in Foren und Kommentarspalten. Auch Umfragen zu allen möglichen Themen sind omnipräsent, ja geradezu inflationär. Neben klassischen Instituten wie Forsa, Infratest dimap, Forschungsgruppe Wahlen und anderen prägen auch immer mehr Anbieter mit Online-Panels wie YouGov oder die Start-Ups Civey und Dalia Research die Meinungsflut der Medienseiten. Sie alle reklamieren für ihre Umfragen Repräsentativität und meinen damit, die Meinungen ganzer Bevölkerungsgruppen durch die Befragung von Stichproben vermessen zu können. Oft sind das „die Deutschen“, manchmal auch speziellere Gruppen, z.B. „die Jungen“, „die Frauen“, „die Wähler“ oder andere.
Genau hier beginnt das Problem. Denn wer Repräsentativität für seine Messungen behauptet, reklamiert auch, Mehrheiten und Minderheiten bestimmen zu können, bisweilen bis auf die Nachkommastelle. Das ist eine mächtige argumentative Waffe. Kein Wunder, dass solche Daten ständig benutzt werden. Man setzt sie ein, um sich durchzusetzen, Recht zu haben, Aufmerksamkeit zu bekommen, in Talkshows zu glänzen oder Entscheider in Politik und Wirtschaft zu beeinflussen. Und die lassen sich auch beeindrucken. Denn repräsentative Daten erhöhen die Sicherheit, dass man mit Entscheidungen richtig liegt. Nicht zuletzt lassen sich auch viele Bürger davon beeindrucken, was die Mehrheit meint.
Wir müssen der Qualität vertrauen können
Der Einfluss von Umfragen darf nicht unterschätzt werden. Denn Entscheidungen, die auf solchen Daten gründen, betreffen die Bürger ebenso wie die Mitarbeiter von Unternehmen. Schließlich müssen sie die Entscheidungen finanzieren und die Folgen ausbaden. Es ist deshalb wichtig, ob diese Daten halten, was ihre Produzenten versprechen (Repräsentativität). Als Bürger und Datennutzer müssen wir uns auf die Qualität solcher Daten verlassen können wie in anderen Zusammenhängen auch. Wer will schon Labore, Tachos oder Höhenmesser in Flugzeugen, die nicht richtig messen? Das heißt auch, dass wer Repräsentativität behauptet, Verantwortung trägt und beweispflichtig ist, dass er das Qualitätsversprechen halten kann.
Es sollte deshalb hellhörig machen, wenn in der Branche der Markt- und Meinungsforscher genau darum ein heftiger Methodenstreit entbrannt ist. Er zeigt, dass offenbar alle Seiten gravierende Probleme haben, ihren Anspruch auf Repräsentativität zu belegen.
Nur Zufallsstichproben garantieren Repräsentativität
Da ist zum einen die Kritik an Anbietern wie Civey und YouGov, die zwar Repräsentativität reklamieren, aber ihre Befragungen auf Online-Panels stützen, also auf Datenbanken mit den Adressen von Menschen, die sich bereit erklärt haben, bei Umfragen mitzumachen. Sie sind aber ebenso wenig repräsentativ für die Bevölkerung wie die Leser von Tageszeitungen oder Online-Portalen, die die Institute regelmäßig zu bestimmten Themen befragen. In der Regel nehmen Menschen eben nicht freiwillig an Umfragen teil – und wenn doch, dann nur innerhalb ihrer Filterblase.
Der Sozialwissenschaftler Rainer Schnell von der Universität Duisburg-Essen und andere werfen den beiden Umfrage-Instituten folgerichtig vor, ihre Methodik widerspreche wissenschaftlichen Grundprinzipien, und ihre Umfragen funktionierten deshalb auch nicht. Er unterstreicht die Notwendigkeit von Zufallsstichproben und die zentrale Anforderung der Statistik, dass jede Person in der Gruppe, über die eine Aussage gemacht werden soll, die gleiche Chance haben muss, in die Befragungsstichprobe zu gelangen. Diese Anforderung sei durch Online-Panels nicht zu realisieren, Repräsentativität dadurch nicht erreichbar.
Methodenstreit über die Repräsentativität
Diese Kritik weisen die Kritisierten gerne zurück, indem sie diese Anforderungen als realitätsfern beschreiben und damit Institute und Umfragen angreifen, die ohne Online-Panels und mit Zufallsstichproben arbeiten. So etwa Janina Mütze und Gerrit Richter von Civey: „Den Annahmen einer Zufallsstichprobe ist in der Realität kaum gerecht zu werden. Vor dem Hintergrund, dass der Anteil derer, die am Telefon noch Auskunft geben, stetig abnimmt, ist die Entwicklung in Deutschland hervorzuheben. Der Anteil der zumindest partiell beantworteten Interviews für Festnetztelefone betrug dabei 10,7 Prozent, die für Mobiltelefone sogar nur sieben Prozent. Eine Lehrbuch-Repräsentativität kann bei solchen systematischen Non-Response-Quoten durch Befragungen am Telefon nicht mehr erreicht werden.“
Diese Kritik teilen viele. Auch der oben genannte Professor Schnell weist auf die Probleme mit der sinkenden Qualität von Zufallsstichproben hin, und Raimund Wildner, bis September 2018 Geschäftsführer des GfK-Vereins, dem Ankeraktionär der GfK und damit eines der größten Marktforschungsunternehmen der Welt, hält fest, „dass dieser Goldstandard in der Markt- und Sozialforschung praktisch nicht mehr erreichbar ist.“
Keine Transparenz der Messverfahren
Für Laien mag sich das wie das BlaBla von Methoden-Nerds anhören, aber tatsächlich geht es um Fundamentales. Und während die Kritik in alle Richtungen scharf und grundsätzlich ist, behaupten die Institute unverdrossen, dass ihre Messverfahren funktionieren. Das macht die Frage aber nicht weniger dringlich, die sich die Nutzer der Daten stellen, ob Bürger oder Entscheider: Liegen sie richtig? Und wenn nicht: Produzieren sie damit laufend Falschmeldungen und führen in die Irre? Und was unternehmen sie eigentlich, um das zu klären?
Die Implikationen dieser Frage sind schwerwiegend. Denn wenn Repräsentativität einfach behauptet werden kann, ohne sie beweisen zu müssen, kann (und wird) das natürlich jeder tun, der damit Geld verdienen will oder Gründe hat, sie zu instrumentalisieren. Das führt dann zu Daten mit sehr unterschiedlicher, zuweilen miserabler Qualität und zu ebenso unterschiedlichen Ergebnissen. Welche davon stimmen, werden Bürger und viele Entscheider und Datennutzer nicht unterscheiden können. Denn es gibt weder Transparenz der Messverfahren noch der Prüfer, die sie kontrollieren.
Empirie wird zur reinen Glaubenssache
Was stimmt und richtig ist, wird dann von einem Gegenstand der belegbaren Empirie zu einer Glaubenssache. Das wird die Repräsentativität und die Ergebnisse der Umfrageforschung Stück für Stück entwerten. Sie werden nach und nach eingereiht in die vielen anderen angeblichen Fakten, die nicht mehr anerkannt werden. Logisch, dass das die Meinungsforschung schwer beschädigen und den öffentlichen Diskurs in Mitleidenschaft ziehen wird. Denn wir verlieren wieder ein Stück des Bodens, auf dem wir uns über empirische Wirklichkeit im Gegensatz zu bloßer Meinung auseinandersetzen können.
Aber auch die Glaubwürdigkeit der Medien wird leiden, die die Daten benutzen. Denn wenn man die Daten nicht ernst nimmt, nimmt man auch ihre Mittler nicht mehr ernst, die sich hinter das unbelegte Versprechen der Repräsentativität stellen. Manchem könnte sich gar die Frage aufdrängen, ob und wie diese Medien denn bei anderen Daten, Informationen und Meldungen klären, ob sie stimmen, statt sich mit Behauptungen zufrieden zu geben.
Es braucht zertifizierte Messverfahren
Aus dieser Situation gäbe es einen Ausweg. Wer behauptet, repräsentativ messen zu können, muss zertifiziert belegen, dass und wie gut sein Messverfahren misst . Möglich ist das zum Beispiel durch Testreihen sicher verifizierbarer Messgegenstände, die unter transparenten, absolut unabhängig kontrollierten Bedingungen stattfinden. Ideen, wie man das machen könnte, gibt es. Klar, das kostet Mühe, Zeit und Geld. Als Prüfling läuft man Gefahr, dass man durchfällt. Aber ist das nicht eigentlich eine Selbstverständlichkeit? Schließlich würde auch keiner in Zweifel stellen, dass Patentamt und andere Prüfer neue Messverfahren beinhart und unabhängig prüfen und Messwerkzeuge geeicht gehören, bevor sie verwendet werden dürfen.
Helfen würde es vielen. Datennutzer und Entscheider wüssten endlich, wer wie gut misst und wer nicht. Selbst wenn alle durchfielen, gäbe es mehr Klarheit – in Zeiten wie diesen schon ein Wert an sich. Die Institute, die mitmachen und bestehen, hätten eine große Chance auf Profilierung. Die Meinungsforschung insgesamt könnte profitieren, denn sie bekäme bessere Bedingungen für einen sinnvollen Wettbewerb um gute Messverfahren. Denn dieser Wett-bewerb lohnt sich nur, wenn Qualität bewiesen und die Guten von den Schlechten unterschieden werden können.
Fragt sich nur, ob Civey und die anderen etablierten Institute dabei mitmachen und ob – sollten sie das verweigern – die Entscheider, die Auftraggeber und die Datenkonsumenten sich dazu aufraffen, sie dazu zwingen. Schön wär’s.