Umfragen Meinung
Längst nicht mehr die Regel: Meinungsumfragen am Telefon / picture alliance

Civey, YouGov und Co - Wie Umfragen unsere Meinung beeinflussen

Politiker, Medien und Leser orientieren sich immer häufiger auch an Online-Umfragen von Civey, YouGov und Co. Doch die Qualität der Online-Methoden ist zweifelhaft. Was nach messbarer, repräsentativer Beteiligung aussieht, schadet unserer Demokratie

Thomas Perry

Autoreninfo

Thomas Perry ist selbstständig. Er berät Unternehmen und Institutionen und forscht in ihrem Auftrag zu Themen rund um Märkte, Gesellschaft, Kommunikation und Strategie.

So erreichen Sie Thomas Perry:

Meinungen gibt es unendlich viele. Wir finden sie überall, nicht nur auf Twitter, Facebook, in Foren und Kommentarspalten. Auch Umfragen zu allen möglichen Themen sind omnipräsent, ja geradezu inflationär. Neben klassischen Instituten wie Forsa, Infratest dimap, Forschungsgruppe Wahlen und anderen prägen auch immer mehr Anbieter mit Online-Panels wie YouGov oder die Start-Ups Civey und Dalia Research die Meinungsflut der Medienseiten. Sie alle reklamieren für ihre Umfragen Repräsentativität und meinen damit, die Meinungen ganzer Bevölkerungsgruppen durch die Befragung von Stichproben vermessen zu können. Oft sind das „die Deutschen“, manchmal auch speziellere Gruppen, z.B. „die Jungen“, „die Frauen“, „die Wähler“ oder andere.

Genau hier beginnt das Problem. Denn wer Repräsentativität für seine Messungen behauptet, reklamiert auch, Mehrheiten und Minderheiten bestimmen zu können, bisweilen bis auf die Nachkommastelle. Das ist eine mächtige argumentative Waffe. Kein Wunder, dass solche Daten ständig benutzt werden. Man setzt sie ein, um sich durchzusetzen, Recht zu haben, Aufmerksamkeit zu bekommen, in Talkshows zu glänzen oder Entscheider in Politik und Wirtschaft zu beeinflussen. Und die lassen sich auch beeindrucken. Denn repräsentative Daten erhöhen die Sicherheit, dass man mit Entscheidungen richtig liegt. Nicht zuletzt lassen sich auch viele Bürger davon beeindrucken, was die Mehrheit meint.

Wir müssen der Qualität vertrauen können

Der Einfluss von Umfragen darf nicht unterschätzt werden. Denn Entscheidungen, die auf solchen Daten gründen, betreffen die Bürger ebenso wie die Mitarbeiter von Unternehmen. Schließlich müssen sie die Entscheidungen finanzieren und die Folgen ausbaden. Es ist deshalb wichtig, ob diese Daten halten, was ihre Produzenten versprechen (Repräsentativität). Als Bürger und Datennutzer müssen wir uns auf die Qualität solcher Daten verlassen können wie in anderen Zusammenhängen auch. Wer will schon Labore, Tachos oder Höhenmesser in Flugzeugen, die nicht richtig messen? Das heißt auch, dass wer Repräsentativität behauptet, Verantwortung trägt und beweispflichtig ist, dass er das Qualitätsversprechen halten kann.

Es sollte deshalb hellhörig machen, wenn in der Branche der Markt- und Meinungsforscher genau darum ein heftiger Methodenstreit entbrannt ist. Er zeigt, dass offenbar alle Seiten gravierende Probleme haben, ihren Anspruch auf Repräsentativität zu belegen.

Nur Zufallsstichproben garantieren Repräsentativität 

Da ist zum einen die Kritik an Anbietern wie Civey und YouGov, die zwar Repräsentativität reklamieren, aber ihre Befragungen auf Online-Panels stützen, also auf Datenbanken mit den Adressen von Menschen, die sich bereit erklärt haben, bei Umfragen mitzumachen. Sie sind aber ebenso wenig repräsentativ für die Bevölkerung wie die Leser von Tageszeitungen oder Online-Portalen, die die Institute regelmäßig zu bestimmten Themen befragen. In der Regel nehmen Menschen eben nicht freiwillig an Umfragen teil – und wenn doch, dann nur innerhalb ihrer Filterblase. 

Der Sozialwissenschaftler Rainer Schnell von der Universität Duisburg-Essen und andere werfen den beiden Umfrage-Instituten folgerichtig vor, ihre Methodik widerspreche wissenschaftlichen Grundprinzipien, und ihre Umfragen funktionierten deshalb auch nicht. Er unterstreicht die Notwendigkeit von Zufallsstichproben und die zentrale Anforderung der Statistik, dass jede Person in der Gruppe, über die eine Aussage gemacht werden soll, die gleiche Chance haben muss, in die Befragungsstichprobe zu gelangen. Diese Anforderung sei durch Online-Panels nicht zu realisieren, Repräsentativität dadurch nicht erreichbar.

Methodenstreit über die Repräsentativität

Diese Kritik weisen die Kritisierten gerne zurück, indem sie diese Anforderungen als realitätsfern beschreiben und damit Institute und Umfragen angreifen, die ohne Online-Panels und mit Zufallsstichproben arbeiten. So etwa Janina Mütze und Gerrit Richter von Civey: „Den Annahmen einer Zufallsstichprobe ist in der Realität kaum gerecht zu werden. Vor dem Hintergrund, dass der Anteil derer, die am Telefon noch Auskunft geben, stetig abnimmt, ist die Entwicklung in Deutschland hervorzuheben. Der Anteil der zumindest partiell beantworteten Interviews für Festnetztelefone betrug dabei 10,7 Prozent, die für Mobiltelefone sogar nur sieben Prozent. Eine Lehrbuch-Repräsentativität kann bei solchen systematischen Non-Response-Quoten durch Befragungen am Telefon nicht mehr erreicht werden.“

Diese Kritik teilen viele. Auch der oben genannte Professor Schnell weist auf die Probleme mit der sinkenden Qualität von Zufallsstichproben hin, und Raimund Wildner, bis September 2018 Geschäftsführer des GfK-Vereins, dem Ankeraktionär der GfK und damit eines der größten Marktforschungsunternehmen der Welt, hält fest, „dass dieser Goldstandard in der Markt- und Sozialforschung praktisch nicht mehr erreichbar ist.“

Keine Transparenz der Messverfahren

Für Laien mag sich das wie das BlaBla von Methoden-Nerds anhören, aber tatsächlich geht es um Fundamentales. Und während die Kritik in alle Richtungen scharf und grundsätzlich ist, behaupten die Institute unverdrossen, dass ihre Messverfahren funktionieren. Das macht die Frage aber nicht weniger dringlich, die sich die Nutzer der Daten stellen, ob Bürger oder Entscheider: Liegen sie richtig? Und wenn nicht: Produzieren sie damit laufend Falschmeldungen und führen in die Irre? Und was unternehmen sie eigentlich, um das zu klären?

Die Implikationen dieser Frage sind schwerwiegend. Denn wenn Repräsentativität einfach behauptet werden kann, ohne sie beweisen zu müssen, kann (und wird) das natürlich jeder tun, der damit Geld verdienen will oder Gründe hat, sie zu instrumentalisieren. Das führt dann zu Daten mit sehr unterschiedlicher, zuweilen miserabler Qualität und zu ebenso unterschiedlichen Ergebnissen. Welche davon stimmen, werden Bürger und viele Entscheider und Datennutzer nicht unterscheiden können. Denn es gibt weder Transparenz der Messverfahren noch der Prüfer, die sie kontrollieren.

Empirie wird zur reinen Glaubenssache

Was stimmt und richtig ist, wird dann von einem Gegenstand der belegbaren Empirie zu einer Glaubenssache. Das wird die Repräsentativität und die Ergebnisse der Umfrageforschung Stück für Stück entwerten. Sie werden nach und nach eingereiht in die vielen anderen angeblichen Fakten, die nicht mehr anerkannt werden. Logisch, dass das die Meinungsforschung schwer beschädigen und den öffentlichen Diskurs in Mitleidenschaft ziehen wird. Denn wir verlieren wieder ein Stück des Bodens, auf dem wir uns über empirische Wirklichkeit im Gegensatz zu bloßer Meinung auseinandersetzen können.

Aber auch die Glaubwürdigkeit der Medien wird leiden, die die Daten benutzen. Denn wenn man die Daten nicht ernst nimmt, nimmt man auch ihre Mittler nicht mehr ernst, die sich hinter das unbelegte Versprechen der Repräsentativität stellen. Manchem könnte sich gar die Frage aufdrängen, ob und wie diese Medien denn bei anderen Daten, Informationen und Meldungen klären, ob sie stimmen, statt sich mit Behauptungen zufrieden zu geben.

Es braucht zertifizierte Messverfahren

Aus dieser Situation gäbe es einen Ausweg. Wer behauptet, repräsentativ messen zu können, muss zertifiziert belegen, dass und wie gut sein Messverfahren misst . Möglich ist das zum Beispiel durch Testreihen sicher verifizierbarer Messgegenstände, die unter transparenten, absolut unabhängig kontrollierten Bedingungen stattfinden. Ideen, wie man das machen könnte, gibt es. Klar, das kostet Mühe, Zeit und Geld. Als Prüfling läuft man Gefahr, dass man durchfällt. Aber ist das nicht eigentlich eine Selbstverständlichkeit? Schließlich würde auch keiner in Zweifel stellen, dass Patentamt und andere Prüfer neue Messverfahren beinhart und unabhängig prüfen und Messwerkzeuge geeicht gehören, bevor sie verwendet werden dürfen.

Helfen würde es vielen. Datennutzer und Entscheider wüssten endlich, wer wie gut misst und wer nicht. Selbst wenn alle durchfielen, gäbe es mehr Klarheit – in Zeiten wie diesen schon ein Wert an sich. Die Institute, die mitmachen und bestehen, hätten eine große Chance auf Profilierung. Die Meinungsforschung insgesamt könnte profitieren, denn sie bekäme bessere Bedingungen für einen sinnvollen Wettbewerb um gute Messverfahren. Denn dieser Wett-bewerb lohnt sich nur, wenn Qualität bewiesen und die Guten von den Schlechten unterschieden werden können.

Fragt sich nur, ob Civey und die anderen etablierten Institute dabei mitmachen und ob – sollten sie das verweigern – die Entscheider, die Auftraggeber und die Datenkonsumenten sich dazu aufraffen, sie dazu zwingen. Schön wär’s.

Bei älteren Beiträgen wie diesem wird die Kommentarfunktion automatisch geschlossen. Wir bedanken uns für Ihr Verständnis.

Heidemarie Heim | Di., 30. April 2019 - 18:37

Fragt sich, "weshalb sollten sie?". Das hieße doch ein allseits bewährtes Modell nicht nur infrage zu stellen, sondern zu zerstören, was für alle Seiten ein lukratives Geschäft darstellt. Fragen nach wirklicher Unabhängigkeit zu Auftraggebern, Neutralität zum befragten Umstand oder das Vorhandensein wirklichkeitsnaher Repräsentanz und sonstige Attribute zur Herstellung von Transparenz stören da nur. Gekauft wie besehen!
Oder "Bei der Konkurrenz werden Sie auch nicht besser bedient!" Unser Kundenkreis ist exklusiv!
Sie können dazu gehören!"
Wer möchte das nicht? MfG

dass bei einem Institut die AfD immer besser in den Umfragen abschneidet, als in den Wahlen? Wie schreiben Sie? Gekauft wie gesehen?

Günter Johannsen | Do., 2. Mai 2019 - 14:08

Antwort auf von Gerhard Lenz

Dazu passt dann, dass bei einem Institut die Grün-LINKE immer besser in den Umfragen abschneidet, als in den Wahlen? Wie schreiben Sie? Gekauft wie gesehen?

gerhard hellriegel | Di., 30. April 2019 - 18:37

Dass sowohl online- als auch telefonumfragen höchst fragwürdig sind, ist plausibel.
Jedenfalls ist das misstrauen, das sich in der sinkenden teilnahmebereitschaft zeigt, sehr berechtigt. Leider ist mir nicht klar geworden, wie diese "Testreihen sicher verifizierbarer Messgegenstände" aussehen und wieso sie dann übertragbar sein sollen.
Es gibt aber noch eine weitere möglichkeit: die erfolgskontrolle. Die gibt es zwar nur bei wahlprognosen. Es ist mir aber nicht ersichtlich, dass ein verfahren, das hier funktioniert, bei anderen fragestellungen nicht auch funktionieren sollte.

Robert Müller | Di., 30. April 2019 - 22:58

Antwort auf von gerhard hellriegel

In dem Artikel geht es um einen Meinungsstreit zwischen den Vertreter der alten Schule und denen der neuen Schule, wobei es natürlich letztlich um Geld geht. Der Streit geht schon eine ganze Weile.

Meine persönliche Meinung ist nicht das das Messverfahren zweifelhaft ist, sondern das Politiker wissen sollten was eine Umfrage kann und was nicht. Da das Politikerschelte wäre und man an den Geldgebern keine Kritik übt, unterbleibt das natürlich. Nachdem was man so hört, ist Merkel so eine Person, die alle ihre Entscheidungen auf Umfragen basiert. Deshalb braucht sie auch immer so lange bis sie sich positioniert. Und wenn wie 2015 sich die Meinung der Bevölkerung dreht, dann hat sie ein Problem (wenn sie nicht wie ein "Wendehals" dastehen will). Schätze, "Drehhofer" zeigt das in Reinform.

gerhard hellriegel | Mi., 1. Mai 2019 - 16:57

Antwort auf von Robert Müller

Hallo Herr Müller, bin nicht ganz einig. Der sinn einer stichprobe besteht nun mal darin, dass sie annähernd die gleichen ergebnisse liefern soll wie die grundgesamtheit. Wozu denn sonst überhaupt eine umfrage? Warum denn sonst eine bearbeitung der umfragedaten? Wozu sonst die angabe einer unsicherheit? Doch wohl, um der gesamtheit so nah wie möglich zu kommen. Aber ansonsten sind wir uns einig, kein thema.

Dorothee Sehrt-Irrek | Fr., 3. Mai 2019 - 10:53

Antwort auf von Robert Müller

die in der Bevölkerung evtl. akzeptiert wird?
Daher dann vlt. die weitere Mutmassung, es gehe ihr nur um die Macht, nicht die jeweilige Entscheidung?
Das traf 2015 aber nicht zu?
Ich denke schon, dass es nur um Macht geht, aber auch die passende Entscheidung.
Solange dürfen sich "Mitstreiter/Umfragen" abstrampeln, bis die richtige Entscheidung en passent durchgesetzt werden kann?
Ich glaube nicht daran, dass die Agenda Merkels jemals auf der Tagesordnung der Debatten steht.
Ich vermute strategische Ziele, von Europa aus den Nahen Osten und Afrika zu kontrollieren und darüber in Russland einen genehmen Regime Change zu bewerkstelligen.
Keine Frage, DASS eine Demokratisierung und Öffnung Russlands/Chinas auch der Welt guttäte, da sie aber über Europa eher als von einer Flanke aus gesehen/abgesichert möglich ist, nicht durch militärische Stärke, vermute ich den militärischen Willen in den USA.
Trump hat es nur nicht mitbekommen?
Europa wird die Last tragen, bezahlen müssen?

Jürgen Keil | Di., 30. April 2019 - 19:16

An Umfragen beteilige ich mich nicht und Prognosen lese ich nicht mehr. Ich treffe meine politische Wahlentscheidung nach sachlicher Prüfung und bewußt! Wahlen sind keine perfekten, keine 100% wirklich objektiven Stimmungsbarometer, aber immer noch die zuverlässigsten.

Bernd Muhlack | Di., 30. April 2019 - 19:24

Herr Perry, ich habe mir Ihre Homepage angeguckt, sehr interessant.
Mir ist zwar nicht klar, warum, wieso es so viele Beratungsunternehmen gibt, es ist eben so.

Ich beteilige mich grds. nicht an Umfragen, egal wo und wie. Das bringt mir keinerlei Nutzen, kostet im Gegenteil nur Zeit.

Ich wohne in einem kleinen Kaff in Nordbaden und bei der morgendlichen Fahrt zur Arbeit (etwa 08:00) komme ich an einem kleinen Laden vorbei, nennen WIR ihn "Moni´s Shop". Etwa 20 qm, Backwaren, "Bild"Zeitungen, Frau im Spiegel etc - und die POST!
Das ist ein Ritual wie beim Zapfenstreich: vorbeifahrend "Lichthupe", Winken und die Erwiderung der bereits draußen auffem Bänkchen Sitzenden.
Herr Perry, von denen kennt niemand CIVEY & Gedöns! Gleichwohl sind das keine "Abgehängten", ganz im Gegenteil! (Rentner AA++)
Okay, man könnte dies als "örtliches Biotop" bezeichnen, jedoch gibt es das allüberall.

Daten, Informationen - immer mehr!
Wem nutzt das, wer verdient daran?

- 1984!!! -

Dorothee Sehrt-Irrek | Di., 30. April 2019 - 19:34

gemessen, z.B bei Civey?
Ich finde, dass man anhand von Fragegruppen und den Folgefragen vielleicht doch etwas über sagen wir einen SPD-Wähler herausfinden kann.
Das ergibt dann Parameter, die man auch bei anderen Umfragen an/hinzulegen kann?
Ich habe eine Zeitlang Civey-Fragen beantwortet, mehr aber verfolgt.
Sie sind schon sehr strukturiert.
Deshalb macht es dann auch Spass, einem Deutungsmuster nicht zu folgen.
Manchmal hatte ich den Eindruck, dass Deutungsmuster auch nahegelegt wurden.
Wie auch immer man antwortet, man bekommt das Gefühl, dass die Fragen zusammengehören, erlernt also Muster, vor allem, wenn man auch nicht krass antworten möchte?
Da könnte "massive Beeinflussung" im Sinne von Kunden wichtiger sein als richtige Resultate?

Gisela Fimiani | Di., 30. April 2019 - 22:17

Eine „Selbstverständlichkeit“ ist Verifizierbarkeit derzeit mitnichten. Der Leser fragt sich inzwischen, ob es noch um Empirie, oder vor allem um Meinungsmache geht. Die Zertifizierbarkeit sollte unbedingt auch für sämtliche Studien eingefordert werden. Hier sind alle Stiftungen und Institute einzubeziehen. Es muß unbedingt eine Methodendiskussion stattfinden, damit seriöse Wissenschaft nicht verdrängt wird durch das Erschaffen vermeintlichen Wissens. Es ist höchste Zeit die Spreu vom Weizen zu trennen.

Ernst-Günther Konrad | Mi., 1. Mai 2019 - 06:53

Wer gibt solche Umfragen in Auftrag und verbindet damit natürlich ein für ihn positives Ergebnis?
Fast wöchentlich fliegen uns Umfragewerte um die Ohren. Interessant ist dann auch die Wankelmütigkeit der befragten Teilnehmer. Bis zu 3 % wechseln demnach ständig ihre Positionen und Aussagen. Gut, wenn sie sich da an den Politikern orientieren, nachvollziehbar. Nur ist das so?
Ehrlichkeit fängt damit an, dass man den Auftraggeber benennt. Das man sein Verfahren detailliert beschreibt. Das man sich externen, neutralen und wissenschaftlichen "Gegenproben" stellt. Einmal sollte ich am Telefon befragt werden. Lange her, damals noch über Festnetz. Ich lehnte ab und bis heute wurde ich nicht wieder gefragt. Würde ich alles wahrheitsgemäß beantworten, würde ich gefragt? Nein, würde ich nicht. Manches weis ich nicht, manches überlege ich noch, manches will ich unbedingt. Was ich nicht will, manipuliert werden. Das erfordert aber selber denken, selber entscheiden und sich informieren.
Uffpasse

Günter Johannsen | Mi., 1. Mai 2019 - 19:07

Antwort auf von Ernst-Günther Konrad

I Have a Dream: Ein Deutschland, in dem ich gerne lebe!
Ein Land, in dem gute und treffende Kommentare nicht wieder gelöscht werden! In dem Land werden Umfragen nicht zur Beeinflussung der Wähler benutzt! DAS wäre ein Land, indem ich gerne leben: ohne Dominanz und Gesinnungsterror der Linken Einheitsfront für alle Lebensbereiche mit einer ehrliche-freiheitlichen Demokratie einschließlich echter Meinungsfreiheit. In diesem Land gibt es keine Medien, die nur das berichten, was die regierende - selbsternannte - Moral-Elite will! Ich möchte in einem Land leben, wo Frauen wirklich gleichberechtigt sind und uns nicht tagtäglich vorgeführt wird, dass Frauen mit Vollvermummung oder Kopftuch die moralisch höheren Menschen sind, weil sie sich freiwillig (?) von ihren Männern züchtigen lassen!
I Have a Dream: Ein Deutschland, in dem ich gerne lebe!

Wir sind in einem Land, in dem alle gut und gern leben. Wir sind weltoffen, retten gerade das Dasein der Erdballes, haben alle gute und billige Wohnungen und Wohneigentum, unsere Rentner konkurrieren damit, wer als erster durch seine Altersversorgung es in die Listen der "Reichsten" schafft. Unsere Wirtschaft ist gesund und munter, wir haben Politiker die alles für uns vordenken, wir brauchen/ sollen /dürfen es nicht selbst tun. Wir atmen täglich bessere Luft. Wir haben eine Kanzlerin, die alle lieben und verehren, die aber keiner in ihrem eigenen Land haben will. Jetzt reißen Sie sich mal zusammen und reden nicht alles schlecht. Seien Sie Demokrat und wählen gefälligst anständig. Komisch, warum habe ich eine Vorstellung davon was Sie wählen. Komm jetzt nicht drauf, weil ja alles alternativlos ist. Wirklich?

Lieber Herr Konrad,
ich wähle immer anständig. Ich lenze nicht! Ich wähle die einzige Alternative … da haben Sie die rechte Vorstellung! ;-)

helmut armbruster | Mi., 1. Mai 2019 - 09:51

mit dem er denken könnte, wenn er es nur wollte.
Der erste Schritt hierzu ist, nicht alles glauben, was einem vorgesetzt wird.

wird nicht selig! Auch was heute schwarz auf weiß geschrieben steht, muss nicht immer die Wirklichkeit wiedergeben ... Man muss schon als denkender Mensch sein eigenes Hirn in Anspruch nehmen! Wenn Umfragen "gelenkt" sind, wird man es schnell feststellen können: denn es ist dann oft das Ergebnis der Grün-Linken Wunschvorstellung, die sich im Ergebnis widerspiegelt. Im Übrigen glaube ich nicht, dass man mit Umfragen etwas beeinflussen kann, auch wenn es gewollt ist. Da ist wohl Wunsch Vater des Gedanken. Ich jedenfalls glaube immer noch das, was ich sehe, höre und fühle. Was ich in unserem Land sehe, ist eine stetige Linksentwicklung, die mir gar nicht gefällt. Was ich vor 1989 in der untergegangenen DDR erleben musste unter dem SED/LINKE-Regime und seinem "Schild und Schwert", der Stasi (MfS), wünsche ich nicht mal meinem ärgsten Feind! Leider haben sich die Altparteien auf den schlüpfrigen Pfad des Kommunismus führen lassen. Wie kommt da nun wieder ´raus ohne Beschädigt zu sein?!

Man muss nicht Ergebnisse fälschen und tut es auch nicht! Wenn ich zum Beispiel zum Thema "Wie tolerant und beliebt ist der Islam" eine Umfrage in Berlin-Neukölln oder Bln.-Kreuzberg mache, kann man sich das Ergebnis schon vorher ausrechnen, oder?!

Willy Ehrlich | Do., 2. Mai 2019 - 17:15

Ich nehme gern an Umfragen teil, auch wenn es Zeit kostet. Ich gehöre nicht nur zu den 6000 Unternehmern, die monatlich die IFO-Statistiken füttern, sondern ich beteilige mich - rein zufällig - sowohl bei YouGov als auch bei Civey.

Ich bin relativ ausführlich zu meiner Person befragt worden - zu allen Sachverhalten, die die Zugehörigkeit zu irgendeiner Grundgesamtheit definieren können.

Bei YouGov geht es um Wirtschafts-, bei Civey um Politikthemen.

Bei Civey erhalten Sie übrigens nach jeder Antwort Informationen darüber, wie ALLE zu diesem Thema Befragten abgestimmt haben, und zwar sowohl repräsentativ als auch in Form der Rohdaten. Ich finde diese Auswertungen ausgesprochen informativ. Außerdem werden bestimmte Fragen kontinuierlich wiederholt (Sonntagsfrage), andere werden zu aktuellen oder hochaktuellen Sachverhalten gestellt und damit Meinungen hierzu erhoben.

Natürlich werte ich die statistischen Ergebnisse für mich persönlich mit reichlich Informationsgewinn aus.