- Prozente, die nichts bedeuten
Dauernd werden Umfragen erhoben und Daten gesammelt. Dass diese Erhebungen oftmals aber nichtssagend oder sogar falsch sind, ist vielen nicht bewusst. Das Gefährliche: Politiker fallen auf den Datenmüll genauso herein wie Laien
Daten sind allgegenwärtig. Egal ob in Politik, Wirtschaft, Talkshows, Diskussionen im Freundeskreis oder zur eigenen Meinungsbildung: Daten dienen als Begründung, Beweis, Entscheidungsgrundlage, Rechtfertigung und Legitimationsnachweis und entfalten so eine enorme Reichweite und Macht. Leider wird damit aber auch jede Menge Unsinn getrieben und Schaden angerichtet.
Zunächst: Die Macht der Daten hat Gründe. Daten wirken objektiv, mathematisch, unbestechlich. Sie gelten als das Gegenteil von bloßer Meinung, nämlich als Repräsentanten der Wirklichkeit, die durch Messungen entstehen, statt durch bloße Sinneseindrücke. Sie sind deshalb das Futter für Evidenzbasierung, einem der zentralen Paradigmen unserer durch Wissenschaft und den Versuch der Rationalität geprägten Gesellschaft. Es geht nicht einfach nur um das Recht des Stärkeren, sondern um richtig oder falsch. Dieses Paradigma ist nicht Willkür, sondern hat sich seine Berechtigung erarbeitet, weil die Orientierung an Wirklichkeit und Evidenz sehr häufig zu besseren Resultaten führte.
Keine Daten, keine Evidenz
Ohne Daten aber wäre es aus mit der Evidenzbasierung. Allerding wäre es auch aus mit den Daten, wenn sie nichts taugten. Denn der Zusammenhang zwischen Evidenz und Daten beruht auf einer grundlegenden Voraussetzung: Die Daten müssen stimmen. Ob sie stimmen, hängt davon ab, ob sie für das stehen können, was sie repräsentieren sollen, ob sie also das messen, was sie messen sollen. Forscher nennen das Validität. Das Messen muss also funktionieren, sonst bekommen wir falsche Informationen.
Gut funktioniert das meist, wenn es um Dinge geht, die kein Bewusstsein haben (wie zum Beispiel Wasser, Strom, Bytes, Blutwerte). Wenn die Waage im Supermarkt ein Kilo anzeigt, dann ist es meist auch ein Kilo. Schwieriger wird die Sache, wenn es um Daten geht, die sozial determiniert sind, die Informationen über menschliches Handeln und Denken liefern sollen. Der Grund ist einfach: Man kann den Leuten nicht so direkt in die Gedanken sehen, wie die Wurst auf die Waage legen. Man muss also indirekt messen und Wege finden, wie man trotzdem erfasst, was Menschen fühlen, denken und meinen.
Ok, werden Sie vielleicht sagen, das ist doch eine Banalität. Stimmt, nur scheint sie vielen Produzenten, Konsumenten und Verwendern von Daten nicht mehr präsent zu sein. Jedenfalls finden sich ständig Beispiele, auch von renommierten Forschern, die sorgfältiges und valides Messen behaupten, es dann aber vermissen lassen. Anders ausgedrückt: Sie produzieren Datenschrott. Leider werden die Daten trotzdem verwendet: Zitiert in Fachartikeln, veröffentlicht in Medien, verwendet als Grundlage für Entscheidungen.
Prozente, die nichts bedeuten
Ich will das an zwei Beispielen verdeutlichen. Nehmen wir etwa den Wochenbericht Nr. 8.2016 des Deutschen Instituts für Wirtschaftsforschung. Dort heißt es unter anderem, dass ein Zehntel der Bevölkerung angaben, sich im Jahr 2015 durch „Arbeit vor Ort mit Flüchtlingen (zum Beispiel Behördengänge oder Sprachförderung)“ engagiert zu haben. Als ich das las, war ich zunächst schwer beeindruckt, denn hochgerechnet wären das rund sechs Millionen Personen gewesen – ein enormes Helferpotenzial, auf das Kommunen, karitative Organisationen und politische Planer hätten bauen können, um es klug zu kanalisieren und zu nutzen. Dann aber kamen mir Zweifel, ob die Daten mich zu Recht beeindrucken oder ob ich nur etwas in sie hineinprojiziere, nämlich meine Vorstellung davon, was die Frage meint und woran die Befragten beim Antworten dachten.
So ist dort von „Arbeit vor Ort“ die Rede, aber es bleibt offen, was das genau ist. Es gibt zwar zwei Beispiele in Klammern, aber da sie nur Beispiele sind, muss es ja auch noch anderes geben, was durch die Frage erfasst wird. Aber was ist das genau? An was haben die Befragten also womöglich noch gedacht, als sie „Ja“ angaben? Ging es um Kleiderspenden, eine Auskunft am Fahrscheinautomaten, regelmäßig „Guten Tag“ sagen? Was genau ist „Arbeit vor Ort“? Der Beitrag im Wochenbericht gab darüber keinen Aufschluss. Meine Nachfrage beim DIW erbrachte auch keine Klarheit, denn der zuständige Forscher konnte nicht sagen, was die Befragten gemeint haben, als sie angaben, sich engagiert zu haben.
Genau das ist aber ein Problem. Denn das DIW vermisst etwas, dessen Gestalt es nicht kennt. Es meint sagen zu können, dass zehn Prozent dazu gehören, aber es kann nicht sagen, was das genau ist. Im Klartext: Beim DIW wissen sie nicht so recht, was sie messen. Da fragt man sich, wie denn die Leser dann wissen sollen, was es bedeutet.
Maßstäbe, die für jeden anders sind
Ein anderes Beispiel: Die Konrad-Adenauer-Stiftung publiziert eine Befragung über Religiosität. Dort heißt es: „Diese These [dass ein nicht unbeträchtlicher Teil der in Deutschland lebenden Muslime relativ säkular ist (Anmerkung der Redaktion)] wird durch den Vergleich der Religiosität zwischen den Glaubensrichtungen erhärtet. Muslime unterscheiden sich in ihrer selbst eingeschätzten Religiosität nicht von Katholiken. Protestanten sind geringfügig religiöser als Katholiken und Muslime.“ Grundlage der Aussage sind die Antworten der Befragten auf die Frage: „Wie religiös sind Sie auf einer Skala von Null bis 100?“. Dumm nur, dass niemand sagen kann, was die Befragten unter „null religiös“ oder „100 religiös“ verstanden haben. So steht man als Leser ratlos da. Ist „100 religiös“ für sie jemand, der regelmäßig in die Kirche geht und betet, oder der Mönch, der Pfarrer, der fundamentalistische Evangelist, ein wiedergeborener Christ, der Imam einer moderaten islamischen Glaubensrichtung, der wahhabitische Imam, der Jihad-Märtyrer, der sein Leben opfert oder das, was jeder Befragte für sich als solches definiert? Die Frage bleibt offen. Sie wird weder in der Publikation beantwortet, noch können die verantwortlichen Forscher sie beantworten.
Das ist aus mehreren Gründen ein Fiasko. Aus wissenschaftlicher Perspektive, weil das wirklich nicht das ist, was mit wissenschaftlichem Arbeiten gemeint ist, auch wenn es Leute tun, die sich als Wissenschaftler bezeichnen und dafür öffentlich gefördert werden wie das DIW. Es ist aber auch aus praktischer und pragmatischer Perspektive fatal, weil hier – gewollt oder ungewollt – Forscher Laien ein X für ein U vormachen. Die Laien ihrerseits stellen sich mangels Klarheit der Daten und ihrer Analyse die Wirklichkeit hinter den Daten so vor, wie es ihnen gerade in den Kopf kommt.
Daten und Datenmüll
Diese Beispiele sind mitnichten Einzelfälle. Ganz im Gegenteil. Ich könnte ständig solche Beispiele aus dem Fluss der Umfragen oder anderer Daten ziehen, die jeden Tag an uns vorbeirauschen oder höchst vertraulich in verschlossenen Schubladen verwahrt werden. Mal weiß man nicht, was man misst, mal behauptet man Messgenauigkeit, ohne sie zu belegen. So reklamieren Anbieter eine Repräsentativität ihrer Daten, ohne zu belegen, dass das stimmt.
Verkäufer von Nutzungsdaten aus Internet und sozialen Medien prahlen damit, die Verbraucher mit ihren Daten ausrechnen zu können. Belegen tun sie es nicht. Viele Verwender glauben das auch noch und schaufeln auf dieser Grundlage Unmengen an Werbegeldern computergesteuert ins Netz und die sozialen Netzwerke.
Kurzum, wir sind jeder Menge miserabler Daten ausgesetzt, die uns wenig bis nichts Substanzielles über die Wirklichkeit sagen, aber allzu oft in die Irre führen. Dabei ginge es doch anders. Man kann nämlich sehr wohl herausfinden, wie man Fragen so stellt, dass man auch weiß, was man da misst. Man kann selbstverständlich darlegen, ob oder bei was man wirklich repräsentativ ist und sich darüber auch dem Diskurs stellen. Und selbst unperfekte Daten können nützlich sein – wenn man sich nicht nur ihrer Möglichkeiten, sondern auch ihrer Grenzen bewusst ist und diese auch offen darlegt.
Stiftung Warentest für Daten
Und was macht man jetzt mit dieser Situation? Da es keine Stiftung Warentest und auch keinen Verbraucherschutz für Datenverwender gibt, muss wohl jeder selbst herausfinden, was taugt und was nicht. Dafür sollten sich alle wappnen, die Daten nutzen und brauchen. Leider liegt der Umgang mit Daten aber schon seit vielen Jahren viel zu oft zwischen fahrlässig und irreführend. Verantwortung dafür tragen viele: Datenproduzenten, die ihre Arbeit nicht ausreichend reflektieren; eine Fachöffentlichkeit, die zu wenig nachfragt und sich selbst zu wenig in Frage stellt; „Spin-Doktoren“, die Daten instrumentalisieren und beeinflussen; Entscheider, die sich mit den Details nicht befassen wollen; Laien, die mangels Datenkompetenz überfordert sind, ohne sich das bewusst zu machen.
Wohin das führt? Ganz einfach. Daten-Spam und Datenmüll verkleistern die Wahrnehmung der Wirklichkeit. Man benutzt Daten als Argumente, die nicht besser als „alternative facts“ sind. Es kommt zu Fehlentscheidungen, die einen Haufen Geld verbrennen oder Schlimmeres anrichten. Es wird immer schwieriger, Übereinstimmung über grundlegende Tatsachen der Wirklichkeit zu finden, um konstruktiv nach Lösungen zu suchen. Daten werden zum Futter der Beliebigkeit statt zur Information über die Wirklichkeit. Finden Sie das ok? Ich ehrlich gesagt nicht.