Sind alle Umfragen wertlos?

Fritz Goergen hat sich kritisch mit dem Wert von Umfragen auseinandergesetzt – am Beispiel einer von mir zitierten Insa-Umfrage. Was ist an der Kritik berechtigt, und was nicht?

© Getty Images

Etwas vorweg, das nicht den Beitrag von Fritz Goergen betrifft: Die meisten Zeitgenossen, insbesondere Politiker, reagieren auf Umfragen so: Wenn ihnen das Ergebnis passt, zitieren sie sie gerne. Wenn es ihnen nicht passt, zweifeln sie den Wert von Umfragen an, verweisen auf methodische Schwächen oder erklären gleich rundheraus Umfragen für wertlos.

Ich habe das stets anders gehalten. In dem Artikel, auf den Goergen Bezug nimmt, habe ich auf eine Umfrage verwiesen, bei der mir einige Ergebnisse sympathisch sind (etwa die Positionen der meisten Deutschen zur Einwanderungspolitik) und andere unsympathisch (etwa die Positionen zur Reichensteuer, zur Bürgerversicherung oder zur Solidarrente).

Demoskopie
Aktuelle Umfragen: So denken die Deutschen Anfang 2018
Diejenigen, die Ergebnisse von Umfragen in Zweifel ziehen, verweisen auf „bessere“ Informationsquellen, wie etwa Gespräche mit dem Taxifahrer, die Meinung in ihrem Bekanntenkreis oder in Internetforen. Das allerdings ist unwissenschaftlich. Hier wird von Einzelmeinungen, die überhaupt nicht repräsentativ sind, auf die Meinungen in der Bevölkerung geschlossen. Das Problem wird noch verstärkt dadurch, dass Viele in ihrem Umfeld mehr Gleichgesinnte als Andersdenkende haben. So ist es zu erklären, dass manche AfD-Wähler denken, „alle“ bzw. „das Volk“ würde so denken wie sie. Der Eindruck kommt zustande, weil sich diese Bürger, so wie viele andere auch, vor allem mit Gleichgesinnten unterhalten und im Internet in jenen Foren bewegen, die überwiegend von Gleichgesinnten gelesen und kommentiert werden. Tatsache ist: Viele denken so wie sie – aber eben nicht die Mehrheit. Bei den letzten Wahlen waren es 13 Prozent, also eine beachtliche Größe, aber eben doch eine Minderheit. Wer die „wahre Volksmeinung“ eher aus Gesprächen im Bekanntenkreis ermitteln will als aus repräsentativen Bevölkerungsumfragen, kommt immer zu falschen Ergebnissen.

Die Schweigespirale

Fritz Goergen meint: „Die Schweigespirale war noch nie so groß wie in den 2010er Jahren. Nie vorher haben die Leute in derart großer Zahl bei Umfragen nicht mehr gesagt, was sie denken, sondern wovon sie zu wissen glauben, welche Antwort von ihnen erwartet wird.“ Die Schweigespirale gibt es, seit es Menschen gibt. Elisabeth Noelle-Neumann, mit der ich viele Jahre eng befreundet war, hat sie entdeckt. Und ich habe in meiner zweiten Doktorarbeit ein Methodenkapitel über „sozial erwünschte Antworten“ geschrieben, weil ich das Thema für hoch relevant halte. Belege dafür, dass die Schweigespirale noch nie so bedeutsam war wie heute, gibt es dagegen nicht. Aus eigener Beobachtung habe ich jedoch den Eindruck, dass viele Bürger heute sogar eher bereit sind, sich zu „politisch unkorrekten“ und nonkonformen Meinungen zu äußern als vor einigen Jahren. Das linke Deutungsmonopol ist glücklicherweise nicht mehr unangefochten.

Telefonumfragen

„Umfragen sind spätestens seit der Umstellung von der persönlichen Befragung des physisch anwesenden Gegenübers auf telefonische nicht mehr wert, als die Ergebnisthese der Ersteller des Fragebogens vor Beginn der Befragung. Kommt nicht raus, was gewünscht wird, ‚korrigieren’ das die Demoskopen durch ‚Gewichtung’ und ihre Auftraggeber durch selektivere Interpretation denn je.“

Umfragen als PR-Instrument
Meinungs-Umfragen? - Meinungsverbreitung
Goergen macht hier einen Punkt, der bedenkenswert ist. Telefonische Umfragen haben Schwächen. Daher schätze ich besonders das Allensbacher Institut für Demoskopie, das immer noch persönliche Befragungen macht. Aber man darf das Kind nicht mit dem Bade ausschütten. Führende Institute wie Infratest dimap, Forschungsgruppe Wahlen und Forsa arbeiten mit Telefonumfragen. Und ihre Ergebnisse sind im Großen und Ganzen trotzdem in Ordnung und stimmen auch mit denen, die z.B. von Allensbach in persönlichen Befragungen erhoben werden, weitgehend überein. Die Frage der „Korrekturen“ und der „Gewichtung“ bei Umfragen hat allerdings, anders als hier nahegelegt, nicht das Geringste damit zu tun, ob die Umfrage telefonisch oder persönlich erfolgt.

Gewichtungen in der Stichprobe sind dann notwendig, wenn Umfrageinstitute z.B. herausgefunden haben, dass weniger Befragte angeben, beim letzten Mal eine bestimmte Partei gewählt zu haben, als es tatsächlich laut Wahlergebnis waren. Dann werden Korrekturen in der Stichprobe vorgenommen, weil ansonsten das Ergebnis verfälscht würde. Das geschieht, wenn es methodisch notwendig ist, bei Face-to-face-Umfragen ebenso wie bei telefonischen Befragungen.

Wie fragen Meinungsforscher?

„Es ist unseriös, die Leute etwas zu fragen, wenn man wissen muss, dass sie nicht wissen können, was ‚Bürgerversicherung’ bedeutet. Das Gleiche trifft auf die ‚Solidarrente’ und die ‚Reichensteuer’ zu – und das ‚Kooperationsverbot’ für Bund und Länder in der Bildungspolitik. Wie viel Prozent Berufspolitiker und Berufsjournalisten könnten das selbst verständlich erklären?“ Ich stimme Fritz Goergen zu: Es wäre ganz und gar unsinnig, die Menschen zu fragen, ob sie für oder gegen das „Kooperationsverbot“ oder die „Bürgerversicherung“ sind, ohne diese Begriffe zu erklären. So werden auch Befragungen nicht gemacht. Ich kenne nicht die genaue Fragestellung von Insa, vermute jedoch, dass sie sich anlehnt an das, was im FOCUS-Bericht darüber zu lesen war. Hier wurde z.B. bei der Frage zur Bürgerversicherung erklärt: „Gemeint ist das Ende der privaten Krankenversicherung“. Bei der Frage zur „Solidarrente“ wurde erklärt, dass die SPD die Renten von Bürgern, die für Ansprüche oberhalb der Armutsgrenze nicht lange genug gearbeitet haben, mit Steuermitteln auffüllen will. Der Begriff „Kooperationsverbot“ wurde bestimmt nicht verwendet, sondern ich habe ihn für die informierten Leser von TICHY verwendet, um zu erklären, worum es ging.

Bei Befragungen kann man den Befragten keinen Nachhilfeunterricht erteilen und ausführliche Erörterungen voranschicken. Man muss aber versuchen, Begriffe, die nicht jeder kennt, in wenigen Worten zu erklären. Und genau das machen die Institute – manchmal besser und manchmal weniger gut.

Sind alle geschlossenen Fragen „Suggestivfragen“?

Fritz Goergen kritisiert: „Die Institute stellen den Befragten keinen ‚offenen Fragen’, sondern ‚geschlossene’ – Suggestivfragen also. Hoch unseriös, um es höflich auszudrücken.“ Hier geht alles durcheinander, um es ebenfalls höflich auszudrücken. Würde das stimmen, was hier steht, wäre die gesamte wissenschaftliche Meinungsforschung seit 80 Jahren „hoch unseriös“, denn mehr als 90 Prozent aller Befragungen arbeiten mit geschlossenen Fragen. Das hat mit Suggestivfragen nicht das Geringste zu tun. Eine geschlossene Frage ist eine, bei der Antwortmöglichkeiten wie etwa „Stimme zu“, „Stimme teilweise zu“ oder „Stimme nicht zu“ vorgegeben sind. Offene Fragen werden überall auf der Welt von Instituten nur ausnahmsweise gestellt. Meist ist es sinnvoller, geschlossene Fragen zu stellen, also danach zu fragen, ob sie einer bestimmten Ansicht ganz, teilweise oder nicht zustimmen. Eine geschlossene Frage kann (ebenso übrigens wie eine offene Frage) natürlich eine Suggestivfrage sein – dann ist sie unzulässig, weil sie eben eine bestimmte Antwort nahelegt und damit das Ergebnis manipuliert. Aber es ist einfach falsch, die Begriffe „geschlossene Frage“ und „Suggestivfrage“ als Synonyme zu verwenden.

Was misst Meinungsforschung?

Meinungsforschung misst Meinungen. Ob diese Meinungen durch Propaganda, einseitige Medienberichterstattung oder informierte Prozesse der Meinungsbildung zustande gekommen sind, ist eine zweite Frage, die jedoch in der Regel nicht Thema von Umfragen ist. Umfragen messen Ergebnisse von Meinungsbildungsprozessen. Natürlich kann ich der Ansicht sein, wie Fritz Goergen sie vertritt, dass sich Menschen Meinungen bilden, ohne alle relevanten Tatsachen zur Kenntnis genommen zu haben. Das ist sogar meistens so. Es kann auch durchaus sein, dass sie zu anderen Meinungen kommen würden, wenn sie andere Informationen zur Verfügung hätten. Das ist sogar sehr wahrscheinlich. Aber das ist eine ganz andere Fragestellung, die nichts mit der Ermittlung des Meinungsbildes zu tun hat, sondern mit der Analyse, wie dieses zustande kommt. Goergen schreibt: Meinungs-Umfragen, so wie sie hierzulande im Auftrag von Medien durchgeführt werden, sind kein Mittel zu erkennen, was ‚die Deutschen denken’, sondern in welchem Umfang bei ihnen angekommen ist, was sie denken sollen: Propaganda-Wirkungskontrolle, in der heutigen Terminologie öffentliche PR-Wirkungskontrolle und damit selbst PR.“ Ich führe dieses Argument auf den Kern zurück: Goergen meint, die Bürger seien durch die Medien manipuliert. Und die Umfragen würden nur das Ergebnis dieser Manipulation messen. Folgen wir ihm einen Moment bei dieser Argumentation: Ist es nicht zuerst die Aufgabe der Meinungsforschung, zu messen, was bzw. wie die Befragten denken, unabhängig davon, wie das zustande kommt und ob es richtig oder falsch ist? Was wäre denn die Alternative? Zu messen, wie die Menschen denken sollten? Das hätte allerdings mit Meinungsforschung nicht mehr das Geringste zu tun.

Unterstützung
oder

Kommentare ( 74 )

Liebe Leser!

Wir sind dankbar für Ihre Kommentare und schätzen Ihre aktive Beteiligung sehr. Ihre Zuschriften können auch als eigene Beiträge auf der Site erscheinen oder in unserer Monatszeitschrift „Tichys Einblick“.
Bitte entwerten Sie Ihre Argumente nicht durch Unterstellungen, Verunglimpfungen oder inakzeptable Worte und Links. Solche Texte schalten wir nicht frei. Ihre Kommentare werden moderiert, da die juristische Verantwortung bei TE liegt. Bitte verstehen Sie, dass die Moderation zwischen Mitternacht und morgens Pause macht und es, je nach Aufkommen, zu zeitlichen Verzögerungen kommen kann. Vielen Dank für Ihr Verständnis. Hinweis

74 Comments
neuste
älteste beste Bewertung
Inline Feedbacks
Alle Kommentare ansehen
Tom Hess
6 Jahre her

Einerseits erklären Sie das Gespräch mit dem Taxifahrer als unwissenschaftlich, argumentieren dann aber „mit Ihren Beobachtungen“ weiter. Das aber nur am Rande. Find ich witzig. Ich denke, die Wahrheit liegt in der Mitte. Zunächst einmal fällt auf, dass in Umfragen viele Fragen gestellt werden, die Suggestivfragen sind oder eine Antwort erzwingen, die man so eigentlich gar nicht geben möchte. Dann werden Umfrageergebnisse so interpretiert, wie es politisch opportun ist. Ich habe es auch beim Beitrag von Herrn Goergen geschrieben: 45 Prozent für Kanzlerin: sie ist beliebter als zuvor. Petry nur noch 45 Prozent der AfDler hinter sich, ihr Ende. Es… Mehr

Michael Bodef
6 Jahre her

Sh Herr Zitelmann: Goergen hat meiner Meinung nach eine ausserordentlich gute Darstellung der Realität gegeben. Wie die funktioniert können Sie täglich in Welt und FAZ Online (leider!) verfolgen. Es geht gerade nicht um neutrale Befragungen und „neutrale Befragungstechniken“.., es geht um massive Beeinflussung der Leser. Wenn ihnen das schwer einleuchtet, dann folgender Vorschlag: * listen Sie einmal über 10 Tage in den erwähnten online- Medien die gestellten Fragen (aber mit genauer Formulierung!) auf, * verdauen Sie den Inhalt, und * dann versuchen Sie diese „Fragenkreationen“ mit den jeweils wirklich aktuellen Problemen auf eine Ebene zu bringen.. Ergebnis: Geht nicht.., Grund:… Mehr

Seneca
6 Jahre her

Der letzte Absatz als versuchte Widerlegung von Goergen ist nicht stimmig. Der doch ganz entscheidende Punkt wird hier überhaupt nicht adressiert: der vorgegebene inhaltliche Radius einer offenen wie geschlossenen Frage und die dadurch gegebene Beschränkung der Antwortmöglichkeiten. Jeder der schon einmal bei SPON, Civey oder WEON mitgemacht hat, weiß das. Und irgendwann macht man dann nicht mehr mit.

Dr. Dr. Zitelmann
6 Jahre her

Ein Institut, dass dauerhaft falsche und manipulierte Ergebnisse liefern würde, hätte bald alle Reputation verloren. Ein Institut wie Allensbach, das ich sehr schätze, arbeitet seit Jahrzehnten seriös. Natürlich trifft das nicht für alle Institute im gleichen Maße zu – so wie es in jeder Industrie bessere und schlechtere, seriöse und weniger seriöse Marktteilnehmer gibt.
Leider schreiben hier viele Leute (ich meine ausdrücklich nicht Sie) über das Thema, die davon offensichtlich so viel verstehen wie ich von Quantenphysik – nämlich rein gar nichts. Leute, die sich wissenschaftlich mit diesen Themen befassen, würden nur verständnislos den Kopf schütteln bei vielen Leserzuschriften,

Herbert Wolkenspalter
6 Jahre her
Antworten an  Dr. Dr. Zitelmann

Woran bemessen Sie, @DR. Dr. Zitelmann, denn (wissenschaftlich), wer „seriös“ auf diesem Feld arbeitet? Wie gelangen Sie an das dafür nötige Wissen? Welche Kriterien und Maßstäbe legen Sie an? Wie wichten Sie die Kriterien und warum gerade so, wie Sie es (vielleicht) tun? Sieht fast danach aus, dass wir uns mal gründlich darüber unterhalten müssen, was wissenschaftliche Methodik im Bereich der „exakten Wissenschaften“ erfordert. Wie fließt es in Ihre Meinungsbildung und das Gesamtbild über die Demoskopie ein, wenn Umfrageergebnisse nicht auf eine zweite Art verifiziert werden können, weil eine Breitenbefragung ähnlich einer Parlamentswahl anschließend gar nicht stattfindet und folglich kein… Mehr

Wibke Nolte
6 Jahre her

Endlich ein Artikel, der sachlich beschreibt, worum es bei Umfragen geht. Neutral betrachtet sind sie eine wissenschaftliche Messmethode, bei der es Qualitätsstandards gibt. Ob diese immer eingehalten werden, ist eine andere Frage. Sie zu stellen, ist wichtig. Das gilt für Umfragen ebenso wie für wissenschaftliche Studien. Leider neigen viele Menschen dazu, dem zu vertrauen, was sie selbst glauben und dem zu misstrauen, was von ihrer eigenen Überzeugung abweicht. Das wird u.a. in der Theorie der kognitiven Dissonanz sehr gut beschrieben. Dass Umfrageergebnisse sehr gut benutzt werden können, um die Schweigespirale zu festigen, indem der Mehrheit vorgegaukelt wird, sie sei eine… Mehr

Moni
6 Jahre her

Sorry, aber wenn ich mir die Auftraggeber so mancher Umfragen betrachte, fällt es mir schon auf Grund von Lebenserfahrung sehr sehr schwer, von Objektivität auszugehen.

Thomas Hellerberger
6 Jahre her

Herr Zitelmann, zum Thema Meinung und Gesinnung: Ist es nicht so, daß wir meistens schon eine Meinung bereits haben, BEVOR wir vollständige oder wenigstens ausreichende Informationen dazu haben? Ist nicht genau das, was im Politsprech immer mit „Differenzierung“ gemeint ist? Die Frage, ob jemand links, rechts, konservativ, progressiv, liberal oder radikal ist, hat oft nur recht wenig mit den unmittelbaren Lebensumständen zu tun, sondern ist, wie ich schon häufiger gelesen haben, zumindest teilweise genetisch als Veranlagung codiert und angeboren – so wie auch, ob man schüchtern ist oder eine Rampensau, ob man ruhig oder aggressiv ist, Narzisst oder Altruist, oder… Mehr

Wibke Nolte
6 Jahre her
Antworten an  Thomas Hellerberger

“ Ist es nicht so, daß wir meistens schon eine Meinung bereits haben, BEVOR wir vollständige oder wenigstens ausreichende Informationen dazu haben?“ Damit weisen Sie zu Recht auf ein Problem und gleichzeitig auf ein Dilemma hin. Dazu passt der Satz: „Ich lasse mir doch nicht durch Fakten meine Vorurteile nehmen!“ Aber wer soll und will entscheiden, was in Ihrem Sinne „vollständige oder wenigstens ausreichende Informationen“ sind? Glaubt nicht jeder, der eine Meinung hat, sie sei ausreichend begründet? Damit sind wir auch bei dem Problem, dass wir die reale Welt überhaupt nicht komplett erfassen können, sondern dass wir andere benötigen, die… Mehr

Matthias Losert
6 Jahre her

„Sind alle Umfragen wertlos?“ – Hr. R. Zitelmann

Welche Wahl habe ich? Bei geschlossenen Antworten kann ich > Stimme zu, Stimme teilweise zu und Stimme nicht zu alle Stimme teilweise zu < ankreuzen – ohne irgendeine Differenzierung auszuführen, was ungemein die Informationsverarbeitung vereinfacht!
Wenn wir einen Tauschwert für die Umfrage annehmen, hat die Umfrage für Anbieter und Nachfrager einen Wert – was nicht auf Unabhängigkeit hindeutet!
Die Wissenschaft lehrt einem Methodik und überprüft das Wissen – im Studium. Danach können "Gelehrte" das Wissen anwenden, um ihr Dasein zu gestalten: d. h. Seriösität ergibt sich aus dem konkreten Tun!

Gaartz
6 Jahre her

Ich würde insoweit zustimmen, dass die Umfrage-Industrie nicht per se unseriös arbeitet, denn das eigentliche Problem, auf das Herr Zitelmann leider nicht eingeht, ist vielmehr die oftmals unseriöse Darstellung und Interpretation dieser Umfragen in den Medien, aber auch durch Politik, Lobbyverbände, etc. Viele Medien nutzen die Umfragen (und Statistiken) im Sinne der eigenen Agenda für manipulative Schlussfolgerungen, die sich aus den Zahlen und/oder der Fragestellung eigentlich gar nicht begründen lassen. Nun lässt sich das Argument von Herrn Zitelmann schwerlich widerlegen, dass „manche AfD-Wähler denken“ würden, „alle“ hätten die gleiche Meinung wie sie, denn zwei AfD-Wähler, also „manche“, die das denken,… Mehr

Ulrich Bohl
6 Jahre her

Kurze Zeit habe ich in einem Meinungsforschungsinstitut gearbeitet. Die Praxis zeigte, man hat gar nicht die Zeit etwas zu erklären. Es wird nämlich mitgehört. Anschließend kommt dann desöfteren Kritik “ Das hat zu lange gedauert“ also nicht erklären sondern ja oder nein. Worum es im Detail geht ist nicht wichtig. Sondern in möglichst kurzer Zeit Interviews zu führen. TIME IS MONEY ist die Devise. Qualität ist sekundär. Zuoft lagen z.B. Wahlergebnisse neben Umfrageergebnissen als das man sie wirklich ernst nehmen kann. Sie sind bestenfalls Manipulationshilfen für die Politik. Die Veröffentlichung der Werte ist für völlig Uninformierte gut. Die Mehrheit würde… Mehr