Asset-Herausgeber

Collage: Stafeeva, stock.adobe.com (people); KAS

Analysen und Argumente

Online, offline oder beides?

Umfragemethoden im Praxistest – welche Methode liefert vertrauenswürdige, repräsentative Ergebnisse?

Beinahe täglich gibt es vermeintlich bevölkerungsrepräsentative Umfragedaten, deren Qualität immer öfter angezweifelt wird. Diese Zweifel hängen auch mit einem sich beschleunigenden Trend zu Online-Umfragen zusammen. Auch sogenannte Mixed-Mode-Stichproben aus Online- und Telefon-Daten drängen verstärkt auf den Umfragemarkt. Doch welche Umfragemethode liefert verlässliche Ergebnisse? Wo liegen Chancen und Probleme von internetbasierten Methoden? Welche Rolle spielen Datengewichtungen und Erreichbarkeit? Analysen von Telefon-, Online- und Mixed-Mode-Stichproben geben Aufschluss.

Asset-Herausgeber

Dieses Papier vergleicht mithilfe eines einmaligen Experiments verschiedene Umfragemethoden. Dabei werden zwei reine Online-Stichproben, drei Mixed-Mode-Stichproben und eine reine Telefonstichprobe jeweils verschiedener Institute analysiert. Die Fragestellungen sind identisch. Die Analyse verstärkt die Zweifel an der Qualität von vielen Online-Umfragen. Um bevölkerungsrepräsentative Daten zu erhalten, führt kein Weg an einer Zufallsauswahl der Befragten vorbei.

Einige Ergebnisse im Detail:

  • Die drei Erhebungsmethoden im Telefon-, Online- und Mixed-Mode-Verfahren unterscheiden sich aufgrund der Stichprobenziehung in ihrer Qualität. Während Telefon-Verfahren auf reine Zufallsstichproben setzen, werden in Online-Erhebungen mit Nicht-Zufallsstichproben nur Personen erreicht, die eine gesteigerte Bereitschaft zur Teilnahme aufweisen.
  • Die Ergebnisse von Nicht-Zufallsstichproben schwanken ungewöhnlich stark und liefern daher unzuverlässige Ergebnisse.
  • Gewichtungen sind kein Garant für Repräsentativität. Sie können fehlende Gruppen („Offliner”/ältere Menschen) nicht ausgleichen. Unbekannte Abweichungen werden durch Gewichtungen nicht korrigiert, sondern ggf. verstärkt.
  • Mixed-Mode-Verfahren können soziodemografische Probleme der Telefon-Methode lösen, bringen jedoch qualitative Mängel durch die nicht-zufallsbasierte Stichprobenziehung im Online-Teil mit sich.

Lesen Sie die gesamte Studie „Online, offline oder beides? Umfragemethoden im Praxistest“ hier als PDF.

Asset-Herausgeber

Kontakt

Dr. Sabine Pokorny

Dr

Wahl- und Sozialforschung

sabine.pokorny@kas.de +49 30 26996-3544
Kontakt

Dominik Hirndorf

Dominik Hirndorf

Wahl- und Sozialforschung

dominik.hirndorf@kas.de +49 30 26996-3858

comment-portlet

Asset-Herausgeber

Über diese Reihe

Die Reihe informiert in konzentrierter Form über Analysen der Konrad-Adenauer-Stiftung zu relevanten aktuellen Themen. Die einzelnen Ausgaben stellen zentrale Ergebnisse und Empfehlungen eigener und externer Expertinnen und Experten vor, bieten Kurzanalysen von rund fünf Seiten und nennen KAS-Ansprechpartnerinnen.

Dr. Kristin Wesemann

Dr

Leiterin Strategie und Planung

kristin.wesemann@kas.de +49 30 26996-3803

Sophie Steybe

Referentin Publikationen

sophie.steybe@kas.de +49 30 26996-3726