Dieses Papier vergleicht mithilfe eines einmaligen Experiments verschiedene Umfragemethoden. Dabei werden zwei reine Online-Stichproben, drei Mixed-Mode-Stichproben und eine reine Telefonstichprobe jeweils verschiedener Institute analysiert. Die Fragestellungen sind identisch. Die Analyse verstärkt die Zweifel an der Qualität von vielen Online-Umfragen. Um bevölkerungsrepräsentative Daten zu erhalten, führt kein Weg an einer Zufallsauswahl der Befragten vorbei.
Einige Ergebnisse im Detail:
- Die drei Erhebungsmethoden im Telefon-, Online- und Mixed-Mode-Verfahren unterscheiden sich aufgrund der Stichprobenziehung in ihrer Qualität. Während Telefon-Verfahren auf reine Zufallsstichproben setzen, werden in Online-Erhebungen mit Nicht-Zufallsstichproben nur Personen erreicht, die eine gesteigerte Bereitschaft zur Teilnahme aufweisen.
- Die Ergebnisse von Nicht-Zufallsstichproben schwanken ungewöhnlich stark und liefern daher unzuverlässige Ergebnisse.
- Gewichtungen sind kein Garant für Repräsentativität. Sie können fehlende Gruppen („Offliner”/ältere Menschen) nicht ausgleichen. Unbekannte Abweichungen werden durch Gewichtungen nicht korrigiert, sondern ggf. verstärkt.
- Mixed-Mode-Verfahren können soziodemografische Probleme der Telefon-Methode lösen, bringen jedoch qualitative Mängel durch die nicht-zufallsbasierte Stichprobenziehung im Online-Teil mit sich.
Themen
Über diese Reihe
Die Reihe informiert in konzentrierter Form über Analysen der Konrad-Adenauer-Stiftung zu relevanten aktuellen Themen. Die einzelnen Ausgaben stellen zentrale Ergebnisse und Empfehlungen eigener und externer Expertinnen und Experten vor, bieten Kurzanalysen von rund fünf Seiten und nennen KAS-Ansprechpartnerinnen.
100-Prozent-Schulen: Wie sich Basiskompetenzen für alle Kinder verlässlich sichern lassen
Warum Australiens neues außenpolitisches Rollenverständnis Chancen für Deutschland bietet
Ein Jahr lang hat der Wirtschaftsexperte Christoph M. Schmidt die KAS begleitet
KI in ASEAN und der EU
Mehr Raum für Familie