Dieses Papier vergleicht mithilfe eines einmaligen Experiments verschiedene Umfragemethoden. Dabei werden zwei reine Online-Stichproben, drei Mixed-Mode-Stichproben und eine reine Telefonstichprobe jeweils verschiedener Institute analysiert. Die Fragestellungen sind identisch. Die Analyse verstärkt die Zweifel an der Qualität von vielen Online-Umfragen. Um bevölkerungsrepräsentative Daten zu erhalten, führt kein Weg an einer Zufallsauswahl der Befragten vorbei.
Einige Ergebnisse im Detail:
- Die drei Erhebungsmethoden im Telefon-, Online- und Mixed-Mode-Verfahren unterscheiden sich aufgrund der Stichprobenziehung in ihrer Qualität. Während Telefon-Verfahren auf reine Zufallsstichproben setzen, werden in Online-Erhebungen mit Nicht-Zufallsstichproben nur Personen erreicht, die eine gesteigerte Bereitschaft zur Teilnahme aufweisen.
- Die Ergebnisse von Nicht-Zufallsstichproben schwanken ungewöhnlich stark und liefern daher unzuverlässige Ergebnisse.
- Gewichtungen sind kein Garant für Repräsentativität. Sie können fehlende Gruppen („Offliner”/ältere Menschen) nicht ausgleichen. Unbekannte Abweichungen werden durch Gewichtungen nicht korrigiert, sondern ggf. verstärkt.
- Mixed-Mode-Verfahren können soziodemografische Probleme der Telefon-Methode lösen, bringen jedoch qualitative Mängel durch die nicht-zufallsbasierte Stichprobenziehung im Online-Teil mit sich.
Themen
Über diese Reihe
Die Reihe informiert in konzentrierter Form über Analysen der Konrad-Adenauer-Stiftung zu relevanten aktuellen Themen. Die einzelnen Ausgaben stellen zentrale Ergebnisse und Empfehlungen eigener und externer Expertinnen und Experten vor, bieten Kurzanalysen von rund fünf Seiten und nennen KAS-Ansprechpartnerinnen.
Mut zu neuen Ideen – Wie lässt sich die Effizienz unseres Gesundheitssystems steigern?
Mauretanien wird zur neuen Hauptroute für Migration nach Europa
Werkzeuge für eine smarte Stadtentwicklung: Urbane Digitale Zwillinge
Sorgen und Ängste der Wählerschaft – Ergebnisse aus repräsentativen Umfragen
Von Schutzsuchenden zu Fachkräften