Die Messung der Zuverlässigkeit ist bei Umfragen schwieriger und weniger leicht durchzuführen als bei Beobachtungsstudien.
Während es möglich ist, eine bestimmte Handlung immer wieder zu beobachten, kann eine Umfrage in der Regel nur einmal wiederholt werden. Dies führt zu einer Test-Retest-Methode, bei der zwei Tests miteinander verglichen werden, um zu erfahren, wie zuverlässig sie sind. Die Methode besteht darin, den Test derselben Gruppe von Personen zu zwei verschiedenen Zeitpunkten zu verabreichen.
Dann wird ein Test-Retest-Koeffizient, der manchmal auch als Stabilitätskoeffizient bezeichnet wird, bestimmt. Der Reliabilitätskoeffizient ist in diesem Fall einfach der Produkt-Moment-Korrelationskoeffizient von Pearson zwischen den Ergebnissen, die von denselben Personen bei den beiden Testdurchführungen erzielt wurden.
Die Methode wird anhand eines Beispiels veranschaulicht.
Beispiel für die Test-Retest-Methode
Betrachten wir eine Gruppe von Jugendlichen, die gebeten wurden, einige Verhütungsmethoden zu einem bestimmten Zeitpunkt zu nennen. Die Antworten wurden mit den Zahlen 0, 1, 2 usw. notiert.
Zu einem späteren Zeitpunkt wurden der gleichen Gruppe dieselben Fragen gestellt, und ihre Antworten wurden auf genau dieselbe Weise notiert.
Der Korrelationskoeffizient, der aus diesen beiden Gruppen von Ergebnissen berechnet wird, liefert uns ein Maß für die Stabilität. Der Produkt-Moment-Korrelationskoeffizient wird wie folgt berechnet:
Bei 8 df ist das Pearson r bei .05 signifikant (ein Tabellenwert von .632 ist erforderlich, damit r signifikant ist). Damit liegt die Reliabilität bei .745, ein akzeptabler Wert für diese Art von Test.
Der Hauptnachteil dieser Methode ist, dass, wenn der Wiederholungstest zu schnell durchgeführt wird, der erste Test die Befragten für das Thema sensibilisiert, so dass sich die Befragten an die bereits gegebenen Antworten erinnern und sie wiederholen.
Dies führt zu verzerrten Reliabilitätsindikatoren in der Aufwärtsrichtung.
Zweitens können sich die Meinungen durch situative Einflüsse vor dem Wiederholungstest ändern. In diesen Fällen kommt es zu einer Verzerrung der Stabilitätswerte nach unten.
Das bedeutet, dass der Korrelationskoeffizient umso niedriger ist, je größer der zeitliche Abstand zwischen zwei aufeinanderfolgenden Testdurchführungen ist, was auf eine schlechte Zuverlässigkeit hindeutet.