Signifikanztest: Durchführung

Der Signifikanztest kommt zum Einsatz, wenn eine Hypothese einen bestimmten Zusammenhang zwischen zwei Merkmalen benennt. Die Hypothese kann auch den Unterschied zweier Testgruppen benennen, der sich auf ein bestimmtes Merkmal bezieht. 

Unter der Annahme, dass zwei Merkmale in einem bestimmten Zusammenhang stehen, werden relevante Stichproben-Daten erhoben. Anhand eines Signifikanztests wurde dann geklärt, ob die Hypothese über den Zusammenhang der Merkmale über die Stichproben auf die Grundgesamtheit anwendbar ist. Betrachten wir den Signifikanztest am Beispiel von Studi-Kompass, das im Folgenden vorgestellt wird.

Signifikanztest am Beispiel erklärt

Der Signifikanztest kann also dazu dienen, um zu definieren, ob ein beobachteter Wert sich signifikant von einem vorgegebenen Wert unterscheidet. Ein klassisches Beispiel dafür ist ein einfaches Würfelspiel.

Ausgangssituation: 
Zwei Spieler spielen ein Würfelspiel. Bei einer geraden Zahl gewinnt Spieler eins, bei einer ungeraden Zahl gewinnt Spieler zwei. Spieler eins gewinnt überdurchschnittlich häufig.

Frage:
Basieren die häufigen Gewinne auf einen Zufall oder manipuliert der Spieler das Spiel?

Daten:
Die Gewinnchance liegt für beide Spieler bei 50%. Von 20 Spielen hat Spieler eins 15 gewonnen.

Nullhypothese: 
Spieler eins hat ein Würfelglück und das Ergebnis befindet sich im Rahmen der Gewinnwahrscheinlichkeit von 50%.

Alternativhypothese:
Die Wahrscheinlichkeit auf eine gerade Augenzahl ist höher als 50%, weil das Spiel manipuliert wurde.

Schwellenwert (kritischer Wert) definieren: 
Der Schwellenwert benennt die Annahme, dass ab hier der Unterschied zwischen den Werten nicht mehr zufällig ist, sondern die reale Wahrscheinlichkeit widerspiegelt.

1. Signifikanzniveau α ist frei wählbar – wird in der Regel auf 5% festgesetzt
2. Gesamtzahl der Fälle – N = 20 (Anzahl der Spiele)
3. Wahrscheinlichkeit der Abweichung p = 0,5 (50%)
4. Abweichende Fälle (Treffer) 15 (gewonnene Spiele)

Der Schwellenwert wird mithilfe der vorliegenden Daten in der Tabelle für den kritischen Wert nachgeschlagen. Im vorliegenden Fall ist der Schwellenwert mit 14 benannt.

Ist der beobachtete Wert gleich oder größer dem kritischen Wert, greift die Alternativhypothese. 

Da der beobachtete Wert mit 15 über dem kritischen Wert von 14 liegt, ist die Wahrscheinlichkeit hoch, dass das Spiel manipuliert wurde.

Nullhypothese und Alternativhypothese

Für die Durchführung müssen also eine Nullhypothese und eine Alternativhypothese formuliert werden. Die Forschungshypothese basiert auf der gemachten Beobachtung – im Beispielfall also der Tatsache, dass Spieler eins sehr häufig gewonnen hat. Daraus ergibt sich die Hypothese, dass die tatsächliche Wahrscheinlichkeit von 50% nicht mehr vorliegt und sich erhöht hat. Die Forschungshypothese wird auch als Alternativhypothese benannt.

Die Nullhypothese stellt eine Gegenhypothese zur Forschungshypothese auf. Im Beispiel besagt die Nullhypothese, dass das Spiel nicht manipuliert ist und die Chancen auf einen Gewinn weiterhin bei 50% liegen – das verschobene Ergebnis soll also auf ein Würfelglück basieren.

Alpha-Fehler

Um die Entscheidung zwischen der Null- und Alternativhypothese zu fällen, muss der kritische Wert bestimmt werden. Um dies tun zu können, wird das Signifikanzniveau α benötigt. Der Wert α benennt darüber hinaus das Risiko, sich auf einer inkorrekten Weise für die Alternativhypothese zu entscheiden, obwohl die Abweichung der betrachteten Werte zufällig sind. 

Daher wird α auch als Irrtumswahrscheinlichkeit benannt. Ebenso spricht man vom Risiko für den Fehler 1. Art.

Signifikanzniveau einsetzen

Das Signifikanzniveau ist frei wählbar. Da es jedoch auch die Irrtumswahrscheinlichkeit benennt, ist es wichtig, den Wert möglichst gering zu halten. So verringert sich die Irrtumswahrscheinlichkeit und das Ergebnis ist mit hoher Wahrscheinlichkeit eine Realitätsabbildung.

Signifikanzniveau festlegen

Das Signifikanzniveau wird in der Regel zwischen 1% und 5% festgelegt. Wird mit einem Wert von 5% gearbeitet, ist das Ergebnis mit einer Wahrscheinlichkeit von 95% korrekt. In diesem Fall nennt die Statistik das Ergebnis als signifikant. Wird mit einem Wert 1% gearbeitet, ist das Ergebnis entsprechend zu 99% korrekt und die Statistik spricht hier von einem sehr signifikanten Ergebnis.

Einseitiger und Zweiseitiger Signifikanztest

Ein Signifikanztest kann einseitig oder zweiseitig durchgeführt werden. Ein einseitiger Signifikanztest untersucht also, ob der betrachtete Wert abweicht – und zwar in eine bestimmte Richtung vom vorgegebenen Wert. Das Beispiel betrachtet eine Abweichung, die signifikant größer ist als 50%. Es wäre möglich gewesen, eine Abweichung zu untersuchen, die signifikant kleiner ist als 50%. In diesem Fall ist es aber nicht möglich, die Alternativhypothese für eine mögliche Abweichung in beide Richtungen aufzustellen. Man spricht hier auch von einer gerichteten Forschungshypothese. Die Nullhypothese besagt dann, der Wert ist nicht kleiner oder größer – je nach der Richtung der Alternativhypothese.

Es ist aber auch möglich, eine allgemeine Untersuchung für eine mögliche Abweichung vorzunehmen. In diesem Fall greift der zweiseitige Signifikanztest. Hier wird geprüft, ob sich zwei Werte allgemein voneinander unterscheiden – unabhängig in welche Richtung. Sobald der beobachtete Wert also überfällig stark vom vorgegebenen Wert abweicht, ist er signifikant. Um diese Art des Signifikanztests durchführen zu können, muss der Wert für das Signifikanzniveau halbiert werden. Darüber hinaus gilt es, zwei relevante kritische Werte nachzuschlagen. Hier spricht man von einer ungerichteten Forschungshypothese (es gibt einen Unterschied). Die Nullhypothese muss daher immer lauten, es gibt keinen Unterschied.