19.1.1  Fehler erster und zweiter Art

.
Hans behauptet, er kann feststellen, ob sein Getränk nachts bei Vollmond oder nicht gemischt wurde. Sie wollen mit einer Probe feststellen, ob das wirklich stimmt. .

• Einfacher, aber kaum wirksamer Ansatz: Sie stellen ihm ein Getränk V (Vollmond) und ein Getränk N (Nicht-Vollmond) hin und lassen ihn entscheiden. Zu 50% rät er das Richtige.
• Erste Verbesserung: Sie stellen ihm 4 Becher V und 4 Becher Nder Reihe nach hin. Dies können Sie auf 8· 7· 6· /4· 3· 2 =70 Arten tun. Die Wahrscheinlichkeit, ohne diese besondere Begabung die richtige Auswahl zu treffen, ist damit 1,4%.

Wir haben damit eine Nullhypothese getroffen, daß Hans diese ’Sonderbegabung’ nicht hat. Wir riskieren damit eine Irrtumswahrscheinlichkeit von 1,4 %. .
Generell: Wir wollen eine Arbeitshypothese H_A untersuchen. Da wir sie nicht direkt beweisen können, stellen wir zunächst eine Gegenhypothese (Nullhypothese) H₀ auf. Diese versuchen wir dann zu widerlegen. []. Wir wenden bestimmen hierzu mittels Teststatistiken eine Zahl (Prüfgröße), und entscheiden damit für oder gegen die Nullhypothese. Hierzu bestimmt man zur Prüfgröße einen P-Wert, für den man ein Signifikanzniveau α vorgibt, in der Regel 5% oder auch 1%. Dieser gibt an, mit welcher Wahrscheinlichkeit eine Nullhypothese unberechtigterweise ablehnt. .
.
Hierbei kann passieren, daß man .

• die Nullhypothese unberechtigt ablehnt: Fehler 1. Art, Irrtumswahrscheinlichkeit α
• die Nullhypothese unberechtigt beibehält: Fehler 2. Art, Irrtumswahrscheinlichkeit β

Die Wahrscheinlichkeit, eine richtig spezifizierte Arbeits- oder Alternativhypothese als solche zu erkennen P(H_A|H_A), wird als Power oder Teststärke bezeichnet und beträgt 1−β. .
Je kleiner α ist, desto seltener wird zwar H₀ fälschlicherweise abgelehnt (Fehler 1. Art), aber umso häufiger wird H₀ fälschlicherweise beibehalten. Beide Fehler gleichzeitig ausschließen kann man nur duch eine Vollerhebung. .
.
.