Hypothesentest

Man unterstellt, es gebe keinen Effekt, rechnet aus, wie unwahrscheinlich die Daten unter dieser Annahme wären — und nimmt dabei in Kauf, in 5 % der Fälle mit voller Absicht danebenzuliegen.

Als Nächstes empfohlen → Wahrscheinlichkeitsverteilungen · MATH · T5

Der Beitrag

An der landwirtschaftlichen Versuchsstation Rothamsted in England behauptete um 1922 eine Kollegin Ronald Fishers, sie schmecke dem Tee an, ob die Milch vor oder nach ihm in die Tasse gekommen sei. Fisher — wenig später der einflussreichste Statistiker des zwanzigsten Jahrhunderts — machte daraus ein Experiment: acht Tassen, vier mit Milch zuerst, vier mit Tee zuerst, in zufälliger Reihenfolge gereicht. Seine Frage: Gesetzt, sie schmeckt gar nichts und rät bloß — wie oft träfe sie dann alle acht? Die Antwort: einmal in siebzig Fällen, ein p-Wert von rund 0,014. Sie traf alle acht. Als lady tasting tea ging die Episode in die Lehrbücher ein; der Rahmen, den Fisher um sie herum errichtete — der Nullhypothesen-Signifikanztest — wurde zur Standardmethodik der empirischen Wissenschaft.

Ein Hypothesentest entscheidet anhand von Daten, ob eine vorgegebene Nullhypothese H₀ — typisch: „kein Effekt“, „kein Unterschied“, „die Münze ist fair“ — zu verwerfen ist. Das Rezept: eine Teststatistik wählen, deren Verteilung unter H₀ bekannt ist; Daten erheben und die Statistik berechnen; daraus den p-Wert bestimmen — die Wahrscheinlichkeit, eine wahre H₀ unterstellt, ein mindestens so extremes Ergebnis zu erhalten wie das beobachtete. Liegt p unter einem vorab gewählten Signifikanzniveau α — die Konvention sagt 0,05 —, wird H₀ verworfen; andernfalls nicht. Fisher hat dieses Vorgehen in den 1920er Jahren systematisiert; Jerzy Neyman und Egon Pearson bauten es zur streng entscheidungstheoretischen Fassung aus, mit Alternativhypothesen und Trennschärfe. Ein Fehler erster Art — eine wahre H₀ verwerfen (falsch positiv) — hat die Rate α; ein Fehler zweiter Art — eine falsche H₀ stehen lassen (falsch negativ) — die Rate β; die Trennschärfe ist 1 − β. Wer viele Tests zugleich rechnet, treibt die Rate der Fehlalarme nach oben; dagegen helfen etwa die Bonferroni-Korrektur und die Kontrolle der False-Discovery-Rate. Der p-Wert — die meistbenutzte und meistmissverstandene Zahl der Wissenschaft — ist nicht die Wahrscheinlichkeit, dass H₀ stimmt; er ist die Wahrscheinlichkeit der Daten unter H₀, und das ist etwas anderes, so oft es auch verwechselt wird. Seit den 2010er Jahren steht das Gerüst unter Dauerkritik. p-Hacking — viele Tests rechnen, nur die signifikanten berichten — hat die Replikationskrise in Psychologie und Biomedizin wesentlich mitverursacht; in manchen Teilgebieten liegt die geschätzte Reproduzierbarkeit unter 50 %. Als Gegenmittel gelten die Präregistrierung der Analysen, größere Stichproben, der Abschied von der starren 0,05-Schwelle und bayessche Alternativen, die gleich Posteriorwahrscheinlichkeiten ausgeben.

Warum jetztKlinische Studien der Pharmaindustrie sind der Form nach Hypothesentests gegen Placebo, und die Zulassungsregeln sind um α und β herum gebaut. Das A/B-Testen der Technologiekonzerne — die Grundlage jeder Entscheidung vom Schlage „dieser Knopf ist ab heute blau“ — ist Hypothesentesten auf Nutzermetriken, in Millionen von Kleinstexperimenten an jedem einzelnen Tag. Die Teilchenphysik verlangt Extremes: Als Entdeckung gilt erst, was den 5-Sigma-Standard erreicht, p ≈ 3 × 10⁻⁷ — das Higgs-Boson wurde 2012 verkündet, als ein Peak in den CERN-Daten diese Linie überschritt. Dass der Rahmen Schwächen hat, bestreitet in der Wissenschaft kaum noch jemand; strittig ist, was an seine Stelle treten soll — bayessche Methoden, berichtete Effektgrößen und Präregistrierung gewinnen an Boden, haben den p-Wert aus seiner zentralen Stellung aber bislang nicht verdrängt.

Zur VertiefungWer den Apparat für die Praxis braucht, findet ihn kompakt in Wassermans All of Statistics; Casella und Berger gehen tiefer. Zur Replikationskrise liest man zuerst Andrew Gelman und Eric Loken, The Garden of Forking Paths (2013), und danach Gelmans Statistical Rethinking — das in Wahrheit von Richard McElreath stammt (2. Aufl., 2020) und die bayessche Alternative von Grund auf entwickelt. Die durchdachteste neuere Verteidigung des frequentistischen Lagers ist Deborah Mayo, Statistical Inference as Severe Testing (2018).