Jenseits des p-Werts. Besser forschen.

Workshops · Methoden · Werkzeuge für eine bessere Forschungspraxis

Beyond p-values · HMU Health and Medical University Erfurt

Alles zum Mitlesen

Alles, was heute kommt, steht dauerhaft online.

https://hannesdiemerling.github.io/Frequent-Reformation/

Kostenfrei, ohne Anmeldung, unter Creative Commons CC BY 4.0.

Ab der nächsten Folie steht oben rechts immer ein QR-Code. Er zeigt jeweils dorthin, wo das gerade Gezeigte nachlesbar ist. Du musst nichts mitschreiben.

Der Hub, Startseite

Kurz halten, 30 bis 45 Sekunden. Der Punkt ist Entlastung: niemand muss mitschreiben, niemand muss URLs abtippen. Bitte einmal explizit sagen, dass der QR oben rechts mitwandert und immer auf die passende Stelle zeigt. Wer will, scannt jetzt einmal und hat den Hub für den Rest der Session offen.

Die ausgeschriebene Adresse steht nur auf dieser einen Folie. Danach nie wieder, das ist Absicht.

Ein Test zum Aufwärmen

Mitmachen

Eine Studie berichtet p = .01. Sechs Aussagen. Handzeichen bei jeder, die richtig ist.

Welche dieser Aussagen ist richtig?

Eine Studie vergleicht zwei Gruppen und berichtet p = .01.

1. Die Nullhypothese ist mit 1 % Wahrscheinlichkeit wahr.
2. Der Effekt ist real, denn p liegt unter .05.
3. Der Effekt ist groß, jedenfalls größer als bei p = .04.
4. Die Wahrscheinlichkeit, dass sich der Befund replizieren lässt, ist 99 %.
5. Die Wahrscheinlichkeit, dass das Ergebnis reiner Zufall war, ist 1 %.
6. Wäre p größer als .05, gäbe es keinen Effekt.

Handzeichen bitte. Bei jeder Aussage einzeln.

Das ist der wichtigste Moment des Vortrags. Nicht überspringen, und nicht abkürzen.

Ablauf: jede Aussage einzeln vorlesen, dann Handzeichen abwarten. Ruhig etwas Zeit lassen, auch wenn es still wird. Erfahrungsgemäß gehen bei 2, 4 und 5 viele Hände hoch.

Wichtig ist der Ton. Das ist kein Test, bei dem jemand durchfällt. Ich sage vorher: “Ich habe das selbst jahrelang falsch gehabt, und die Leute, die Methoden unterrichten, haben es auch falsch.” Das nimmt den Druck raus und macht den Raum ehrlich.

Wenn niemand die Hand hebt, weil alle den Trick ahnen: dann frage ich stattdessen “Welche davon habt ihr schon einmal so in einem Paper gelesen?” Das funktioniert immer.

Alle sechs sind falsch

Keine einzige der sechs Aussagen trifft zu. Sie sind nicht ungenau, sie sind falsch.

~ 90 % der Forschenden interpretieren mindestens eine Aussage zum p-Wert falsch. Haller & Krauss (2002)

auch die Lehrenden Dieselbe Untersuchung zeigt: auch Personen, die Methoden unterrichten, liegen daneben.

Das ist kein Wissensproblem einzelner Personen. Es ist ein strukturelles Problem der Ausbildung.

Die Auflösung ohne Triumph vortragen. Der Satz, der sitzen muss: das ist kein individuelles Versäumnis, sondern ein Ausbildungsproblem. Genau deshalb gibt es dieses Projekt.

Haller und Krauss (2002) haben Studierende, wissenschaftliche Mitarbeitende und Methoden-Lehrende befragt. In allen drei Gruppen lagen die Fehlerquoten hoch. Der Befund ist mehrfach replizierbar und gilt bis heute.

Wenn jemand nach Aussage 3 nachfragt: p = .01 gegen p = .04 sagt nichts über die Effektgröße, weil der p-Wert von Effekt UND Stichprobengröße abhängt. Das kommt auf der nächsten Folie.

Was der p-Wert tatsächlich ist

Der p-Wert ist die Wahrscheinlichkeit, ein mindestens so extremes Ergebnis wie das beobachtete zu sehen, wenn die Nullhypothese wahr wäre und alle Modellannahmen zutreffen.

Er beschreibt also eine Eigenschaft der Daten unter einer Annahme. Nicht eine Eigenschaft der Hypothese.

Das klingt nach einer Feinheit. Es ist der ganze Unterschied.

Langsam vorlesen, wörtlich. Dann den Kern zweimal sagen: bedingte Wahrscheinlichkeit der Daten gegeben die Hypothese, nicht der Hypothese gegeben die Daten.

Analogie, die gut funktioniert: “Die Wahrscheinlichkeit, nass zu sein, wenn es regnet, ist hoch. Die Wahrscheinlichkeit, dass es regnet, wenn ich nass bin, ist etwas völlig anderes.” Genau diese Verwechslung steckt in Aussage 1 des Quiz.

Die Formulierung “und alle Modellannahmen zutreffen” nicht unterschlagen. Sie ist der Teil, der in Lehrbüchern meist fehlt, und sie ist praktisch relevant: bei verletzten Annahmen ist der p-Wert nicht nur ungenau, er ist bedeutungslos.

Er sagt nichts darüber,

• wie wahrscheinlich die Nullhypothese ist,
• wie wahrscheinlich deine Alternativhypothese ist,
• wie groß der gefundene Effekt ist,
• wie wichtig oder bedeutsam der Effekt ist,
• wie wahrscheinlich es ist, das Ergebnis zu replizieren,
• oder ob ein Effekt überhaupt existiert.

Genau das sind aber die sechs Fragen, die wir eigentlich stellen wollen.

Diese Liste Punkt für Punkt einblenden, das ist der Rhythmus der Folie. Bei jedem Punkt eine Sekunde Pause.

Der Schlusssatz ist die Pointe: die Liste dessen, was der p-Wert nicht kann, ist identisch mit der Liste dessen, was wir wissen wollen. Ruhig kurz stehen lassen, bevor es weitergeht.

Wenn Widerstand kommt (“der p-Wert ist doch nicht nutzlos”): zustimmen. Er ist nicht nutzlos, er ist ein Maß für Überraschung unter einer Annahme. Das Problem ist nicht der p-Wert, das Problem ist, dass wir ihn zum einzigen Kriterium gemacht haben. Diese Nuance ist wichtig, sonst wirkt der Vortrag ideologisch.

Kein Randproblem

61 % Falsch-positiv-Rate, wenn übliche fragwürdige Forschungspraktiken (QRPs) zusammenkommen. Simmons et al. (2011)

~ 90 % der Forschenden interpretieren mindestens eine Aussage zum p-Wert falsch. Haller & Krauss (2002)

.05 eine willkürliche Schwelle, die zur Trennung von wahr und falsch geworden ist.

2015 verzichtet Basic and Applied Social Psychology als erstes Journal vollständig auf p-Werte.

The earth is round (p < .05).

Jacob Cohen, 1994

Die vier Zahlen einzeln durchgehen, nicht als Block überfliegen.

61 Prozent: das ist der Wert, den Simmons, Nelson und Simonsohn erreichen, wenn sie vier übliche Freiheitsgrade kombinieren. Nominal 5 Prozent, faktisch 61. Diese Zahl kommt später im Detail, wenn wir p-Hacking behandeln.

.05: kurz erwähnen, dass Fisher die Schwelle als pragmatische Konvention vorgeschlagen hat, nicht als Naturkonstante. Er selbst hat sie flexibel gehandhabt.

2015 BASP: das ist der Punkt, an dem der Vortrag von Kritik zu Machbarkeit kippt. Es gibt ein Journal, das seit über zehn Jahren ohne p-Werte publiziert. Es funktioniert. Das ist keine Theorie.

Das Cohen-Zitat ist der Titel eines Aufsatzes von 1994. Die Pointe: dass die Erde rund ist, würde niemand mit einem p-Wert belegen wollen.

Die Folgekette

Schritt 01

Publikationsbias

Signifikante Ergebnisse werden bevorzugt publiziert. Die Literatur verzerrt sich systematisch, Effekte werden im Mittel überschätzt.

Schritt 02

Fragwürdige Praktiken

Die Jagd nach p < .05 belohnt p-Hacking, optionales Weitertesten, selektives Reporting und HARKing.

Schritt 03

Replikationen scheitern

Weil sie mit realistischeren, also kleineren Effekten arbeiten als die Originalstudien behaupten.

Simmons et al. (2011): durch übliche QRPs steigt die effektive Falsch-positiv-Rate von 5 % auf bis zu 61 %. Im Extremfall ein zwölffach erhöhter Falsch-positiv-Anteil.

Die drei Schritte als Kreislauf erzählen, nicht als Liste. Publikationsbias erzeugt Anreize für QRPs, QRPs erzeugen falsche Befunde, falsche Befunde scheitern in der Replikation, und weil Nullbefunde nicht publiziert werden, bleibt der Kreislauf unsichtbar.

Wichtig für die Glaubwürdigkeit: keine Betrugsvorwürfe. Alle drei Schritte funktionieren vollständig ohne böse Absicht. Das ist das eigentlich Beunruhigende.

HARKing kurz erklären, falls nötig: Hypothesizing After the Results are Known. Also die Hypothese nachträglich so formulieren, dass sie zum gefundenen Ergebnis passt.

Und das bleibt nicht im Journal

The Cult of Statistical Significance: How the Standard Error Costs Us Jobs, Justice, and Lives.

Ziliak und McCloskey, 2008

Therapien, Maßnahmen und politische Entscheidungen stützen sich auf signifikante Ergebnisse, die in Wahrheit Zufallsbefunde sind oder Effekte beschreiben, die für die Praxis irrelevant klein sind.

… one of the worst things that ever happened in the history of psychology.

Paul Meehl über den Signifikanztest, 1978

Diese Folie ist der emotionale Tiefpunkt des Vortrags, und das ist beabsichtigt. Danach dreht es.

Der Ziliak-und-McCloskey-Titel wirkt am besten, wenn man ihn einfach vorliest und dann eine Sekunde schweigt. Besonders “Jobs, Justice, and Lives”.

Wenn das Publikum aus dem Gesundheitsbereich kommt, hier ein eigenes Beispiel einsetzen: eine Intervention, die als wirksam gilt, deren Effektstärke aber praktisch bedeutungslos ist. Das trifft dann direkt.

Meehl 1978 ist deshalb stark, weil es kein Aktivist von heute ist, sondern einer der einflussreichsten Methodiker der Psychologie, und weil es fast 50 Jahre alt ist. Der Satz “wir wissen das seit Jahrzehnten” ist die Brücke zum Projektteil.

Kurze Selbstprüfung

Mitmachen, ehrlich und ohne Konsequenzen

Welche dieser Praktiken kennst du aus eigener Arbeit, aus einem Projekt oder aus einem Gutachten?

• Nach dem ersten Blick in die Daten noch ein paar Fälle erheben.
• Auffällige Werte entfernen, weil sie ja offensichtlich Messfehler sind.
• Von mehreren erhobenen Maßen das berichten, das funktioniert hat.
• Eine Kovariate aufnehmen oder weglassen, je nachdem was passt.
• Die Hypothese nachträglich an das Ergebnis anpassen.

Handzeichen. Oder auch nicht, das ist gleich gültig.

Diese Runde ist heikel und deshalb sorgfältig moderieren. Sie funktioniert nur, wenn ich zuerst selbst die Hand hebe. Das mache ich, und ich sage auch, bei welchen Punkten.

Der Rahmensatz: “Jeder Punkt hier ist einmal jemandem als gute wissenschaftliche Praxis beigebracht worden. Ausreißer entfernen steht in Lehrbüchern. Das ist keine Anklage.”

Was der Raum begreifen soll: keine einzelne dieser Entscheidungen ist Betrug. Jede ist lokal begründbar. Das Problem entsteht daraus, dass es viele sind und dass sie nach dem Blick in die Daten getroffen werden.

Wenn niemand die Hand hebt, ist das auch ein Ergebnis. Dann sage ich: “Dann seid ihr entweder disziplinierter als der Durchschnitt, oder wir haben alle gerade gemerkt, wie unangenehm die Frage ist.” Beides bringt das Gespräch weiter.

Nicht länger als drei Minuten. Danach unbedingt die Wende einleiten, sonst kippt die Stimmung.

Die gute Nachricht

Die Wende

Bessere Alternativen existieren seit Jahrzehnten. Sie sind technisch ausgereift, didaktisch gut beschrieben und in moderner Software niederschwellig verfügbar.

Was fehlt, ist die flächendeckende Anwendung.

Drei Fragen, die jede Studie beantworten sollte

Frage 01

Gibt es einen Effekt, und wie groß?

Antwort: Effekte und Effektgrößen. Der p-Wert kann das prinzipbedingt nicht.

Frage 02

Wie verlässlich ist die Schätzung?

Antwort: Stichprobenqualität und Stichprobengröße. Nicht jede pauschale Power-Tabelle.

Frage 03

Was sagen die Daten über die Hypothese?

Antwort: Bayesianische Datenanalyse. Wahrscheinlichkeiten für Hypothesen statt Sieger-Verlierer-Schema.

Praktisch jede empirische Studie versucht, eine dieser drei Fragen zu beantworten. Der klassische Signifikanztest beantwortet keine davon vollständig.

Das ist die Scharnierfolie des Vortrags und gleichzeitig die Gliederung der nächsten Minuten. Auch die Website ist genau so aufgebaut, das erwähne ich hier kurz, weil es später beim Zurechtfinden hilft.

Der Satz unten ist der wichtigste des ganzen Vortrags. Ihn wörtlich sagen, nicht paraphrasieren.

Die drei Farben sind nicht dekorativ: coral, teal und navy sind die Farben der drei Workshops. Wer die Website danach besucht, erkennt sie wieder. Das darf man ruhig einmal explizit machen.

Antwort 01: Effekte berichten

Unstandardisiert. Die Größe in der Einheit der Sache:

die Therapie reduziert Depressionswerte im BDI-II um 4,2 Punkte

Das versteht die Praxis sofort. Es ist die Brücke von der Statistik in die Realität.

Standardisiert. Die Größe auf gemeinsamer Skala:

d = 0.42, 95 % CI [0.18, 0.66]

Vergleichbar über Studien und Skalen hinweg. Immer mit Intervall.

The primary product of a research inquiry is one or more measures of effect size, not p values.

Jacob Cohen, 1994

Beide Formen zeigen, und zwar in dieser Reihenfolge: erst unstandardisiert, dann standardisiert. Die Reihenfolge ist didaktisch wichtig, weil die unstandardisierte Form die ist, die für Entscheidungen zählt.

Der 4,2-Punkte-Satz funktioniert, weil man sofort weiterfragen will: ist das viel? Genau diese Frage ist die richtige, und sie ist beim p-Wert nicht möglich.

Das Intervall nicht als Beiwerk behandeln. Ein Punktschätzer ohne Intervall ist eine Behauptung ohne Fehlerangabe.

Aber Vorsicht mit den Faustregeln

Cohen schlug 1988 klein 0.2 · mittel 0.5 · groß 0.8 vor, als grobe Orientierung, wenn keine fachspezifischen Vergleichswerte vorliegen.

In der Praxis wird das häufig als Naturgesetz gelesen.

Domänenwissen schlägt Faustregel. Ein d = 0.2 für eine Suizidpräventions-Intervention ist riesig. Ein d = 0.5 für ein neues Lernformat in einem etablierten Feld ist eher mittelmäßig.

Vergleiche immer mit publizierten Effekten in deiner Subdisziplin.

Schäfer & Schwarz (2019). The meaningfulness of effect sizes in psychological research. Frontiers in Psychology.

Diese Folie ist wichtiger als sie aussieht. Wer gerade gelernt hat, Effektgrößen zu berichten, ersetzt sonst nur ein Ritual durch ein anderes: statt p < .05 sagt man dann “mittlerer Effekt nach Cohen”. Das wäre nichts gewonnen.

Das Suizidpräventions-Beispiel wirkt am stärksten. Ein kleiner Effekt auf eine Kennzahl, bei der jeder Prozentpunkt Menschenleben bedeutet, ist alles andere als klein.

Schäfer und Schwarz haben empirische Verteilungen von Effektstärken in der Psychologie ausgewertet. Nebenbei: Thomas Schäfer ist der Projektleiter dieses Vorhabens. Das kann man erwähnen, es macht den Bezug konkret.

Antwort 02: Die Stichprobe ehrlich planen

Erst Qualität, dann Größe.

Eine systematisch verzerrte Stichprobe liefert falsche Ergebnisse, egal wie groß sie ist. Mehr Fälle heilen keine Verzerrung, sie machen den falschen Wert nur präziser.

WEIRD-Stichproben (Western, Educated, Industrialised, Rich, Democratic) dominieren die Forschung bis heute.

Drop-out ist ein Auswahlmechanismus.

Wenn 30 % deiner Stichprobe abbrechen und das nicht zufällig geschieht, hast du keine repräsentative Stichprobe mehr. Egal wie sorgfältig du gezogen hast.

Der Kernsatz ist “mehr Fälle heilen keine Verzerrung”. Er widerspricht der Intuition, dass eine große Stichprobe automatisch gut ist, und er ist der Grund, warum Repräsentativität vor Größe kommt.

Beim Drop-out den Mechanismus betonen: entscheidend ist nicht, wie viele wegfallen, sondern wer. Wenn genau die schwierigen Fälle wegfallen, sieht die Intervention besser aus als sie ist. Das ist im zweiten Workshop das Kernbeispiel.

WEIRD nur kurz, das kennen die meisten. Falls nicht: Henrich, Heine und Norenzayan (2010).

Drei Wege zur Stichprobengröße

Weg 01, verbreitet

Power-Analyse

Wie viele brauche ich, um mit 80 % Wahrscheinlichkeit einen signifikanten p-Wert zu finden, wenn der wahre Effekt d = 0.5 ist?

Setzt genau das voraus, was man wissen will.

Weg 02, empfohlen

Präzisionsplanung

Wie viele brauche ich, damit mein Intervall schmaler wird als ± 0.15?

Direkter, ehrlicher, planbarer.

Weg 03, bayesianisch

Bayes-Faktor-Design

Wie viele brauche ich, damit der Bayes-Faktor mit hoher Wahrscheinlichkeit ≥ 10 wird, falls H₁ stimmt?

Und in allen drei Fällen gilt: mit 10 bis 20 Zeilen Simulationscode bekommst du eine ehrlichere Antwort als aus jeder Tabelle. Um den Fehler zu halbieren, brauchst du die vierfache Stichprobe.

Die drei Wege als drei Fragen vortragen, nicht als drei Verfahren. Die Frage ist jeweils der Inhalt.

Zu Weg 1 der entscheidende Einwand: die klassische Power-Analyse braucht den wahren Effekt als Input. Den kennt man nicht, deshalb setzt man meist ein, was man sich wünscht. Das erzeugt systematisch zu kleine Stichproben.

Weg 2 ist die eigentliche Empfehlung. Die Frage “wie genau will ich schätzen” lässt sich inhaltlich beantworten, ohne den Effekt vorher zu kennen.

Das Wurzelgesetz am Schluss ist die praktische Ernüchterung: Genauigkeit ist teuer. Vierfache Stichprobe für halben Fehler.

Antwort 03: Die Frage umdrehen

Statt „wie wahrscheinlich sind meine Daten, wenn nichts los ist?“ fragen wir:

Was glaube ich über die Welt, und wie ändert sich dieser Glaube, sobald neue Daten eintreffen?

\[P(\theta \mid D) = \frac{P(D \mid \theta)\, P(\theta)}{P(D)}\]

In Worten: Posterior = (Likelihood × Prior) / Evidenz.

Vorwissen wird nicht versteckt, sondern explizit gemacht und damit angreifbar.

Die Formel steht da, aber sie ist nicht der Punkt. Der Punkt ist der Satz im Kasten. Deshalb erst den Satz, dann die Formel, nicht umgekehrt.

Prior, Likelihood, Posterior je in einem Halbsatz: Prior ist, was ich vorher für plausibel hielt. Likelihood ist, wie gut die Daten zu einer Annahme passen. Posterior ist, was danach übrig bleibt.

Der Einwand “Priors sind subjektiv” kommt fast immer. Antwort: jede Analyse trifft Annahmen. Der Prior macht sie sichtbar. Eine unsichtbare Annahme ist nicht objektiver, sie ist nur unkritisierbar. Falls die Diskussion aufkommt, gibt es im Anhang eine Folie dazu.

Was du dadurch sagen darfst

Beim Konfidenzintervall ist die intuitive Lesart falsch. Es beschreibt die langfristige Erfolgsquote des Verfahrens, nicht die Lage des wahren Werts.

Beim Glaubwürdigkeitsintervall ist genau die intuitive Lesart richtig:

Mit 95 % Wahrscheinlichkeit liegt der wahre Wert in diesem Bereich.

Oder direkt entscheidungsnah:

Mit 87 % Wahrscheinlichkeit ist der Effekt mindestens d = 0.3.

Bayes-Faktor: Evidenzstärke statt Schwelle

BF₁₀	Evidenz für H₁
1 – 3	anekdotisch
3 – 10	moderat
10 – 30	stark
30 – 100	sehr stark
> 100	extrem

Dieselben Stufen gelten symmetrisch für BF₀₁, also Evidenz für die Nullhypothese. Genau das kann der Signifikanztest nicht.

Stufen nach Lee & Wagenmakers (2013).

Diese Folie ist der Nutzen-Beweis. Zwei Punkte hervorheben.

Erstens die Sprache. Die bayesianische Formulierung ist die, die Forschende, Anwendende und Öffentlichkeit ohnehin hören wollen. Wir mussten sie bisher nur verbieten, weil das Verfahren sie nicht hergab.

Zweitens die Symmetrie des Bayes-Faktors. Nicht signifikant heißt beim Signifikanztest nur “wir wissen nichts”. Der Bayes-Faktor unterscheidet zwischen “keine Evidenz” und “Evidenz für die Nullhypothese”. Für Wirksamkeitsnachweise und Nicht-Unterlegenheitsstudien ist das der praktisch wichtigste Unterschied.

Warnung an mich selbst: die Stufentabelle nicht als neue .05-Schwelle verkaufen. Sie ist eine Sprachhilfe, kein Entscheidungsautomat.

Genug Theorie. Schauen wir zu.

Live-Demo

Die Workshops laufen vollständig im Browser. Kein Konto, keine Installation, Python läuft direkt auf deinem Rechner in der Webseite.

Was wir gleich sehen, ist Kapitel 2 aus dem ersten Workshop:

SmartRail verbessert die Pünktlichkeit um 12 Sekunden. Der Effekt ändert sich im Folgenden nicht. Nur die Stichprobengröße wird verschoben, von 20 Fahrten auf 5000.

Frage an den Raum, bevor ich den Schieber bewege: Was passiert mit dem p-Wert? Und was passiert mit dem Effekt?

SmartRail ist ein fiktives Pilot-System der Deutschen Bahn und zieht sich als durchgängiges Beispiel durch alle Kapitel.

Diese Folie hat eine technische Funktion: sie kauft der nächsten Folie Ladezeit. Also hier bewusst nicht hetzen, mindestens 30 bis 45 Sekunden reden. Die Anwendung im Hintergrund startet währenddessen.

Die Frage an den Raum wirklich stellen und eine Antwort abwarten. Meist kommt “der p-Wert wird kleiner”. Nachfragen: “Und der Effekt?” Dann wird es still, und genau das ist der Lerneffekt.

Wer will, kann den QR auf der nächsten Folie scannen und selbst mitschieben. Das lohnt sich, weil dann jemand im Raum eine Zahl ruft, die ich nicht kontrolliere.

p-Wert und Stichprobengröße

Beyond Significance, Kapitel 2 · live im Browser · 15 min

Live-Demo, Kapitel 2: p-Wert und Stichprobengröße.

Vor dieser Folie mindestens 30 Sekunden reden. Die Anwendung startet erst, wenn die Folie in Reichweite kommt, und braucht bis zu einer halben Minute, bis sie rechnet.

Plan B, falls das eingebettete Fenster nicht laedt: dasselbe Kapitel parallel in einem zweiten Browserfenster offen halten und dorthin wechseln. Der QR oben rechts fuehrt zur selben Seite, der Raum kann also sofort mitmachen.

Nicht vergessen: die Folie ist bedienbar. Ein Klick landet in der Anwendung, nicht im Vortrag. Zum Weiterblattern zuerst neben die Anwendung klicken oder die Pfeiltasten benutzen.

Was wir gerade gesehen haben

Der Effekt hat sich nie geändert. 12 Sekunden, von Anfang bis Ende.

Der p-Wert hat sich völlig geändert. Bei n = 20 unauffällig, bei n = 5000 hochsignifikant.

Die Signifikanz testet primär deine Stichprobengröße, nicht die Größe oder Wichtigkeit des Effekts.

Mit genug Daten wird jeder beliebig kleine Effekt signifikant.

Und die praktische Frage bleibt völlig unbeantwortet: sind 12 Sekunden pro Fahrt es wert? Das entscheidet kein p-Wert, das entscheidet der Kontext.

Die Auflösung ist der Kern des ersten Workshops in einem Satz: Signifikanz ist eine Funktion von Effekt und Stichprobengröße, und bei großem n dominiert das n.

Der Schlusskasten führt zum fünften Kapitel: praktische Bedeutsamkeit. Wenn Zeit ist, hier kurz das 180-Millionen-Beispiel andeuten: ein Rollout für 180 Millionen Euro, hochsignifikant, realer Gewinn vier Sekunden pro Fahrt. Statistisch ein Triumph, praktisch ein teures Nichts.

Danach umschalten auf das Projekt. Der Vortrag hat jetzt gezeigt, dass es ein Problem gibt und dass es Antworten gibt. Jetzt kommt, wer das aufbaut.

Das Projekt

Wir vollziehen die Wende: von einem überholten statistischen Ritual zu einer Wissenschaft, die Evidenz wirklich beurteilt.

Beyond p-values, gefördert durch die VolkswagenStiftung

Warum jetzt?

Faktor 01

Reproduzierbarkeitskrise

Seit den 2000er-Jahren ist die Bereitschaft, methodische Praxis ehrlich zu hinterfragen, so hoch wie nie.

Faktor 02

Software-Reife

JASP, Jamovi, brms und Stan haben bayesianische Analysen massentauglich gemacht.

Faktor 03

Erste Vorreiter

Journals wie Basic and Applied Social Psychology zeigen seit 2015, dass Publizieren ohne p-Werte funktioniert.

Das Wissen ist alt. Die Werkzeuge sind neu. Der Moment ist jetzt.

Drei Faktoren, einer pro Atemzug. Der wichtigste ist Faktor 02: die Kritik am Signifikanztest ist Jahrzehnte alt, aber früher war die Alternative Spezialistenwissen. Heute klickt man sie in JASP zusammen. Das ist der eigentliche Unterschied zu allen früheren Reformversuchen.

Faktor 03 nimmt das Argument “das geht doch nicht” vorweg. Es geht, seit über zehn Jahren, in einem echten Journal.

Was wir tun

Stufe 01

Aufklärung und Training

Workshops, Train-the-Trainer-Programme und offene Materialien. Niederschwellig und während der Förderphase kostenfrei.

Stufe 02

Strukturelle Reform

Mit Verlagen, Journals und Fachgesellschaften Richtlinien für Studienberichte ohne p-Werte entwickeln.

Stufe 03

Öffentlichkeitsarbeit

Fact-Sheets nach Vorbild der Faktenboxen des Harding-Zentrums, verständlich für die Praxis.

Stufe 04

Netzwerk und Verstetigung

Eine Online-Plattform und ein Kooperationsnetz halten die Bewegung über das Förderende hinaus aktiv und skalieren auf weitere Disziplinen sowie in den englischsprachigen Raum.

Die vier Stufen sind bewusst als Wirkungslogik gebaut, nicht als Aktivitätenliste. Training allein ändert das System nicht, solange die Anreize gleich bleiben. Genau deshalb gibt es Stufe 02.

Wenn Vertretende von Journals oder Verlagen im Raum sind, ist Stufe 02 der Anknüpfungspunkt. Dann hier länger bleiben.

Bei Stufe 03 kurz erklären, was eine Faktenbox ist: ein standardisiertes Format, das Nutzen und Schaden einer medizinischen Maßnahme in absoluten Zahlen darstellt. Etabliert vom Harding-Zentrum für Risikokompetenz.

Wer dahintersteht

Projektleitung

Prof. Dr. Thomas Schäfer

Initiator des Vorhabens und wissenschaftliche Leitung. Verantwortlich für Konzeption und Antragstellung.

Umsetzung

Hannes Diemerling

Wissenschaftlicher Mitarbeiter. Entwicklung der Workshops und Materialien, Aufbau und Pflege der Plattform.

Unterstützung

Nina Isaac

Studentische Hilfskraft, Bachelor-Studentin an der HMU Erfurt. Web, Materialien und Datensätze.

In Trägerschaft der HMU Health and Medical University Erfurt, gefördert durch die VolkswagenStiftung im Rahmen der Förderlinie Pioniervorhaben. Die Verantwortung für den Inhalt liegt bei den Autorinnen und Autoren.

Kurz halten, das ist eine Legitimationsfolie, keine Inhaltsfolie. Zwei Sätze pro Person genügen.

Der Förderhinweis ist eine Auflage und gehört auf jede Präsentation. Nicht weglassen, auch nicht bei Zeitdruck.

Partner sind bewusst nicht auf dieser Folie: es ist bisher nichts angefragt oder zugesagt, alle geplanten Kooperationen sind Absicht, nicht Zusage. Wenn danach gefragt wird, ehrlich so sagen.

Das Angebot

Website-Tour

Alles, was jetzt kommt, ist offen zugänglich. Kostenfrei, ohne Anmeldung, vollständig im Browser.

Drei Wege ins Material

Weg 01

Workshops

Strukturiert lernen. Drei Workshops, 18 Kapitel, jedes mit Theorie und einer interaktiven Anwendung.

Weg 02

Fragen

Themenzentriert einsteigen. Zehn konkrete Fragen, jede führt direkt ins passende Kapitel.

Weg 03

Methoden

Vertiefen und nachlesen. p-Werte, Effektgrößen, Stichproben, bayesianische Analyse.

Wähle den Einstieg, der zu dir passt. Wer ein konkretes Problem hat, nimmt die Fragen. Wer systematisch lernen will, nimmt die Workshops.

Diese Folie ist die Landkarte. Wer sie verstanden hat, findet sich auf der Website zurecht, und genau das ist ein Ziel dieses Vortrags.

Den Unterschied zwischen Weg 01 und Weg 02 betonen. Das ist die eigentliche Designentscheidung der Seite: Menschen kommen selten mit “ich will Bayes lernen”, sie kommen mit “wie viele Probanden brauche ich”. Deshalb gibt es die Fragen-Seite.

Die nächste Folie zeigt die Seite live, hier also nicht zu lange bleiben.

Starte mit deiner Frage

Live auf der Website · scrollbar und klickbar

Die echte Seite, eingebettet und bedienbar. Hier wirklich scrollen und klicken, nicht nur zeigen. Der Raum soll sehen, dass das kein Screenshot ist.

Falls die Einbettung nicht laedt: der QR oben rechts fuehrt zur selben Adresse, dann im Browser danebenlegen.

Die drei Workshops

Workshop 01 · Grundlagen 01

Beyond Significance

Warum der p-Wert nichts über Bedeutsamkeit aussagt, und wie du Effektgrößen, Praxisrelevanz und Publikationsbias greifbar machst.

6 Kapitel ca. 2 h

Workshop 02 · Methodik 02

Repräsentativität & Stichprobengröße

Von der Stichprobe zur Population: Verzerrung, p-Hacking, Schätzgenauigkeit und Unsicherheit, anschaulich am SmartRail-Szenario.

5 Kapitel ca. 1.5 h

Workshop 03 · Vertiefung 03

Denke Bayesianisch

Vom Wahrscheinlichkeitsbegriff bis zur Posterior-Verteilung. Schritt für Schritt, mit interaktiven Beispielen aus dem SmartRail-Szenario.

7 Kapitel ca. 2 h

Die Reihenfolge ist didaktisch: vom Problem (Effekte) über die Methodik (Stichproben) zur Alternative (Bayes). Jeder Workshop steht aber auch für sich.

Die drei Nummern und die Reihenfolge erklären, das ist der didaktische Bogen: erst verstehen, warum der p-Wert die Frage nicht beantwortet, dann klären, wie verlässlich eine Stichprobe überhaupt ist, dann die bayesianische Alternative als Vertiefung.

Wenn jemand nur einen Workshop machen kann, empfehle ich Workshop 01. Er hat den größten Effekt pro investierter Stunde.

Wichtig und ehrlich: geführte Sessions sind in Planung, noch nicht buchbar. Im eigenen Tempo ist alles sofort verfügbar.

Was du morgen anders machen kannst

1. Berichte Effektgrößen, standardisiert und unstandardisiert, immer mit Intervall.
2. Plane Präzision statt Power. Frage, wie schmal dein Intervall werden soll.
3. Schreibe auf, was du vorhast, bevor du in die Daten schaust. Auch ohne formale Präregistrierung.
4. Vergleiche deinen Effekt mit deinem Feld, nicht mit Cohens Faustregel.
5. Nutze Nicht-Signifikanz nicht als Beleg für Abwesenheit. Oder rechne bayesianisch und bekomme eine echte Antwort.

Nichts davon braucht neue Software oder ein neues Studiendesign. Punkt 1 bis 4 sind Berichtsentscheidungen.

Das ist die Folie, die den Vortrag praktisch macht. Ohne sie bleibt er Kritik.

Der Satz am Schluss ist wichtig: die ersten vier Punkte kosten nichts außer Aufmerksamkeit. Niemand muss auf Bayes umsteigen, um besser zu berichten. Diese Zugänglichkeit ist Absicht, sonst schalten die Leute ab.

Wenn Zeit ist, hier eine Frage stellen: “Welchen der fünf Punkte könnt ihr im laufenden Projekt noch umsetzen?” Das erzeugt Selbstverpflichtung.

Danke

Das übergeordnete Ziel ist, zu zeigen und zu erklären, dass der Signifikanztest für die Beurteilung der Evidenz von Forschungsergebnissen ungeeignet ist und dass wesentlich bessere Alternativen zur Verfügung stehen.

Aus dem Antrag zum Pioniervorhaben

Fragen, Rückmeldungen, Kooperation: Thomas Schäfer, Thomas.Schaefer@hmu-erfurt.de

Alles zum Nachlesen

In Trägerschaft der HMU Health and Medical University Erfurt, gefördert durch die VolkswagenStiftung im Rahmen der Förderlinie Pioniervorhaben. Inhalte unter Creative Commons CC BY 4.0.

Die Schlussfolie stehen lassen, solange diskutiert wird. Der QR ist groß, damit noch jemand scannen kann, während die ersten Fragen kommen.

Das Zitat aus dem Antrag ist absichtlich das letzte Wort: es macht klar, dass das hier kein Meinungsbeitrag ist, sondern ein gefördertes Vorhaben mit einem klaren Ziel.

Danach folgt der Anhang. Nicht weiterklicken, sondern über das Menü (Taste o oder m) gezielt zur passenden Folie springen, wenn eine Frage darauf zielt.

Anhang

Reserve für Fragen

Diese Folien gehören nicht in den Durchlauf. Sie sind für die Diskussion da.

„Aber Priors sind doch subjektiv”

Der Einwand ist berechtigt und trifft zu kurz.

Jede statistische Analyse trifft Annahmen: Verteilungsform, Linearität, Unabhängigkeit, Wahl des Tests, Umgang mit Ausreißern. Priors machen eine dieser Annahmen explizit.

Eine unsichtbare Annahme ist nicht objektiver. Sie ist nur nicht kritisierbar.

Was die Praxis daraus macht

• Schwach informative Priors schließen Unsinn aus, ohne das Ergebnis zu bestimmen.
• Bei ausreichend Daten dominieren die Daten den Prior.
• Sensitivitätsanalyse: dasselbe Modell mit mehreren Priors rechnen und berichten, ob sich die Schlussfolgerung ändert.

Der häufigste Einwand überhaupt. Die Antwort in drei Zügen: erstens, ja, der Prior ist eine Annahme. Zweitens, alles andere auch. Drittens, es gibt ein Verfahren dafür, nämlich die Sensitivitätsanalyse.

Wenn jemand hartnäckig bleibt, ist die stärkste Erwiderung eine Rückfrage: “Mit welcher Begründung hast du in deiner letzten Analyse den t-Test gewählt und nicht Mann-Whitney?” Das war auch eine Annahme, sie stand nur nirgends.

„Kann ich beides berichten?”

Ja. Es ist sogar oft sinnvoll, gerade in einem Umfeld, das p-Werte erwartet.

Wenn beide Ergebnisse einander widersprechen, liegt das meist daran, dass der p-Wert die Frage falsch beantwortet, nicht der Bayes-Faktor.

Weitere häufige Fragen und die ausführlichen Antworten stehen auf der Methoden-Seite zur bayesianischen Datenanalyse.

Diese Antwort ist strategisch wichtig. Wer gerade einen Artikel im Review hat, kann nicht einfach aufhören, p-Werte zu berichten. Die Botschaft ist nicht “entweder oder”, sondern “Effektgröße und Intervall gehören immer dazu”.

Schlüsselliteratur

Quelle	Worum es geht
Cohen (1994). The earth is round (p < .05)	Klassische Polemik gegen die Schwellen-Logik
Wasserstein & Lazar (2016)	Offizieller ASA-Konsens zu p-Werten
Simmons, Nelson & Simonsohn (2011)	Wie QRPs die Falsch-positiv-Rate sprengen
Haller & Krauss (2002)	Selbst Methoden-Lehrende interpretieren falsch
Meehl (1978)	Der Signifikanztest als historischer Irrweg
Schäfer & Schwarz (2019)	Bedeutsamkeit von Effektgrößen, empirisch
Schönbrodt & Wagenmakers (2018)	Bayes-Faktor-Design-Analyse
Lee & Wagenmakers (2013)	Bayesianische Modellierung, inklusive BF-Stufen
McElreath, Statistical Rethinking	Wahrscheinlich der beste Bayes-Einstieg

Nicht vorlesen. Nur zeigen, wenn nach Quellen gefragt wird, und dann auf den QR verweisen. Die vollständige, kommentierte Liste steht im Hub.

Werkzeuge, mit denen es sofort geht

Ohne Code

JASP und Jamovi

Grafische Oberfläche, klassische und bayesianische Tests nebeneinander. Ideal für Lehre und den ersten eigenen Versuch.

Mit R

brms

Formel-Syntax wie lme4, darunter Stan. brm(y ~ x + (1|id), ...) und du hast ein bayesianisches Mehrebenenmodell.

Mit Python

PyMC und Stan

Volle Kontrolle über das Modell, moderne Sampler, ArviZ für die Diagnostik.

Alle genannten Werkzeuge sind Open Source und kostenfrei.

Diese Folie beantwortet die praktische Anschlussfrage “und womit rechne ich das jetzt”. Wenn das Publikum eher anwendungsorientiert ist, kann sie auch in den Hauptteil wandern, direkt nach Antwort 03.

Der Hinweis, dass alles Open Source ist, ist bei Kliniken und Schulen relevant: keine Lizenzkosten, keine Beschaffung.