Jenseits des p-Werts. Besser forschen.

Kurzfassung · Workshops, Methoden und Werkzeuge für eine bessere Forschungspraxis

Beyond p-values · HMU Health and Medical University Erfurt

Alles zum Mitlesen

Alles, was heute kommt, steht dauerhaft online.

https://hannesdiemerling.github.io/Frequent-Reformation/

Kostenfrei, ohne Anmeldung, unter Creative Commons CC BY 4.0.

Ab der nächsten Folie steht oben rechts immer ein QR-Code. Er zeigt jeweils dorthin, wo das gerade Gezeigte nachlesbar ist. Du musst nichts mitschreiben.

Der Hub, Startseite

Kurz halten, 30 bis 45 Sekunden. Der Punkt ist Entlastung: niemand muss mitschreiben, niemand muss URLs abtippen. Bitte einmal explizit sagen, dass der QR oben rechts mitwandert und immer auf die passende Stelle zeigt. Wer will, scannt jetzt einmal und hat den Hub für den Rest der Session offen.

Die ausgeschriebene Adresse steht nur auf dieser einen Folie. Danach nie wieder, das ist Absicht.

Ein Test zum Aufwärmen

Mitmachen

Eine Studie berichtet p = .01. Sechs Aussagen. Handzeichen bei jeder, die richtig ist.

Welche dieser Aussagen ist richtig?

Eine Studie vergleicht zwei Gruppen und berichtet p = .01.

1. Die Nullhypothese ist mit 1 % Wahrscheinlichkeit wahr.
2. Der Effekt ist real, denn p liegt unter .05.
3. Der Effekt ist groß, jedenfalls größer als bei p = .04.
4. Die Wahrscheinlichkeit, dass sich der Befund replizieren lässt, ist 99 %.
5. Die Wahrscheinlichkeit, dass das Ergebnis reiner Zufall war, ist 1 %.
6. Wäre p größer als .05, gäbe es keinen Effekt.

Handzeichen bitte. Bei jeder Aussage einzeln.

Das ist der wichtigste Moment des Vortrags. Nicht überspringen, und nicht abkürzen.

Ablauf: jede Aussage einzeln vorlesen, dann Handzeichen abwarten. Ruhig etwas Zeit lassen, auch wenn es still wird. Erfahrungsgemäß gehen bei 2, 4 und 5 viele Hände hoch.

Wichtig ist der Ton. Das ist kein Test, bei dem jemand durchfällt. Ich sage vorher: “Ich habe das selbst jahrelang falsch gehabt, und die Leute, die Methoden unterrichten, haben es auch falsch.” Das nimmt den Druck raus und macht den Raum ehrlich.

Wenn niemand die Hand hebt, weil alle den Trick ahnen: dann frage ich stattdessen “Welche davon habt ihr schon einmal so in einem Paper gelesen?” Das funktioniert immer.

Alle sechs sind falsch

Keine einzige der sechs Aussagen trifft zu. Sie sind nicht ungenau, sie sind falsch.

~ 90 % der Forschenden interpretieren mindestens eine Aussage zum p-Wert falsch. Haller & Krauss (2002)

auch die Lehrenden Dieselbe Untersuchung zeigt: auch Personen, die Methoden unterrichten, liegen daneben.

Das ist kein Wissensproblem einzelner Personen. Es ist ein strukturelles Problem der Ausbildung.

Die Auflösung ohne Triumph vortragen. Der Satz, der sitzen muss: das ist kein individuelles Versäumnis, sondern ein Ausbildungsproblem. Genau deshalb gibt es dieses Projekt.

Haller und Krauss (2002) haben Studierende, wissenschaftliche Mitarbeitende und Methoden-Lehrende befragt. In allen drei Gruppen lagen die Fehlerquoten hoch. Der Befund ist mehrfach replizierbar und gilt bis heute.

Wenn jemand nach Aussage 3 nachfragt: p = .01 gegen p = .04 sagt nichts über die Effektgröße, weil der p-Wert von Effekt UND Stichprobengröße abhängt. Das kommt auf der nächsten Folie.

Kein Randproblem

61 % Falsch-positiv-Rate, wenn übliche fragwürdige Forschungspraktiken (QRPs) zusammenkommen. Simmons et al. (2011)

~ 90 % der Forschenden interpretieren mindestens eine Aussage zum p-Wert falsch. Haller & Krauss (2002)

.05 eine willkürliche Schwelle, die zur Trennung von wahr und falsch geworden ist.

2015 verzichtet Basic and Applied Social Psychology als erstes Journal vollständig auf p-Werte.

The earth is round (p < .05).

Jacob Cohen, 1994

Die vier Zahlen einzeln durchgehen, nicht als Block überfliegen.

61 Prozent: das ist der Wert, den Simmons, Nelson und Simonsohn erreichen, wenn sie vier übliche Freiheitsgrade kombinieren. Nominal 5 Prozent, faktisch 61. Diese Zahl kommt später im Detail, wenn wir p-Hacking behandeln.

.05: kurz erwähnen, dass Fisher die Schwelle als pragmatische Konvention vorgeschlagen hat, nicht als Naturkonstante. Er selbst hat sie flexibel gehandhabt.

2015 BASP: das ist der Punkt, an dem der Vortrag von Kritik zu Machbarkeit kippt. Es gibt ein Journal, das seit über zehn Jahren ohne p-Werte publiziert. Es funktioniert. Das ist keine Theorie.

Das Cohen-Zitat ist der Titel eines Aufsatzes von 1994. Die Pointe: dass die Erde rund ist, würde niemand mit einem p-Wert belegen wollen.

Die gute Nachricht

Die Wende

Bessere Alternativen existieren seit Jahrzehnten. Sie sind technisch ausgereift, didaktisch gut beschrieben und in moderner Software niederschwellig verfügbar.

Was fehlt, ist die flächendeckende Anwendung.

Drei Fragen, die jede Studie beantworten sollte

Frage 01

Gibt es einen Effekt, und wie groß?

Antwort: Effekte und Effektgrößen. Der p-Wert kann das prinzipbedingt nicht.

Frage 02

Wie verlässlich ist die Schätzung?

Antwort: Stichprobenqualität und Stichprobengröße. Nicht jede pauschale Power-Tabelle.

Frage 03

Was sagen die Daten über die Hypothese?

Antwort: Bayesianische Datenanalyse. Wahrscheinlichkeiten für Hypothesen statt Sieger-Verlierer-Schema.

Praktisch jede empirische Studie versucht, eine dieser drei Fragen zu beantworten. Der klassische Signifikanztest beantwortet keine davon vollständig.

Das ist die Scharnierfolie des Vortrags und gleichzeitig die Gliederung der nächsten Minuten. Auch die Website ist genau so aufgebaut, das erwähne ich hier kurz, weil es später beim Zurechtfinden hilft.

Der Satz unten ist der wichtigste des ganzen Vortrags. Ihn wörtlich sagen, nicht paraphrasieren.

Die drei Farben sind nicht dekorativ: coral, teal und navy sind die Farben der drei Workshops. Wer die Website danach besucht, erkennt sie wieder. Das darf man ruhig einmal explizit machen.

Drei Fragen, drei Antworten

Frage 01

Wie groß ist der Effekt?

Effektgrößen berichten. Unstandardisiert für die Entscheidung, standardisiert für den Vergleich, immer mit Intervall.

4,2 Punkte im BDI-II · d = 0.42, 95 % CI [0.18, 0.66]

Und immer im Vergleich zum eigenen Feld, nicht zu Cohens Faustregel.

Frage 02

Wie verlässlich ist die Schätzung?

Erst Qualität, dann Größe. Mehr Fälle heilen keine Verzerrung. Drop-out ist ein Auswahlmechanismus.

Und statt Power planen wir Präzision: wie schmal soll das Intervall werden?

Fehler halbieren heißt vierfache Stichprobe.

Frage 03

Was sagen die Daten über die Hypothese?

Bayesianisch rechnen. Posterior = Likelihood × Prior / Evidenz.

Mit 87 % Wahrscheinlichkeit ist der Effekt mindestens d = 0.3.

Der Bayes-Faktor liefert auch Evidenz für die Nullhypothese. Das kann der Signifikanztest nicht.

Diese Folie ersetzt in der Kurzfassung drei ausführliche Folien. Sie ist dicht, also strukturiert vortragen: eine Spalte, ein Gedanke, ungefähr eine Minute.

Pro Spalte einen Satz auswählen, der hängen bleiben soll. Meine Wahl: Spalte 1 “der p-Wert kann die Größe prinzipbedingt nicht liefern”. Spalte 2 “mehr Fälle heilen keine Verzerrung”. Spalte 3 “der Bayes-Faktor kann auch für die Nullhypothese sprechen”.

Nicht versuchen, hier alles zu erklären. Die Folie soll neugierig machen, nicht ausbilden. Für die Ausbildung gibt es die Workshops, und darauf verweist die nächste Folie.

Das Angebot

Website-Tour

Alles, was jetzt kommt, ist offen zugänglich. Kostenfrei, ohne Anmeldung, vollständig im Browser.

Drei Wege ins Material

Weg 01

Workshops

Strukturiert lernen. Drei Workshops, 18 Kapitel, jedes mit Theorie und einer interaktiven Anwendung.

Weg 02

Fragen

Themenzentriert einsteigen. Zehn konkrete Fragen, jede führt direkt ins passende Kapitel.

Weg 03

Methoden

Vertiefen und nachlesen. p-Werte, Effektgrößen, Stichproben, bayesianische Analyse.

Wähle den Einstieg, der zu dir passt. Wer ein konkretes Problem hat, nimmt die Fragen. Wer systematisch lernen will, nimmt die Workshops.

Diese Folie ist die Landkarte. Wer sie verstanden hat, findet sich auf der Website zurecht, und genau das ist ein Ziel dieses Vortrags.

Den Unterschied zwischen Weg 01 und Weg 02 betonen. Das ist die eigentliche Designentscheidung der Seite: Menschen kommen selten mit “ich will Bayes lernen”, sie kommen mit “wie viele Probanden brauche ich”. Deshalb gibt es die Fragen-Seite.

Die nächste Folie zeigt die Seite live, hier also nicht zu lange bleiben.

Starte mit deiner Frage

Live auf der Website · scrollbar und klickbar

Die echte Seite, eingebettet und bedienbar. Hier wirklich scrollen und klicken, nicht nur zeigen. Der Raum soll sehen, dass das kein Screenshot ist.

Falls die Einbettung nicht laedt: der QR oben rechts fuehrt zur selben Adresse, dann im Browser danebenlegen.

Die drei Workshops

Workshop 01 · Grundlagen 01

Beyond Significance

Warum der p-Wert nichts über Bedeutsamkeit aussagt, und wie du Effektgrößen, Praxisrelevanz und Publikationsbias greifbar machst.

6 Kapitel ca. 2 h

Workshop 02 · Methodik 02

Repräsentativität & Stichprobengröße

Von der Stichprobe zur Population: Verzerrung, p-Hacking, Schätzgenauigkeit und Unsicherheit, anschaulich am SmartRail-Szenario.

5 Kapitel ca. 1.5 h

Workshop 03 · Vertiefung 03

Denke Bayesianisch

Vom Wahrscheinlichkeitsbegriff bis zur Posterior-Verteilung. Schritt für Schritt, mit interaktiven Beispielen aus dem SmartRail-Szenario.

7 Kapitel ca. 2 h

Die Reihenfolge ist didaktisch: vom Problem (Effekte) über die Methodik (Stichproben) zur Alternative (Bayes). Jeder Workshop steht aber auch für sich.

Die drei Nummern und die Reihenfolge erklären, das ist der didaktische Bogen: erst verstehen, warum der p-Wert die Frage nicht beantwortet, dann klären, wie verlässlich eine Stichprobe überhaupt ist, dann die bayesianische Alternative als Vertiefung.

Wenn jemand nur einen Workshop machen kann, empfehle ich Workshop 01. Er hat den größten Effekt pro investierter Stunde.

Wichtig und ehrlich: geführte Sessions sind in Planung, noch nicht buchbar. Im eigenen Tempo ist alles sofort verfügbar.

Was du morgen anders machen kannst

1. Berichte Effektgrößen, standardisiert und unstandardisiert, immer mit Intervall.
2. Plane Präzision statt Power. Frage, wie schmal dein Intervall werden soll.
3. Schreibe auf, was du vorhast, bevor du in die Daten schaust. Auch ohne formale Präregistrierung.
4. Vergleiche deinen Effekt mit deinem Feld, nicht mit Cohens Faustregel.
5. Nutze Nicht-Signifikanz nicht als Beleg für Abwesenheit. Oder rechne bayesianisch und bekomme eine echte Antwort.

Nichts davon braucht neue Software oder ein neues Studiendesign. Punkt 1 bis 4 sind Berichtsentscheidungen.

Das ist die Folie, die den Vortrag praktisch macht. Ohne sie bleibt er Kritik.

Der Satz am Schluss ist wichtig: die ersten vier Punkte kosten nichts außer Aufmerksamkeit. Niemand muss auf Bayes umsteigen, um besser zu berichten. Diese Zugänglichkeit ist Absicht, sonst schalten die Leute ab.

Wenn Zeit ist, hier eine Frage stellen: “Welchen der fünf Punkte könnt ihr im laufenden Projekt noch umsetzen?” Das erzeugt Selbstverpflichtung.

Danke

Alles kostenfrei, ohne Anmeldung, vollständig im Browser.

Drei Workshops, 18 Kapitel, dazu Methoden-Seiten und kuratierte Ressourcen. Inhalte unter Creative Commons CC BY 4.0, nutzbar in eigener Lehre.

Geführte Sessions für Institute und Teams sind in Planung.

Kontakt: Thomas Schäfer, Thomas.Schaefer@hmu-erfurt.de

Alles zum Nachlesen

In Trägerschaft der HMU Health and Medical University Erfurt, gefördert durch die VolkswagenStiftung im Rahmen der Förderlinie Pioniervorhaben.

In der Kurzfassung ist diese Folie wichtiger als in der Langfassung, weil sie die einzige Stelle ist, an der das Angebot vollständig benannt wird. Die drei Zahlen nennen: drei Workshops, 18 Kapitel, kostenfrei.

Wenn die Kurzfassung als Aufschlag vor einem Workshop-Tag läuft, hier direkt in den Tagesablauf überleiten. Wenn sie als Vorstellung gegenüber einer Institution läuft, hier die Frage stellen, welcher Bereich für die Einrichtung am interessantesten ist.