Jenseits des p-Werts. Besser forschen.

Kurzfassung · Workshops, Methoden und Werkzeuge für eine bessere Forschungspraxis

Beyond p-values · HMU Health and Medical University Erfurt

Alles zum Mitlesen

Alles, was heute kommt, steht dauerhaft online.

https://hannesdiemerling.github.io/Frequent-Reformation/

kostenfrei

ohne Anmeldung

im Browser

Der QR oben rechts wandert mit. Er zeigt immer dorthin, wo du das Gezeigte nachliest.

Der Hub, Startseite

Ein Test zum Aufwärmen

Mitmachen, anonym

Eine Studie berichtet p = 0,01. Sieben Aussagen. Welche davon kannst du ableiten? Abstimmung per QR, niemand sieht deine Antwort.

Was folgt aus diesem p-Wert?

Sie vergleichen in einem Experiment Mittelwerte zwischen Experimental- und Kontrollgruppe (je 20 Versuchspersonen). Zweiseitiges Testen der Nullhypothese liefert t = 2,7, damit p = 0,01. Welche der folgenden Aussagen können Sie aus diesem p-Wert ableiten?

  1. Ihre Nullhypothese (Populationsmittelwerte unterscheiden sich nicht) haben Sie widerlegt.
  2. Sie kennen nun die Wahrscheinlichkeit, mit der Ihre Nullhypothese richtig ist.
  3. Ihre experimentelle Hypothese (Populationsmittelwerte unterscheiden sich) haben Sie bewiesen.
  4. Sie kennen nun die Wahrscheinlichkeit, mit der Ihre Alternativhypothese richtig ist.
  5. Entscheiden Sie, die Nullhypothese zurückzuweisen, kennen Sie die Wahrscheinlichkeit, mit der Ihre Entscheidung falsch ist.
  6. Ihr experimenteller Befund ist reliabel in dem Sinne, dass, falls Sie das Experiment oftmals wiederholen, Sie in 99 % der Wiederholungen ein signifikantes Ergebnis erhalten.
  7. Sie kennen nun die Wahrscheinlichkeit, mit der das gefundene Ergebnis durch Zufall zustande gekommen ist.
  8. Alles von 1 bis 7 stimmt.
  9. Alles von 1 bis 7 ist falsch.

Anonym abstimmen

Alle sieben sind falsch

Studierende 100 % Forschende 90 % Methoden-Lehrende 80 %

Mindestens eine falsche Lesart. Auch bei denen, die es lehren.

Anteil mit mindestens einer Fehlinterpretation bei sechs dieser Aussagen. Haller & Krauss (2002), bis heute mehrfach repliziert.

Kein Randproblem

61 % Falsch-positiv-Rate, wenn übliche fragwürdige Forschungspraktiken (QRPs) zusammenkommen. Simmons et al. (2011)

~ 90 % der Forschenden interpretieren mindestens eine Aussage zum p-Wert falsch. Haller & Krauss (2002)

.05 eine willkürliche Schwelle, die zur Trennung von wahr und falsch geworden ist.

2015 verzichtet Basic and Applied Social Psychology als erstes Journal vollständig auf p-Werte.

The earth is round (p < .05).

Jacob Cohen, 1994

Die gute Nachricht

Die Wende

Bessere Alternativen gibt es seit Jahrzehnten. Ausgereift, gut beschrieben, in moderner Software einen Klick entfernt.

Was fehlt, ist die Anwendung.

Drei Fragen, die jede Studie stellt

Frage 01

Gibt es einen Effekt, und wie groß?

Effekte und Effektgrößen.

Frage 02

Wie verlässlich ist die Schätzung?

Stichprobe: Qualität vor Größe.

Frage 03

Was sagen die Daten über die Hypothese?

Bayesianische Datenanalyse.

Fast jede Studie stellt eine dieser drei Fragen. Der Signifikanztest beantwortet keine davon vollständig.

Drei Fragen, drei Antworten

Frage 01

Wie groß ist der Effekt?

Effektgrößen berichten. In der Einheit der Sache und standardisiert, immer mit Intervall.

4,2 Punkte im Depressionswert (BDI-II) · d = 0.42, 95-%-Intervall [0.18, 0.66]

Frage 02

Wie verlässlich ist die Schätzung?

Erst Qualität, dann Größe. Mehr Fälle heilen keine Verzerrung. Und statt Power planen wir Präzision.

Fehler halbieren heißt vierfache Stichprobe.

Frage 03

Was sagen die Daten über die Hypothese?

Bayesianisch rechnen. Wahrscheinlichkeiten für Hypothesen, auch für die Null.

Mit 87 % Wahrscheinlichkeit ist der Effekt mindestens d = 0.3.

Das Angebot

Website-Tour

Alles, was jetzt kommt, ist offen zugänglich. Kostenfrei, ohne Anmeldung, vollständig im Browser.

Drei Wege ins Material

Weg 01

Workshops

Strukturiert lernen. Drei Workshops, 18 Kapitel, jedes mit einer interaktiven Anwendung.

Weg 02

Fragen

Mit dem eigenen Problem einsteigen. Zehn Fragen, jede führt ins passende Kapitel.

Weg 03

Methoden

Nachlesen und vertiefen. p-Werte, Effektgrößen, Stichproben, Bayes.

Wer ein konkretes Problem hat, nimmt die Fragen. Wer systematisch lernen will, die Workshops.

Starte mit deiner Frage

Der Hub, live

Zehn Fragen, wie sie in der Praxis gestellt werden. Jede führt direkt in das Kapitel, das sie beantwortet.

https://hannesdiemerling.github.io/Frequent-Reformation/fragen/

Klick auf die Adresse öffnet die Seite in einem neuen Fenster.

Fragen-Seite öffnen

Die drei Workshops

Workshop 01 · Grundlagen 01

Beyond Significance

Warum der p-Wert nichts über Bedeutsamkeit aussagt, und wie du Effektgrößen, Praxisrelevanz und Publikationsbias greifbar machst.

6 Kapitel ca. 2 h

Workshop 02 · Methodik 02

Repräsentativität & Stichprobengröße

Von der Stichprobe zur Population: Verzerrung, p-Hacking, Schätzgenauigkeit und Unsicherheit, anschaulich am SmartRail-Szenario.

5 Kapitel ca. 1.5 h

Workshop 03 · Vertiefung 03

Denke Bayesianisch

Vom Wahrscheinlichkeitsbegriff bis zur Posterior-Verteilung. Schritt für Schritt, mit interaktiven Beispielen aus dem SmartRail-Szenario.

7 Kapitel ca. 2 h

Die Reihenfolge ist didaktisch: vom Problem (Effekte) über die Methodik (Stichproben) zur Alternative (Bayes). Jeder Workshop steht auch für sich.

Was du morgen anders machen kannst

  • Berichte Effektgrößen, immer mit Intervall.
  • Plane Präzision statt Power.
  • Schreibe auf, was du vorhast, bevor du in die Daten schaust.
  • Vergleiche mit deinem Feld, nicht mit Cohens Faustregel.
  • Nicht signifikant heißt nicht „kein Effekt”.

Punkt 1 bis 4 kosten nichts außer Aufmerksamkeit.

Danke

Alles kostenfrei, ohne Anmeldung, vollständig im Browser.

Drei Workshops, 18 Kapitel, dazu Methoden-Seiten und kuratierte Ressourcen. Inhalte unter Creative Commons CC BY 4.0, nutzbar in eigener Lehre.

Geführte Sessions für Institute und Teams sind in Planung.

Kontakt: Thomas Schäfer
Thomas.Schaefer@hmu-erfurt.de

Alles zum Nachlesen

In Trägerschaft der HMU Health and Medical University Erfurt, gefördert durch die VolkswagenStiftung im Rahmen der Förderlinie Pioniervorhaben.