Beyond Significance

Effekte verstehen statt p-Werte ablesen · Workshop 01 von 03

Beyond p-values · HMU Health and Medical University Erfurt

Alles zum Mitlesen

Alles, was heute kommt, steht dauerhaft online.

https://hannesdiemerling.github.io/Frequent-Reformation/

Kostenfrei, ohne Anmeldung, unter Creative Commons CC BY 4.0.

Ab der nächsten Folie steht oben rechts immer ein QR-Code. Er zeigt jeweils dorthin, wo das gerade Gezeigte nachlesbar ist. Du musst nichts mitschreiben.

Der Hub, Startseite

Kurz halten, 30 bis 45 Sekunden. Der Punkt ist Entlastung: niemand muss mitschreiben, niemand muss URLs abtippen. Bitte einmal explizit sagen, dass der QR oben rechts mitwandert und immer auf die passende Stelle zeigt. Wer will, scannt jetzt einmal und hat den Hub für den Rest der Session offen.

Die ausgeschriebene Adresse steht nur auf dieser einen Folie. Danach nie wieder, das ist Absicht.

Wo wir stehen

Heute · Workshop 01

Beyond Significance

Warum der p-Wert nichts über Bedeutsamkeit sagt, und was stattdessen zu berichten ist.

Workshop 02

Repräsentativität und Stichprobengröße

Wie verlässlich verallgemeinert eine Studie überhaupt?

Workshop 03

Denke Bayesianisch

Die Alternative: Wahrscheinlichkeiten für Hypothesen.

Die Reihenfolge ist didaktisch: vom Problem zur Lösung. Heute klären wir das Problem und den ersten, sofort umsetzbaren Teil der Lösung.

Einordnung in 60 Sekunden. Wer nur heute dabei ist, verpasst nichts, der Workshop steht für sich. Wer alle drei macht, sollte in dieser Reihenfolge gehen.

Kurz abfragen, wer schon mit dem Material im eigenen Tempo gearbeitet hat. Danach richtet sich, wie schnell die Kapitelteile laufen können.

Was du heute mitnimmst

• Den p-Wert sauber lesen und die sieben verbreiteten Fehlannahmen vermeiden.
• Erkennen, wann Signifikanz vor allem Stichprobengröße widerspiegelt.
• Effekte unstandardisiert und standardisiert berichten, immer mit Intervall.
• Praktische Bedeutsamkeit von statistischer Signifikanz abgrenzen.
• Publikationsbias verstehen und seine Folgen für Reviews einschätzen.

Sechs Kapitel, dazu drei Vertiefungsblöcke, die über das Selbstlern-Material hinausgehen.

Der Ablauf heute

00:00 Ankommen und Einordnung · 8 min 00:08 Block A Kapitel plus Vertiefung · 22 min 00:30 Übung 1 am interaktiven Kapitel, dann Auflösung · 20 min 00:50 Pause · 10 min 01:00 Block B Kapitel plus Vertiefung · 22 min 01:22 Übung 2, dann Auflösung · 18 min 01:40 Vertiefung C Praxis und Transfer auf eigene Studien · 15 min 01:55 Abschluss und Wegweiser · 5 min

Die beiden Übungsblöcke laufen an deinem eigenen Gerät, im interaktiven Kapitel. Bring also etwas mit, auf dem ein Browser läuft. Installieren musst du nichts.

Diese Folie ist der Vertrag mit dem Raum. Zwei Dinge ansprechen:

Erstens, es gibt zwei echte Arbeitsphasen. Wer nur zuhören will, kann das, aber die Übungen sind der Teil, der hängen bleibt.

Zweitens, die Pause ist eingeplant und wird eingehalten. Das nimmt Unruhe raus.

Wenn die Gruppe klein ist (unter zehn Personen), lohnt es, die Übungen zu Paaren zu machen: eine Person bedient, eine kommentiert. Das erzeugt mehr Gespräch als Einzelarbeit.

Block A

00:08 · 22 Minuten

Kapitel 1 und 2: die harte Grenze und was sie wirklich misst.

Kapitel 1: Die Illusion der harten Grenze

Kapitel 1 · 15 min

SmartRail auf zwei Strecken. Je 30 Fahrten, beide Strecken sparen rund 2,1 Minuten.

Strecke	Ersparnis	p	Urteil
München–Frankfurt	~ 2,1 min	0.047	signifikant, Erfolg
Hamburg–Berlin	~ 2,1 min	0.053	nicht signifikant, Misserfolg

Zwei faktisch gleich starke Effekte. Zwei konträre Entscheidungen.

Die Natur zieht keine magische Grenze zwischen p = 0.049 und p = 0.051.

Roter Faden: die Schwelle ist eine Konvention, die wir zu einer Naturgesetzgrenze gemacht haben.

Einstieg mit verdeckter Urteilsspalte. Nur die beiden Strecken und die Ersparnis zeigen und fragen, ob das dasselbe Ergebnis ist. Der Raum sagt ja, und er hat recht: 2,1 Minuten gegen 2,1 Minuten, bei gleicher Fallzahl.

Dann die p-Werte und das Urteil einblenden. Hier laut mitsprechen, was passiert: vier Tausendstel Unterschied, und daraus wird Erfolg gegen Misserfolg, Ausrollen gegen Einstellen, Publikation gegen Schublade. Der Bruch steckt nicht in den Daten, er entsteht in diesem Moment.

Die Anschlussfrage stellen und wirklich beantworten lassen: was unterscheidet die beiden Strecken denn tatsächlich? Die Antwort ist die Streuung, nicht der Effekt. Auf der unruhigeren Strecke rauscht dasselbe Signal stärker. Genau daran dreht die App im nächsten Kapitel.

Der Einwand „irgendwo muss man doch eine Grenze ziehen” kommt oft, und er ist berechtigt. Zustimmen und die Frage verschieben: das Problem ist nicht die Zahl .05, das Problem ist die binäre Behandlung. Wer .05 durch .005 ersetzt, verschiebt die Grenze und behält das Ritual. Dieser Vorschlag kommt in Kapitel 6 tatsächlich vor, dort greife ich das wieder auf.

Übergang zu Kapitel 2 als Frage formulieren: wenn nicht der Effekt über die Signifikanz entscheidet, was dann?

Kapitel 2: Signifikanz misst vor allem n

Kapitel 2 · 15 min

Der irrelevante Rekord. SmartRail verbessert die Pünktlichkeit um 12 Sekunden. Dieser Effekt bleibt im Folgenden konstant.

Stichprobe	p-Wert	Urteil
n = 20	deutlich über .05	nichts gefunden
n = 5000	weit unter .05	hochsignifikant

Die Signifikanz testet primär deine Stichprobengröße, nicht die Größe oder Wichtigkeit des Effekts.

Die statistische Signifikanz verdeckt die praktische Irrelevanz.

Roter Faden: p ist eine Funktion aus Effekt und Fallzahl, und bei großem n dominiert die Fallzahl.

Mit den 12 Sekunden anfangen und den Raum einordnen lassen: ist das viel? Die Antwort ist fast immer nein, und sie ist richtig. 12 Sekunden ändern keine Anschlussverbindung und keine Reiseentscheidung.

Dann die Tabelle aufziehen und die Pointe langsam setzen. Derselbe Effekt, 12 Sekunden, einmal unauffällig und einmal hochsignifikant. Verändert wurde nichts außer der Zahl der Testfahrten. Der Satz dazu: der Test hat hier nichts über die Bahn gelernt, er hat etwas über unser Messbudget gelernt.

Der Umkehrschluss ist der praktisch wichtigere und wird gern übersehen. Bei kleiner Fallzahl bleibt ein großer, wichtiger Effekt unentdeckt, und im Bericht steht dann „kein Unterschied”. Das ist Fehlannahme 6 aus der nächsten Folie, und sie kostet in der Praxis mehr als alle anderen. Absence of evidence is not evidence of absence.

Wenn sich das anbietet, hier einmal beide Richtungen zusammen sagen: ein signifikantes Ergebnis kann trivial sein, ein nicht signifikantes kann wichtig sein. Der p-Wert trennt diese vier Fälle nicht, er trennt zwei.

Diese Folie ist die Vorbereitung für Übung 1. Also nicht schon vorführen, bei welchem n die Schwelle fällt, das sollen die Leute selbst finden. Nur so weit gehen, dass klar ist, welcher Regler gemeint ist.

Vertiefung A: alle sieben Fehlannahmen

Das Kapitel behandelt das binäre Denken. Hier die vollständige Liste.

	Aussage	Status
1	p ist die Wahrscheinlichkeit, dass H₀ wahr ist	falsch
2	p < .05 heißt, der Effekt ist real	falsch, 5 % Fehlalarme per Konstruktion
3	p < .05 heißt, der Effekt ist groß oder wichtig	falsch, hängt an n
4	1 − p ist die Replikationswahrscheinlichkeit	falsch, und besonders schädlich
5	p ist die Wahrscheinlichkeit, dass es Zufall war	falsch
6	Nicht signifikant heißt kein Effekt	falsch
7	Konfidenzintervalle sind der bessere p-Wert	halb richtig

Nummer 7 ist der interessante Fall: das Intervall zeigt wenigstens die Effektgröße. Aber die intuitive Lesart, der wahre Wert liege mit 95 % Wahrscheinlichkeit darin, ist auch falsch. Diese Lesart erlaubt erst das Glaubwürdigkeitsintervall, und das kommt in Workshop 03.

Das ist Vertiefung, sie steht nicht im Selbstlern-Kapitel. Genau deshalb lohnt die geführte Session.

Die Tabelle nicht durchlesen. Stattdessen zwei Zeilen herausgreifen:

Nummer 4, weil sie die schädlichste ist. Wer glaubt, ein p von .01 bedeute 99 % Replikationschance, wundert sich zu Recht über die Replikationskrise. Die Replizierbarkeit hängt an wahrer Effektstärke und Stichprobenqualität, nicht am p der Originalstudie.

Nummer 6, weil sie die häufigste Fehlentscheidung in der Praxis erzeugt. “Absence of evidence is not evidence of absence.”

Nummer 7 als Cliffhanger für Workshop 03 stehen lassen.

Übung 1

00:30 · 20 Minuten

Jetzt du. Am eigenen Gerät, im interaktiven Kapitel 2.

Übung 1: den Schieber selbst bewegen

Kapitel 2, Schieber „Anzahl Testfahrten”.

1. Stelle n = 20 ein. Notiere den p-Wert und die Breite des Intervalls.
2. Schiebe hoch, bis p erstmals unter .05 fällt. Bei welchem n passiert das?
3. Gehe auf n = 5000. Was ist mit dem Effekt passiert? Was mit dem Intervall?
4. Diskutiere mit der Person neben dir: Ab welcher Ersparnis würdest du SmartRail ausrollen? Und braucht du dafür den p-Wert?

Kapitel 2 auf deinem Gerät

15 Minuten Arbeit, dann 5 Minuten Auflösung im Plenum. Der Effekt bleibt die ganze Zeit bei 12 Sekunden.

Ablauf: QR zeigen, warten bis die Hälfte des Raums die Seite offen hat, erst dann die Aufgabe vorlesen. Sonst hören alle nur halb zu.

Die Ladezeit ansprechen, bevor Unruhe entsteht: bis zu 30 Sekunden beim ersten Aufruf, das ist normal.

Herumgehen. Schritt 2 ist die Stelle, an der es klickt, dort gezielt fragen “und der Effekt?”.

Schritt 4 ist der eigentliche Kern und braucht Zeit. Wenn die Gruppe schnell ist, zusätzlich fragen: welche Information bräuchtest du, um das zu entscheiden? Antwort ist immer Kosten und Nutzen, also unstandardisierte Effekte. Das ist die Brücke zu Block B.

Auflösung: zwei oder drei Paare berichten, welches n sie gefunden haben. Die Zahlen werden auseinanderliegen, das ist selbst schon ein Befund.

p-Wert und Stichprobengröße

Beyond Significance, Kapitel 2 · live im Browser · 15 min

Live-Demo, Kapitel 2: p-Wert und Stichprobengröße.

Vor dieser Folie mindestens 30 Sekunden reden. Die Anwendung startet erst, wenn die Folie in Reichweite kommt, und braucht bis zu einer halben Minute, bis sie rechnet.

Plan B, falls das eingebettete Fenster nicht laedt: dasselbe Kapitel parallel in einem zweiten Browserfenster offen halten und dorthin wechseln. Der QR oben rechts fuehrt zur selben Seite, der Raum kann also sofort mitmachen.

Nicht vergessen: die Folie ist bedienbar. Ein Klick landet in der Anwendung, nicht im Vortrag. Zum Weiterblattern zuerst neben die Anwendung klicken oder die Pfeiltasten benutzen.

Pause

00:50 · 10 Minuten

Weiter um 01:00.

Danach: wie man Effekte tatsächlich berichtet.

Block B

01:00 · 22 Minuten

Kapitel 3 und 4: von der Statistik zurück in die Realität.

Kapitel 3: Unstandardisierte Effekte

Kapitel 3 · 15 min

Ein Effekt ist, je nach Forschungsfrage, der Unterschied in der Ausprägung der interessierenden Variable zwischen Gruppen oder Bedingungen oder die Stärke des Zusammenhangs zwischen zwei oder mehr Variablen.

Er ist die Brücke von der Statistik in die Realität.

0,5 Minuten oder 12 Minuten? Dieselbe Analyse, völlig verschiedene Konsequenz. Der p-Wert unterscheidet sie nicht zuverlässig, die Zahl schon.

Zwei Perspektiven, die das Kapitel anbietet:

• Alltagsrechner: Minuten pro Fahrt, hochgerechnet auf 230 Arbeitstage. Aus Sekunden werden Stunden pro Jahr.
• Einzelfahrt: wie viel Prozent der Fahrten sind tatsächlich pünktlicher?

Baguley (2009) zur Bedeutung unstandardisierter Effektmaße.

Roter Faden: die unstandardisierte Zahl ist die, mit der Entscheidungen getroffen werden. Sie kommt zuerst, das d kommt danach.

Die Definition wörtlich vorlesen. Sie ist präzise, und sie deckt beide Fälle ab: Unterschied zwischen Gruppen und Stärke eines Zusammenhangs. Danach den Satz darunter betonen, er ist der Kern der Folie. Alles, was über den Effekt hinausgeht, ist Rechnung. Der Effekt selbst ist die Sache.

Den Kontrast 0,5 gegen 12 Minuten laut ausspielen. Bei einer halben Minute diskutiert niemand über eine Milliardeninvestition, bei zwölf Minuten diskutiert niemand mehr darüber, ob man sie macht. Dieselbe Analyse, dasselbe p, zwei völlig verschiedene Welten.

Der Alltagsrechner ist der Moment, in dem Anwesende ohne Statistik-Hintergrund andocken. Die Hochrechnung auf 230 Arbeitstage macht aus einer abstrakten Zahl eine Größe, über die man entscheiden kann. Wer pendelt, rechnet im Kopf mit.

Die Einzelfahrt-Perspektive ist die ehrlichere Variante und die, die am meisten überrascht. Nicht „im Mittel besser”, sondern „in wie viel Prozent der Fahrten tatsächlich besser”. Dieser Anteil liegt fast immer viel näher an 50 Prozent, als der Raum erwartet. Das ist keine Spielerei, es ist die Zahl, die eine einzelne reisende Person betrifft. Sie kommt in Vertiefung B als CLES wieder.

Übergang als Frage: wenn die unstandardisierte Zahl so viel nützlicher ist, warum gibt es dann überhaupt standardisierte Maße?

Kapitel 4: Standardisierte Effektgrößen

Kapitel 4 · 20 min

\[d = \frac{|M_1 - M_2|}{SD}\]

Aspekt 01

Entdeckbarkeit

Eine Ersparnis von 5 Minuten bei SD = 2 ist ein klares Signal. Dieselben 5 Minuten bei SD = 20 verschwinden im Rauschen.

d ist ein Signal-Rausch-Verhältnis.

Aspekt 02

Vergleichbarkeit

Team Nord misst auf einer 5-Punkt-Skala, +0,5 Punkte. Team Süd misst auf einer 100-Punkt-Skala, +10 Punkte.

Verschiedene Skalen, identisches d. Erst das macht sie vergleichbar.

Wichtiger Vorbehalt. Die Richtwerte von Cohen (0.2, 0.5, 0.8) sind grobe Orientierungen, keine inhaltlichen Kriterien. Ein d = 0.3 kann in einem Kontext wichtig und in einem anderen trivial sein.

Roter Faden: d leistet zwei Dinge, und beide sind nützlich. Aber es verliert die Einheit, und damit die Entscheidungsgrundlage.

Zuerst die Formel entschärfen. Sie ist eine Division: Unterschied geteilt durch Streuung. Das laut sagen, es nimmt spürbar Druck aus dem Raum, und es ist wahr.

Aspekt 1 als Signal-Rausch-Verhältnis erklären. Die 5 Minuten bleiben in beiden Fällen gleich, nur die Umgebung wird unruhiger. Deshalb sinkt d, obwohl der Effekt konstant ist. Die Analogie, die gut funktioniert: dieselbe Ansage, einmal im leeren Bahnhof und einmal im Feierabendverkehr. Gleich laut gesprochen, nicht gleich gut zu hören.

Aspekt 2 ist der eigentliche Grund, warum d existiert. Meta-Analysen müssen Studien mit verschiedenen Skalen zusammenrechnen, und dafür brauchen sie eine gemeinsame Einheit. Team Nord und Team Süd haben identisches d und lassen sich deshalb überhaupt erst vergleichen.

Direkt danach den Preis nennen, sonst bleibt d als Königsweg im Raum stehen. 0,5 Punkte auf einer 5er-Skala und 10 Punkte auf einer 100er-Skala haben dasselbe d und möglicherweise völlig verschiedene praktische Bedeutung. Wer nur d berichtet, hat die Entscheidungsgrundlage weggerechnet. Deshalb immer beides.

Der Vorbehalt-Kasten ist die Brücke zu Vertiefung B. Dazu die Einordnung, die den meisten neu ist: Cohen hat seine Richtwerte ausdrücklich als Notlösung für Felder vorgeschlagen, die keine eigenen Vergleichswerte haben. Als Kriterium waren sie nie gedacht. Wer sie wie eine Schwelle benutzt, hat das Ritual nur umbenannt.

Vertiefung B: der Werkzeugkasten hinter d

Die Kapitel zeigen d. In Manuskripten begegnen dir mehr Maße.

Maß	Wofür	Orientierung
Cohen’s d	Mittelwertsvergleich zweier Gruppen	0.2 · 0.5 · 0.8
Hedges’ g	wie d, korrigiert für kleine Stichproben	≈ d ab n > 50
η² / ω²	Varianzaufklärung, ANOVA	.01 · .06 · .14
Pearson’s r	Zusammenhang zweier stetiger Variablen	.10 · .30 · .50
CLES	Wahrscheinlichkeit, dass ein zufälliger Fall besser ist	0.50 = Zufall, 0.71 ≈ d 0.8
Odds / Risk Ratio	binäre Ergebnisse, Medizin und Epidemiologie	1 = kein Unterschied

CLES ist der Kommunikations-Tipp. „In 71 % der Vergleiche geht es der behandelten Person besser” versteht jede Person sofort. „d = 0.8” nicht.

Vertiefung, nicht im Selbstlern-Kapitel enthalten.

Nicht die ganze Tabelle durchgehen, das wird zäh. Statt dessen: fragen, welche Maße die Anwesenden in ihren Feldern tatsächlich berichten, und nur die besprechen. Die Tabelle bleibt als Nachschlagewerk stehen, dafür ist der QR da.

CLES ist der Punkt, der am meisten mitgenommen wird. Es rechnet ein standardisiertes Maß in eine Aussage über Einzelfälle um, und das ist genau, was Praxis und Öffentlichkeit hören wollen.

Bei Odds Ratio kurz warnen: sie werden systematisch als Risiken fehlgelesen. Bei häufigen Ereignissen liegen OR und RR weit auseinander.

Vertiefung B: so berichtest du es

Der Minimalstandard für jeden Ergebnissatz:

1. Unstandardisiert, in der Einheit der Sache. 4,2 Punkte im BDI-II.
2. Standardisiert, für die Einordnung. d = 0.42.
3. Ein Intervall, immer. 95 % CI [0.18, 0.66] oder bayesianisch HDI [0.20, 0.65].
4. Ein Vergleich mit dem Feld, nicht mit Cohens Faustregel.

Domänenwissen schlägt Faustregel. Ein d = 0.2 für eine Suizidpräventions-Intervention ist riesig. Ein d = 0.5 für ein neues Lernformat in einem etablierten Feld ist eher mittelmäßig.

Schäfer & Schwarz (2019). The meaningfulness of effect sizes in psychological research. Frontiers in Psychology. Liefert empirische Verteilungen von Effektstärken als Vergleichsmaßstab.

Das ist die praktisch nützlichste Folie des ganzen Workshops. Hier darf man langsam werden.

Die vier Punkte als Checkliste vorstellen, die man an ein Manuskript anlegen kann. Punkt 4 ist der, der am häufigsten fehlt und am wenigsten Arbeit macht: einmal nachschauen, welche Effekte im eigenen Feld publiziert werden.

Warnung wiederholen, die schon im Über-Vortrag steht: wer nur Cohens Faustregel benutzt, hat das Ritual ersetzt, nicht überwunden.

Übung 2

01:22 · 18 Minuten

Zwei Skalen, ein d.

Übung 2: was d leistet und was es verliert

Kapitel 4, Ansicht „Vergleichbarkeit”.

1. Stelle ein d ein, das dir plausibel erscheint. Lies ab, welche Rohwert-Differenz das bei Team Nord und bei Team Süd bedeutet.
2. Wechsle auf „Entdeckbarkeit” und schiebe die Streuung hoch. Der Effekt bleibt bei 5 Minuten. Was passiert mit d?
3. Formuliere zu zweit einen Ergebnissatz für Team Süd, der beides enthält: Rohwert und d, plus eine Einordnung.
4. Diskutiert: Welche der beiden Zahlen würdet ihr dem Vorstand nennen? Und welche einer Meta-Analyse?

Kapitel 4 auf deinem Gerät

Schritt 3 ist der Kern und wird oft übersprungen, also explizit Zeit dafür einräumen und einsammeln. Zwei oder drei Sätze vorlesen lassen. Aus den Formulierungen des Raums lässt sich meist gemeinsam ein guter Satz bauen, das ist lehrreicher als eine Musterlösung von mir.

Schritt 4 ist die Pointe: die Antwort ist nicht “eine von beiden”, sondern “unterschiedliche Zahlen für unterschiedliche Zwecke”. Vorstand bekommt Rohwerte, Meta-Analyse bekommt d, Publikation bekommt beides.

Wenn Zeit knapp wird, Schritt 2 streichen, nicht Schritt 3.

Standardisierte Effektgrößen

Beyond Significance, Kapitel 4 · live im Browser · 15 min

Live-Demo, Kapitel 4: Standardisierte Effektgrößen.

Vor dieser Folie mindestens 30 Sekunden reden. Die Anwendung startet erst, wenn die Folie in Reichweite kommt, und braucht bis zu einer halben Minute, bis sie rechnet.

Plan B, falls das eingebettete Fenster nicht laedt: dasselbe Kapitel parallel in einem zweiten Browserfenster offen halten und dorthin wechseln. Der QR oben rechts fuehrt zur selben Seite, der Raum kann also sofort mitmachen.

Nicht vergessen: die Folie ist bedienbar. Ein Klick landet in der Anwendung, nicht im Vortrag. Zum Weiterblattern zuerst neben die Anwendung klicken oder die Pfeiltasten benutzen.

Block C

01:40 · 15 Minuten

Kapitel 5 und 6, dann Transfer auf die eigene Arbeit.

Kapitel 5: Praktische Bedeutsamkeit

Kapitel 5 · 15 min

Das hochsignifikante Nichts.

Investition	180 Mio €
Fahrten pro Jahr	500.000
p-Wert	< 0.001
Realer Gewinn	4 Sekunden pro Fahrt

Statistisch gesehen ein Triumph. Praktisch gesehen ein teures Nichts.

Die Frage ist nicht „Ist der Effekt von null verschieden?“, sondern „Ist der Effekt groß genug, um die Kosten zu rechtfertigen?”

Die Relevanzschwelle ist eine inhaltliche Entscheidung, keine statistische. Sie muss vorher festgelegt und begründet werden.

Roter Faden: Relevanz lässt sich ausschließlich an Effekten beurteilen, und die Schwelle kommt von außen, nicht aus den Daten.

Die Tabelle Zeile für Zeile aufbauen und den realen Gewinn zuletzt. Der Kontrast wirkt nur in dieser Reihenfolge: 180 Millionen, eine halbe Million Fahrten pro Jahr, p unter 0.001, und dann vier Sekunden. Nach der letzten Zeile eine Pause machen und nichts sagen. Der Raum macht den Rest.

Den Kernsatz danach wörtlich bringen: die Relevanz einer Maßnahme kann ausschließlich anhand der Effekte oder Effektgrößen beurteilt werden. Wichtig dabei, dass es nicht wie ein Vorwurf klingt: der p-Wert unter 0.001 ist hier vollkommen korrekt gerechnet. Er ist nur irrelevant für die Frage, die zur Debatte steht.

Die Frage im Kasten ist die eigentliche Botschaft der Folie, und sie passt auf fast jedes Projekt im Raum. Nicht „ist der Effekt von null verschieden”, sondern „ist er groß genug, um die Kosten zu rechtfertigen”.

Die App hat einen Schieber für die eigene Relevanzschwelle. Das ist didaktisch der wichtigste Regler des ganzen Workshops, weil er sichtbar macht, dass diese Zahl eine Setzung ist und keine Eigenschaft der Daten. Dabei ausdrücklich sagen: sie muss vorher festgelegt werden. Wer sie hinterher festlegt, legt sie so fest, dass das eigene Ergebnis darüber liegt.

Anschluss an die eigene Arbeit suchen: wer legt in euren Projekten die Relevanzschwelle fest? Meist niemand. Genau das ist der Punkt, und es ist eine Lücke, die sich in der nächsten Projektbesprechung schließen lässt. In Workshop 03 wird aus dieser Schwelle die ROPE, also ein richtiges statistisches Kriterium.

Kapitel 6: Publikationsbias

Kapitel 6 · 15 min

40 Teams untersuchen unabhängig dasselbe. Der wahre Effekt ist 2,0 Minuten. Publiziert wird nur, was signifikant wurde.

• Die Literatur zeigt einen größeren Effekt als die Realität.
• Meta-Analysen erben die Verzerrung.
• Replikationen scheitern, weil sie mit realistischeren Effekten arbeiten.

Kein Betrug, kein Vorsatz. Nur ein System, das die falsche Frage belohnt: Ist es signifikant? statt Wie groß ist der Effekt wirklich?

Niemand hat gelogen, aber das Bild ist verzerrt.

Roter Faden: die Verzerrung entsteht durch Selektion beim Publizieren, nicht durch Fehlverhalten beim Analysieren.

Die 40 Teams sind der Trick der Darstellung, und er ist es wert, erklärt zu werden: man sieht hier alle 40, auch die, die es in der Realität nie in ein Journal geschafft hätten. Diesen Blick hat in der echten Literatur niemand.

Den wahren Effekt von 2,0 Minuten vorher gut sichtbar festhalten. Dann die Einreichungslücke aufziehen und beobachten, wie der Mittelwert der sichtbaren Studien wegwandert. Die Zahl dabei laut mitlesen, dieses Wegwandern ist die ganze Aussage der Folie.

Der entscheidende Punkt für die Stimmung im Raum: die einzelnen Studien sind alle korrekt gerechnet. Niemand hat geschummelt, niemand hat gelogen. Der Fehler liegt in der Auswahl, die wir hinterher Literatur nennen.

Daraus die drei Folgen ableiten, die links stehen. Besonders die dritte, weil sie die Replikationskrise erklärt: eine Replikation plant ihre Fallzahl auf den publizierten, aufgeblähten Effekt und ist dadurch systematisch zu klein. Sie scheitert, und dann gilt die Replikation als das Problem.

Wenn der Einwand kommt, das sei ein Problem der Journals: zustimmen und weiterdrehen. Es ist ein Anreizproblem, und es betrifft alle im Raum, die schon einmal einen Nullbefund nicht aufgeschrieben haben. Diese Frage ruhig offen stellen, es melden sich mehr Leute als erwartet. Das ist die Überleitung zu Vertiefung C: was tun wir dagegen?

Vertiefung C: Bias erkennen und dagegenhalten

Diagnose

Funnel-Plot

Effekt gegen Präzision auftragen. Symmetrischer Trichter heißt unverzerrt, fehlende Ecke heißt Publikationslücke.

Diagnose

p-Curve

Die Verteilung der p-Werte knapp unter .05. Häuft sie sich dort, deutet das auf selektives Reporting.

Struktur

Registered Reports

Begutachtung vor der Datenerhebung. Die Annahme hängt am Design, nicht am Ergebnis. Damit verschwindet der Anreiz.

Auf Journal-Ebene ist die Debatte längst offen:

BASP, seit 2015	publiziert vollständig ohne p-Werte und ohne Konfidenzintervalle
Benjamin et al. (2018)	Vorschlag, die Schwelle auf .005 zu senken, kontrovers
McShane et al. (2019)	Vorschlag, Signifikanztests ganz abzuschaffen
Wasserstein et al. (2019)	„Moving to a world beyond p < 0.05”

Vertiefung, nicht im Selbstlern-Kapitel enthalten.

Die drei Karten unterscheiden Diagnose von Struktur. Funnel-Plot und p-Curve erkennen das Problem im Nachhinein. Registered Reports verhindern es. Nur das Zweite löst es wirklich.

Bei Registered Reports das entscheidende Detail nennen: die Zusage kommt vor der Erhebung, und sie gilt unabhängig vom Ergebnis. Damit ist ein Nullbefund publizierbar, und der Anreiz zum p-Hacking fällt weg.

Die Journal-Tabelle zeigt, dass die Fachgemeinschaft uneins ist, und das ist ehrlich so zu sagen. .005 statt .05 ist eine Verschärfung derselben Logik, nicht ihre Überwindung. Meine Position dazu offen sagen, aber als Position kennzeichnen.

Transfer: dein eigener Ergebnissatz

Nimm einen Satz aus einem eigenen Manuskript, Abstract oder Bericht. Falls du nichts dabei hast, nimm einen Satz aus einem Paper, das du kennst.

1. Steht dort nur ein p-Wert oder eine Signifikanzaussage?
2. Schreibe ihn um: Rohwert · standardisiertes Maß · Intervall · Einordnung.
3. Was fehlt dir dafür an Information? Notiere es. Genau das ist ab jetzt Teil deiner Auswertungsroutine.

Wer mag, liest vor. Vorher und nachher.

Das ist der wichtigste Teil der letzten Viertelstunde. Nicht kürzen, lieber Kapitel 6 straffen.

Erfahrungswerte: Schritt 3 ist der produktive Moment. Meist fehlt die Standardabweichung der Vergleichsgruppe oder die Fallzahl pro Zelle. Beides steht in eigenen Auswertungen fast immer zur Verfügung, es wurde nur nie berichtet.

Wenn niemand etwas dabei hat, habe ich zwei anonymisierte Beispielsätze in der Tasche. Die vorher vorbereiten.

Beim Vorlesen nichts korrigieren, sondern fragen: “Was weiß der Leser jetzt, was er vorher nicht wusste?” Das beantwortet der Raum selbst.

Weiterarbeiten

Wie du weiterkommst

Im eigenen Tempo

Die Kapitel noch einmal

Alle Kapitel bleiben offen zugänglich, jederzeit, ohne Anmeldung. Sie laufen vollständig im Browser.

Nachlesen

Die Methoden-Seiten

Die Vertiefungen von heute stehen als Text im Hub: p-Werte, Effektgrößen, Stichproben, bayesianische Analyse.

Einstieg über Fragen

Zehn konkrete Fragen

Jede Frage führt direkt in das passende Kapitel. Gut, wenn du später mit einem konkreten Problem zurückkommst.

Hier den Bogen zum Anfang schließen: die Session war der Einstieg, das Material bleibt. Besonders die Fragen-Seite betonen, sie ist der Weg zurück ins Material, wenn Wochen später ein konkretes Problem auftaucht.

Mitnehmen und weitergeben

• Alle Inhalte stehen unter Creative Commons CC BY 4.0. Du darfst sie in eigener Lehre verwenden, umbauen und weitergeben, mit Quellenangabe.
• Auch diese Folien. Sie liegen im Hub unter Folien.
• Geführte Workshops sind in Planung und noch nicht buchbar. Verfügbar ist alles im eigenen Tempo.

Fragen, Rückmeldungen, Kooperation: Thomas Schäfer, Thomas.Schaefer@hmu-erfurt.de

Fehler gefunden? Bitte als Issue melden, das hilft am meisten.

In Trägerschaft der HMU Health and Medical University Erfurt, gefördert durch die VolkswagenStiftung im Rahmen der Förderlinie Pioniervorhaben.

Wichtig und ehrlich bleiben: geführte Workshops sind noch nicht buchbar. Wenn jemand fragt, ob man das Format für sein Institut bekommen kann, ist die Antwort “noch nicht, aber schreib uns, wir sammeln Interesse”.

Der Hinweis auf Fehlermeldungen ist keine Floskel. Das Material ist neu, und Rückmeldungen aus echten Sessions sind die beste Qualitätssicherung.

Wo du das alles wiederfindest

Vertiefung A

Probleme des p-Werts

Die sieben Fehlannahmen, Publikationsbias, QRPs, Schlüsselliteratur.

Vertiefung B

Effekte und Effektgrößen

Alle Maße, Benchmarks im Kontext, Entscheidungstabelle, Reporting-Vorlagen.

Vertiefung C

Journals und Debatte

BASP, Registered Reports, die aktuelle Diskussion um die Schwelle.

Der nächste Schritt: Workshop 02 klärt, wie verlässlich deine Stichprobe überhaupt verallgemeinert. Das ist die andere Hälfte der Antwort.

Diese Folie ist der Wegweiser und ersetzt ein Handout. Jede Vertiefung von heute hat eine dauerhafte Adresse im Hub.

Am Ende auf Workshop 02 verweisen und einen Satz sagen, warum er anschließt: heute ging es darum, was wir berichten. Beim nächsten Mal geht es darum, ob die Zahlen überhaupt für die Population gelten.