Repräsentativität & Stichprobengröße

Wie verlässlich verallgemeinert deine Studie? · Workshop 02 von 03

Beyond p-values · HMU Health and Medical University Erfurt

Alles zum Mitlesen

Alles, was heute kommt, steht dauerhaft online.

https://hannesdiemerling.github.io/Frequent-Reformation/

Kostenfrei, ohne Anmeldung, unter Creative Commons CC BY 4.0.

Ab der nächsten Folie steht oben rechts immer ein QR-Code. Er zeigt jeweils dorthin, wo das gerade Gezeigte nachlesbar ist. Du musst nichts mitschreiben.

Der Hub, Startseite

Kurz halten, 30 bis 45 Sekunden. Der Punkt ist Entlastung: niemand muss mitschreiben, niemand muss URLs abtippen. Bitte einmal explizit sagen, dass der QR oben rechts mitwandert und immer auf die passende Stelle zeigt. Wer will, scannt jetzt einmal und hat den Hub für den Rest der Session offen.

Die ausgeschriebene Adresse steht nur auf dieser einen Folie. Danach nie wieder, das ist Absicht.

Wo wir stehen

Workshop 01

Beyond Significance

Was wir berichten sollten: Effekte statt Signifikanz.

Heute · Workshop 02

Repräsentativität und Stichprobengröße

Ob die berichteten Zahlen überhaupt für die Population gelten.

Workshop 03

Denke Bayesianisch

Die Alternative: Wahrscheinlichkeiten für Hypothesen.

Workshop 01 hat gezeigt, was zu berichten ist. Heute geht es darum, ob die Zahlen tragen. Ein perfekt berichteter Effekt aus einer verzerrten Stichprobe ist perfekt berichtet und falsch.

Der Anschluss an Workshop 01 in einem Satz: dort ging es um Berichtsqualität, hier um Datenqualität. Beides zusammen ist die Antwort, einzeln nicht.

Wer nur heute dabei ist: der Workshop steht für sich, es wird nichts aus 01 vorausgesetzt außer der Grundidee, dass Effektgrößen wichtiger sind als p-Werte.

Was du heute mitnimmst

• Repräsentativität einer Stichprobe bewerten und Grenzen der Verallgemeinerung benennen.
• Drop-outs und Missings als Auswahlmechanismus lesen, nicht als Datenverlust.
• p-Hacking erkennen und die Folgen für die Falsch-positiv-Rate einschätzen.
• Stichprobenpläne über das Wurzelgesetz und über Simulation aufstellen.
• Unsicherheit ehrlich kommunizieren, über das binäre signifikant hinaus.

Fünf Kapitel, dazu drei Vertiefungsblöcke, die über das Selbstlern-Material hinausgehen.

Der Ablauf heute

00:00 Ankommen und Einordnung · 8 min 00:08 Block A Kapitel plus Vertiefung · 22 min 00:30 Übung 1 am interaktiven Kapitel, dann Auflösung · 20 min 00:50 Pause · 10 min 01:00 Block B Kapitel plus Vertiefung · 22 min 01:22 Übung 2, dann Auflösung · 18 min 01:40 Vertiefung C Praxis und Transfer auf eigene Studien · 15 min 01:55 Abschluss und Wegweiser · 5 min

Die beiden Übungsblöcke laufen an deinem eigenen Gerät, im interaktiven Kapitel. Bring also etwas mit, auf dem ein Browser läuft. Installieren musst du nichts.

Diese Folie ist der Vertrag mit dem Raum. Zwei Dinge ansprechen:

Erstens, es gibt zwei echte Arbeitsphasen. Wer nur zuhören will, kann das, aber die Übungen sind der Teil, der hängen bleibt.

Zweitens, die Pause ist eingeplant und wird eingehalten. Das nimmt Unruhe raus.

Wenn die Gruppe klein ist (unter zehn Personen), lohnt es, die Übungen zu Paaren zu machen: eine Person bedient, eine kommentiert. Das erzeugt mehr Gespräch als Einzelarbeit.

Block A

00:08 · 22 Minuten

Kapitel 1 und 2: von der Stichprobe zur Population, und was auf dem Weg verloren geht.

Kapitel 1: Die Suche nach der Wahrheit

Kapitel 1 · 15 min

Die trügerische Stichprobe. Der wahre netzweite Effekt von SmartRail ist 2,5 Minuten. Niemand kennt ihn, alle schätzen ihn.

Stichprobe	gemessener Effekt
n = 20, Team A	0,8 min
n = 20, Team B	4,2 min
n = 500	nahe 2,5 min
n = 1000	noch näher

Eine systematisch verzerrte Stichprobe liefert immer falsche Ergebnisse, egal wie groß sie ist.

Zwei verschiedene Probleme: zufällige Streuung schrumpft mit n. Systematische Verzerrung nicht.

Roter Faden: zwei Fehlerquellen unterscheiden, und nur eine davon lässt sich mit Fallzahl bekämpfen.

Mit den beiden Teams bei n = 20 anfangen. Team A misst 0,8 Minuten, Team B misst 4,2 Minuten, und beide haben korrekt gerechnet. Das laut sagen, denn der erste Reflex im Raum ist, dass jemand einen Fehler gemacht haben muss. Hat niemand. Das ist Streuung, und bei 20 Fahrten ist sie genau so groß.

Dann n hochziehen und das Gesetz der großen Zahlen zeigen. Bei 500 und 1000 Fahrten laufen die Schätzungen auf die wahren 2,5 Minuten zu. Hier kurz innehalten, denn das ist die Hälfte der Botschaft, und es ist die Hälfte, die die Intuition schon kennt: mehr Daten, präziser.

Die andere Hälfte steht im Warnkasten, und die kennt die Intuition nicht. Eine systematische Verzerrung schrumpft nicht mit n. Mehr Fälle heilen keine Verzerrung, sie machen den falschen Wert nur präziser. Diesen Satz wörtlich bringen, er trägt den ganzen Workshop und kommt in Kapitel 2 sofort zur Anwendung.

Der Bruch kommt mit der App: sie simuliert 100 Studien parallel. Man sieht die ganze Verteilung, nicht nur die eine Studie, die man selbst gemacht hat. Genau diesen Blick hat man in der Praxis nie.

Merksatz zum Mitnehmen, ruhig zweimal: eine publizierte Studie ist eine Ziehung aus dieser Verteilung. Welche, weiß niemand, auch die Autorenschaft nicht.

Kapitel 2: Drop-out ist ein Auswahlmechanismus

Kapitel 2 · 15 min

Die verschwundenen Problemfahrten. 100 Fahrten. Die Sensoren fallen genau dort aus, wo es schwierig wird: Baustellen, Weichenstörungen, schlechtes Wetter.

• Übrig bleiben die einfachen Strecken.
• Dort wirkt SmartRail besser.
• Der berichtete Effekt wird künstlich aufgebläht.
• Kein Rechenfehler ist passiert.

Die Daten lügen nicht, aber sie zeigen nur noch die verzerrte halbe Wahrheit.

Entscheidend ist nicht, wie viele ausfallen, sondern wer. Wenn 30 % deiner Stichprobe abbricht und das nicht zufällig geschieht, hast du keine repräsentative Stichprobe mehr.

Roter Faden: fehlende Daten sind eine Information über den Auswahlprozess, nicht nur ein Loch in der Tabelle.

Das SmartRail-Beispiel ist bewusst technisch gewählt, weil es die Absichtslosigkeit zeigt. Kein Mensch hat entschieden, welche Fahrten wegfallen, ein Sensor hat es getan. Und er hat es genau dort getan, wo es schwierig wird.

Die Kette langsam durchgehen: Ausfall bei Baustellen, Störungen und schlechtem Wetter, übrig bleiben die einfachen Strecken, auf einfachen Strecken wirkt SmartRail besser, der berichtete Effekt steigt. Kein Rechenfehler, kein Vorsatz, und trotzdem ein falsches Ergebnis.

Die Übertragung sofort anschließen und nicht aufsparen. Wer bricht eine Therapiestudie ab? Meist die, denen es schlechter geht. Wer beantwortet einen Fragebogen zur Arbeitsbelastung nicht? Meist die, die zu belastet sind. Wer erscheint nicht zum Nachtermin? Meist die mit den unregelmäßigen Arbeitszeiten.

Und jedes Mal geht der Effekt in dieselbe Richtung: die Intervention sieht besser aus, als sie ist. Das ist kein Zufall, das ist der Mechanismus. Wer ausfällt, fällt aus einem Grund aus, und der Grund hängt meist mit dem Ergebnis zusammen.

Den Kasten unten als Merksatz setzen. Nicht wie viele ausfallen ist entscheidend, sondern wer. 30 Prozent zufälliger Ausfall kostet Präzision. 10 Prozent systematischer Ausfall kostet die Aussage.

Das ist die Vorbereitung für Übung 1. Also die App nur andeuten und den Regler zeigen, die Verdopplung des Effekts nicht schon vorführen.

Vertiefung A: Missing-Mechanismen benennen

Das Kapitel zeigt einen Fall. Es gibt drei, und sie haben sehr unterschiedliche Konsequenzen.

	Bedeutung	Was rettbar ist
MCAR	völlig zufällig fehlend	unproblematisch, nur Präzisionsverlust
MAR	fehlend abhängig von beobachteten Variablen	korrigierbar, etwa durch multiple Imputation
MNAR	fehlend abhängig von unbeobachteten Werten selbst	nicht aus den Daten korrigierbar

Das SmartRail-Beispiel ist MNAR: die Ausfälle hängen an der Streckenkomplexität, und die fehlt genau dort. Das ist der Fall, der sich nicht wegrechnen lässt. Man kann ihn nur benennen und in der Diskussion offenlegen.

Dazu die Frage der Verallgemeinerung: WEIRD-Stichproben (Western, Educated, Industrialised, Rich, Democratic) dominieren die Forschung bis heute. Auch eine perfekt vollständige Stichprobe von Psychologie-Studierenden im zweiten Semester verallgemeinert nur auf Psychologie-Studierende im zweiten Semester.

Vertiefung, nicht im Selbstlern-Kapitel enthalten. Die Begriffe MCAR, MAR und MNAR kommen dort nicht vor, obwohl das Kapitel einen MNAR-Fall zeigt.

Praktisch relevant ist genau diese Einordnung: Imputation ist verbreitet und wird oft angewandt, ohne zu prüfen, ob der Mechanismus sie überhaupt zulässt. Bei MNAR erzeugt Imputation Scheingenauigkeit.

Die ehrliche Botschaft: MNAR lässt sich nicht reparieren, nur berichten. Ein Limitations-Absatz, der den vermuteten Mechanismus benennt, ist mehr wert als jede Korrekturrechnung.

WEIRD kurz, aber nicht weglassen. Es ist der Fall, in dem die Stichprobe vollständig und trotzdem nicht verallgemeinerbar ist.

Übung 1

00:30 · 20 Minuten

Verzerrung selbst herstellen.

Übung 1: den Effekt künstlich aufblähen

Kapitel 2, Schieber für die Drop-out-Schwelle.

1. Setze die Schwelle so, dass alle Fahrten sichtbar sind. Notiere den mittleren Effekt.
2. Schiebe die Schwelle hoch, bis der berichtete Effekt sich verdoppelt hat. Wie viele Fahrten hast du dafür entfernt?
3. Schau auf die Punktwolke: welche Fahrten sind verschwunden? Beschreibe den Mechanismus in einem Satz.
4. Übertrage: in deiner Forschung, wer fällt systematisch aus? Und in welche Richtung verzerrt das?

Kapitel 2 auf deinem Gerät

Schritt 2 ist quantitativ und erzeugt den Aha-Moment: es braucht überraschend wenige entfernte Fälle für eine Verdopplung.

Schritt 4 ist der wichtigste und sollte eingesammelt werden. Erfahrungsgemäß kommen hier die besten Beispiele des ganzen Workshops, weil sie aus echten Projekten stammen. Zwei oder drei laut besprechen und jeweils die Richtung der Verzerrung gemeinsam bestimmen.

Wenn die Gruppe aus einem Feld kommt, lohnt es, Schritt 4 als Sammlung an der Tafel zu führen. Das Chalkboard ist mit b zu öffnen.

Verzerrung durch Dropouts und Missings

Repräsentativität & Stichprobengröße, Kapitel 2 · live im Browser · 15 min

Live-Demo, Kapitel 2: Verzerrung durch Dropouts und Missings.

Vor dieser Folie mindestens 30 Sekunden reden. Die Anwendung startet erst, wenn die Folie in Reichweite kommt, und braucht bis zu einer halben Minute, bis sie rechnet.

Plan B, falls das eingebettete Fenster nicht laedt: dasselbe Kapitel parallel in einem zweiten Browserfenster offen halten und dorthin wechseln. Der QR oben rechts fuehrt zur selben Seite, der Raum kann also sofort mitmachen.

Nicht vergessen: die Folie ist bedienbar. Ein Klick landet in der Anwendung, nicht im Vortrag. Zum Weiterblattern zuerst neben die Anwendung klicken oder die Pfeiltasten benutzen.

Pause

00:50 · 10 Minuten

Weiter um 01:00.

Danach: der Garten der sich verzweigenden Pfade.

Block B

01:00 · 22 Minuten

Kapitel 3 und 4: wie Freiheitsgrade Befunde erzeugen, und wie man Stichproben plant.

Kapitel 3: Der manipulierte Streckentest

Kapitel 3 · 15 min

Strecke Köln–Düsseldorf, 30 Fahrten pro Bedingung. Der wahre Effekt ist exakt null.

Analyseschritt	p
Alle Daten	0.35
ohne „Sonderfälle”	sinkt
ohne „Messfehler”	sinkt weiter
Endergebnis	0.04

Der Effekt wurde nicht entdeckt. Er wurde durch selektives Löschen künstlich erzeugt.

Simmons, Nelson und Simonsohn (2011): durch übliche fragwürdige Forschungspraktiken (QRPs) steigt die Falsch-positiv-Rate von 5 % auf bis zu 61 %.

Das ist das längste und wichtigste Kapitel des Workshops, es trägt den ganzen Block.

Roter Faden: jede einzelne Entscheidung ist begründbar, die Kombination ist das Problem.

Ganz zu Anfang festhalten und stehen lassen: der wahre Effekt ist exakt null. Alles, was hier gefunden wird, ist per Konstruktion falsch. Ohne diesen Satz wirkt die Folie wie ein Betrugsvorwurf, mit ihm wird sie ein Experiment.

Jeden Schritt einzeln plausibel machen, und zwar ernsthaft, nicht ironisch. Ausreißer entfernen steht in jedem Lehrbuch. Defekte Messungen ausschließen ist methodisch korrekt. Nur Werktage betrachten ist bei Bahndaten sogar klug. Jede dieser Entscheidungen würde ein Gutachten durchgehen lassen, und zwar zu Recht.

Und trotzdem steht am Ende 0.04, wo vorher 0.35 stand. Hier den Begriff einführen: verborgene Freiheitsgrade. Nicht die einzelne Entscheidung ist das Problem, sondern die Zahl der möglichen Entscheidungen, aus denen erst hinterher ausgewählt wird.

Das Bild vom Garten der sich verzweigenden Pfade dazugeben, es stammt von Gelman und Loken. Die App zählt alle Kombinationen aus und zeigt, wie viele davon signifikant sind. Das ist der Blick, den man beim Analysieren nie hat, weil man immer nur einen Pfad geht und die anderen gar nicht sieht.

Die Zahl von Simmons, Nelson und Simonsohn zum Schluss: aus 5 Prozent werden bis zu 61 Prozent Falsch-positive. Dazu der Hinweis, dass dieses Paper der Grund ist, warum p-Hacking und QRP heute geläufige Begriffe sind. Es ist von 2011, das Problem ist also keine neue Mode.

Wichtig für die Stimmung, und mindestens einmal ausdrücklich sagen: das ist kein Betrugsvorwurf. Der Punkt ist genau umgekehrt. Gute Absicht schützt nicht, weil der Mechanismus unabhängig von der Absicht funktioniert. Wer sich hier angegriffen fühlt, hört den Rest des Blocks nicht mehr zu, und der Rest des Blocks ist der nützliche Teil.

Kapitel 4: Wie genau willst du schätzen?

Kapitel 4 · 15 min

Der Vorstand fordert eine Genauigkeit von ± 1,5 Minuten. Wie viele Testfahrten braucht es dafür?

Um den Fehler zu halbieren, musst du die Stichprobengröße vervierfachen.

Das ist das Wurzelgesetz, und es ist die praktische Ernüchterung jeder Studienplanung: Genauigkeit skaliert nicht linear mit Aufwand.

Der Vorteil dieser Frage: sie ist inhaltlich beantwortbar. Wie genau du schätzen willst, weißt du. Wie groß der Effekt ist, weißt du nicht, das willst du ja erst herausfinden.

Abnehmender Grenznutzen zusätzlicher Testfahrten: irgendwann kostet jede weitere Verbesserung mehr, als sie wert ist. Das ist eine legitime Entscheidung, sie muss nur bewusst getroffen werden.

Roter Faden: die Präzisionsfrage ist beantwortbar, die Effektfrage nicht. Deshalb planen wir Präzision.

Mit der Forderung des Vorstands anfangen, weil sie so klingt, wie Forderungen in echten Projekten klingen: plus minus 1,5 Minuten, bitte. Das ist eine gute Forderung, denn sie ist überprüfbar.

Das Wurzelgesetz an konkreten Zahlen vorführen, nicht als Formel. Von plus minus 3 auf plus minus 1,5 heißt: vier mal so viele Fahrten. Von plus minus 1,5 auf plus minus 0,75 heißt: noch einmal vier mal so viele. Wer das einmal ausgerechnet hat, plant anders.

Dann den entscheidenden Vorteil hervorheben, und dafür lohnt ein eigener Moment. Die klassische Power-Analyse braucht den wahren Effekt als Eingabe. Den kennt niemand, deshalb wird eingesetzt, was man sich wünscht. Daraus folgen systematisch zu kleine Stichproben, und das ist einer der Hauptgründe dafür, dass so viele Befunde nicht replizieren.

Die Präzisionsfrage hat dieses Problem nicht. Wie genau du schätzen willst, kannst du inhaltlich entscheiden, ohne den Effekt zu kennen. Die Rückfrage, die dabei immer funktioniert: ab welchem Unterschied würde sich die Praxis ändern? So genau muss die Schätzung sein, nicht genauer.

Die Kurve des abnehmenden Grenznutzens zum Schluss, mit einem praktischen Hinweis: genau dieses Bild ist das beste Argument gegenüber Geldgebern und Ethikkommissionen. Es zeigt, dass die gewählte Fallzahl eine begründete Entscheidung war und keine Verhandlungsmasse.

Übergang zu Vertiefung B: das hier war ein Planungsweg von drei, und der verbreitetste ist es nicht.

Vertiefung B: drei Wege, systematisch

Weg 01, verbreitet

Power-Analyse

Wie viele brauche ich, um mit 80 % Wahrscheinlichkeit einen signifikanten p-Wert zu finden, wenn d = 0.5?

Annahme: der wahre Effekt ist bekannt. Grenze: ist er nicht. Also wird geraten.

Weg 02, empfohlen

Präzisionsplanung

Wie viele brauche ich, damit mein Intervall schmaler wird als ± 0.15?

Annahme: nur die Streuung. Stärke: die Frage ist inhaltlich entscheidbar.

Weg 03, bayesianisch

Bayes-Faktor-Design

Wie viele brauche ich, damit BF ≥ 10 wird, falls H₁ stimmt?

Stärke: erlaubt sequenzielles Testen ohne Alpha-Inflation.

Maxwell, Kelley & Rausch (2008) zur Präzisionsplanung · Schönbrodt & Wagenmakers (2018) zur Bayes-Faktor-Design-Analyse · Cumming (2014) zur „new statistics”.

Vertiefung, nicht im Selbstlern-Kapitel. Das Kapitel zeigt nur den zweiten Weg.

Weg 03 verdient einen eigenen Satz, weil er ein praktisches Problem löst, das den meisten aus eigener Erfahrung bekannt ist: man würde gern zwischendurch schauen, ob die Daten schon reichen. Beim p-Wert ist das Alpha-Inflation und damit verboten. Beim Bayes-Faktor ist sequenzielles Auswerten unproblematisch, weil er ein Evidenzverhältnis ist und keine Fehlerrate.

Das verbindet diesen Workshop mit Workshop 03, und man kann es hier als Ausblick setzen.

Vertiefung B: Simulation statt Tabelle

Der Weg, der immer funktioniert: simuliere deine eigene Studie, tausendmal.

1. Datengenerierenden Prozess aufschreiben: Effekt, Streuung, Fallzahl, Drop-out-Rate.
2. Eine Studie simulieren, auswerten, Ergebnis speichern.
3. Das tausendmal wiederholen.
4. Anschauen, wie oft du bei welcher Fallzahl zu welchem Schluss kommst.

Mit 10 bis 20 Zeilen Code bekommst du eine ehrlichere Antwort als aus jeder Tabelle. Und du kannst Drop-outs, Missings und Messfehler direkt mitmodellieren, was keine Formel für dich tut.

Der eigentliche Gewinn: du musst deine Annahmen explizit hinschreiben. Damit sind sie diskutierbar, prüfbar und für die Präregistrierung dokumentiert.

Vertiefung, nicht im Selbstlern-Kapitel. Auf der Methoden-Seite im Hub steht eine lauffähige R-Skizze mit replicate, die ich hier zeigen kann.

Kernbotschaft: Simulation ist keine Spezialistentechnik. Es ist eine Schleife um die eigene Auswertung.

Der Nebeneffekt ist der wichtigere und wird meist übersehen: um zu simulieren, muss man alle Annahmen benennen. Genau daran scheitern Studienplanungen sonst, weil die Annahmen implizit bleiben.

Wenn Zeit ist und der Raum Code-affin ist, hier die Skizze zeilenweise durchgehen. Wenn nicht, nur die vier Schritte und den QR.

Übung 2

01:22 · 18 Minuten

Im Garten der sich verzweigenden Pfade.

Übung 2: finde den kleinsten p-Wert

Kapitel 3. Der wahre Effekt ist null. Trotzdem:

1. Notiere den p-Wert ohne jede Anpassung.
2. Probiere Kombinationen aus den drei Filtern und der Subgruppen-Auswahl. Wie klein bekommst du p?
3. Lies ab: wie viele der möglichen Pfade sind bereits signifikant?
4. Begründe jeden deiner Filter in einem Satz, so wie du es in einem Methodenteil schreiben würdest. Klingt die Begründung unseriös?

Kapitel 3 auf deinem Gerät

Schritt 4 ist die eigentliche Aufgabe, und sie ist unangenehm im richtigen Sinn. Die Begründungen klingen nämlich nicht unseriös, sie klingen gut. Genau das ist die Lektion.

Auflösung im Plenum: zwei Personen lesen ihre Begründungen vor. Dann die Frage stellen, die niemand beantworten kann: “Woran hättest du als Gutachten gemerkt, dass das nachträglich entschieden wurde?” Antwort: an nichts. Deshalb braucht es Präregistrierung, und das führt direkt in Vertiefung C.

Wettbewerbselement funktioniert hier gut: wer findet das kleinste p? Das lockert auf und treibt die Exploration.

p-Hacking und falsch-positive Ergebnisse

Repräsentativität & Stichprobengröße, Kapitel 3 · live im Browser · 15 min

Live-Demo, Kapitel 3: p-Hacking und falsch-positive Ergebnisse.

Vor dieser Folie mindestens 30 Sekunden reden. Die Anwendung startet erst, wenn die Folie in Reichweite kommt, und braucht bis zu einer halben Minute, bis sie rechnet.

Plan B, falls das eingebettete Fenster nicht laedt: dasselbe Kapitel parallel in einem zweiten Browserfenster offen halten und dorthin wechseln. Der QR oben rechts fuehrt zur selben Seite, der Raum kann also sofort mitmachen.

Nicht vergessen: die Folie ist bedienbar. Ein Klick landet in der Anwendung, nicht im Vortrag. Zum Weiterblattern zuerst neben die Anwendung klicken oder die Pfeiltasten benutzen.

Block C

01:40 · 15 Minuten

Kapitel 5, der strukturelle Gegenzug, und Transfer auf eigene Designs.

Kapitel 5: Unsicherheit quantifizieren

Kapitel 5 · 15 min

Die gefährliche Illusion der Präzision. Punktschätzer: 2,5 Minuten.

Das Intervall reicht von 5,0 Minuten bis 0,1 Minuten. Beides ist mit den Daten verträglich: ein großer Erfolg und ein Nichts.

Die Betrachtung dieser Intervalle zwingt uns, die fehlerhafte und reduktive binäre Logik von signifikant und nicht signifikant zu überwinden. Anstatt eine künstliche Schwelle anzubeten, bewerten wir die gesamte Spanne der plausiblen Wahrheiten.

Der Punktschätzer ist die unwahrscheinlichste Aussage, die du machen kannst. Er ist genau ein Wert aus einer ganzen Spanne.

Roter Faden: das Intervall ist die eigentliche Aussage, der Punktschätzer ist nur seine Mitte.

Diese Folie braucht eine Abstimmung, sonst verpufft sie. Zuerst nur die 2,5 Minuten zeigen, das Intervall verdeckt lassen, und den Raum fragen: soll SmartRail netzweit ausgerollt werden? Meist deutliche Zustimmung, ruhig per Handzeichen auszählen.

Dann das Intervall einblenden, 0,1 bis 5,0 Minuten, und dieselbe Frage wortgleich wiederholen. Die Antwort ändert sich, und das Umschwenken im Raum ist der Lerneffekt. Beides ist mit denselben Daten verträglich: ein großer Erfolg und ein teures Nichts.

Den Merksatz danach klar setzen: berichte nie einen Punktschätzer ohne Intervall. Der Punktschätzer ist die unwahrscheinlichste Aussage, die du machen kannst, er ist genau ein Wert aus einer ganzen Spanne.

Das Zitat auf der Folie ist länger als üblich, also vorlesen und nicht paraphrasieren. Der Kern steckt im zweiten Satz: statt eine künstliche Schwelle anzubeten, bewerten wir die gesamte Spanne der plausiblen Wahrheiten.

Und dann ehrlich bleiben, auch wenn es die Folie Kraft kostet. Ein Konfidenzintervall erlaubt die intuitive Lesart trotzdem nicht. Es heißt nicht, dass der wahre Wert mit 95 Prozent Wahrscheinlichkeit zwischen 0,1 und 5,0 liegt. Es beschreibt die langfristige Erfolgsquote des Verfahrens.

Diese offene Rechnung nicht wegwischen, sondern ausdrücklich als offene Rechnung stehen lassen. Sie ist die Brücke zu Workshop 03 und zum Glaubwürdigkeitsintervall, und der Wegweiser am Ende des Decks nimmt sie wieder auf. Wenn jemand nachfragt, warum die intuitive Lesart verboten ist: weil die frequentistische Wahrscheinlichkeit über Verfahren spricht und nicht über einzelne Fälle. Mehr braucht es hier nicht, das ist Kapitel 1 von Workshop 03.

Vertiefung C: der strukturelle Gegenzug

Gegen den Garten der Pfade hilft keine Statistik, sondern eine Reihenfolge: erst festlegen, dann schauen.

Leichtgewichtig

Präregistrierung

Analyseplan vor der Erhebung festschreiben und mit Zeitstempel ablegen. Auf AsPredicted in unter zehn Minuten.

Vollständig

OSF

Projekt, Daten, Code, Materialien und Präregistrierung an einem Ort, versioniert und zitierbar.

Strukturell

Registered Reports

Begutachtung vor der Erhebung. Die Zusage hängt am Design, nicht am Ergebnis. Damit ist auch ein Nullbefund publizierbar.

Präregistrierung verbietet dir nichts. Sie trennt nur, was geplant war, von dem, was du entdeckt hast. Beides ist erlaubt, beides ist wertvoll, es muss nur unterscheidbar bleiben.

Vertiefung, nicht im Selbstlern-Kapitel enthalten.

Der Kasten unten ist der Satz, der den häufigsten Widerstand auflöst. Präregistrierung wird als Fessel wahrgenommen, die exploratives Arbeiten verbietet. Sie tut das nicht. Sie zwingt nur zur Kennzeichnung.

Bei AsPredicted die Niederschwelligkeit betonen: neun Fragen, unter zehn Minuten. Der häufigste Grund, es nicht zu tun, ist die Annahme, es sei aufwendig.

Registered Reports sind die stärkste Maßnahme, aber sie hängen am Journal. Wer Einfluss auf eine Redaktion hat, kann hier ansetzen. Das ist genau die Stufe 02 der Projekt-Wirkungslogik.

Transfer: dein eigenes Design

Nimm eine Studie, die du gerade planst oder kürzlich abgeschlossen hast.

1. Präzision statt Power: Wie genau musst du den Effekt schätzen, damit die Antwort für die Praxis brauchbar ist? Nenne eine Zahl mit Einheit.
2. Auswahlmechanismus: Wer fällt bei dir systematisch aus? MCAR, MAR oder MNAR?
3. Freiheitsgrade: Zähle die Analyseentscheidungen, die du noch nicht festgelegt hast. Wie groß ist dein Garten?
4. Ein konkreter nächster Schritt. Ein Satz, den du diese Woche umsetzt.

Das ist der Kern der geführten Session bei diesem Thema, und dieser Workshop hat dafür bewusst mehr Zeit als die anderen beiden. Nicht kürzen.

Schritt 1 ist am schwersten und am wertvollsten. Viele haben nie eine Zahl mit Einheit genannt. Bei Widerstand hilft die Rückfrage: “Ab welchem Unterschied würde sich eure Praxis ändern?” Das ist beantwortbar.

Schritt 3 überrascht regelmäßig. Wenn jemand zwölf offene Entscheidungen zählt, ist das ein Garten mit sehr vielen Pfaden, und das lässt sich ausrechnen.

Schritt 4 laut einsammeln, mindestens drei Personen. Ausgesprochene Vorsätze werden eher umgesetzt als gedachte.

Weiterarbeiten

Wie du weiterkommst

Im eigenen Tempo

Die Kapitel noch einmal

Alle Kapitel bleiben offen zugänglich, jederzeit, ohne Anmeldung. Sie laufen vollständig im Browser.

Nachlesen

Die Methoden-Seiten

Die Vertiefungen von heute stehen als Text im Hub: p-Werte, Effektgrößen, Stichproben, bayesianische Analyse.

Einstieg über Fragen

Zehn konkrete Fragen

Jede Frage führt direkt in das passende Kapitel. Gut, wenn du später mit einem konkreten Problem zurückkommst.

Hier den Bogen zum Anfang schließen: die Session war der Einstieg, das Material bleibt. Besonders die Fragen-Seite betonen, sie ist der Weg zurück ins Material, wenn Wochen später ein konkretes Problem auftaucht.

Mitnehmen und weitergeben

• Alle Inhalte stehen unter Creative Commons CC BY 4.0. Du darfst sie in eigener Lehre verwenden, umbauen und weitergeben, mit Quellenangabe.
• Auch diese Folien. Sie liegen im Hub unter Folien.
• Geführte Workshops sind in Planung und noch nicht buchbar. Verfügbar ist alles im eigenen Tempo.

Fragen, Rückmeldungen, Kooperation: Thomas Schäfer, Thomas.Schaefer@hmu-erfurt.de

Fehler gefunden? Bitte als Issue melden, das hilft am meisten.

In Trägerschaft der HMU Health and Medical University Erfurt, gefördert durch die VolkswagenStiftung im Rahmen der Förderlinie Pioniervorhaben.

Wichtig und ehrlich bleiben: geführte Workshops sind noch nicht buchbar. Wenn jemand fragt, ob man das Format für sein Institut bekommen kann, ist die Antwort “noch nicht, aber schreib uns, wir sammeln Interesse”.

Der Hinweis auf Fehlermeldungen ist keine Floskel. Das Material ist neu, und Rückmeldungen aus echten Sessions sind die beste Qualitätssicherung.

Wo du das alles wiederfindest

Vertiefung A und B

Stichproben und Präzision

WEIRD, Drop-outs, die drei Planungswege, Simulations-Skizze, Schlüsselliteratur.

Vertiefung A

Probleme des p-Werts

p-Hacking, QRPs, Publikationsbias und die 61-Prozent-Rechnung.

Vertiefung C

Journals und Werkzeuge

Registered Reports, OSF, AsPredicted, die aktuelle Debatte.

Der nächste Schritt: Workshop 03 löst die offene Rechnung von Kapitel 5 ein. Das Glaubwürdigkeitsintervall sagt genau das, was wir vom Konfidenzintervall immer erwartet haben.

Der Verweis auf Workshop 03 ist hier besonders sauber, weil Kapitel 5 tatsächlich eine Frage offenlässt, die erst dort beantwortet wird. Das ausdrücklich so sagen, es ist ein ehrlicher Cliffhanger und kein Verkaufsargument.