Denke Bayesianisch

Bayesianische Intuition aufbauen · Workshop 03 von 03

Beyond p-values · HMU Health and Medical University Erfurt

Alles zum Mitlesen

Alles, was heute kommt, steht dauerhaft online.

https://hannesdiemerling.github.io/Frequent-Reformation/

Kostenfrei, ohne Anmeldung, unter Creative Commons CC BY 4.0.

Ab der nächsten Folie steht oben rechts immer ein QR-Code. Er zeigt jeweils dorthin, wo das gerade Gezeigte nachlesbar ist. Du musst nichts mitschreiben.

Der Hub, Startseite

Wo wir stehen

Workshop 01

Beyond Significance

Effekte berichten statt Signifikanz ablesen.

Workshop 02

Repräsentativität und Stichprobengröße

Ob die Zahlen für die Population tragen.

Heute · Workshop 03

Denke Bayesianisch

Die Frage umdrehen und endlich die Antwort bekommen, die wir wollten.

Zwei offene Rechnungen aus den ersten beiden Workshops werden heute eingelöst: echte Evidenz für die Nullhypothese, und ein Intervall, das man so lesen darf, wie man es intuitiv liest.

Was du heute mitnimmst

Den Unterschied zwischen frequentistischer und bayesianischer Wahrscheinlichkeit benennen.
Das Bayes-Theorem an einem konkreten Fall nachvollziehen.
Prior, Likelihood und Posterior auseinanderhalten und ihr Zusammenspiel erklären.
Ein Glaubwürdigkeitsintervall korrekt interpretieren und formulieren.
Vorhersagen treffen, die Unsicherheit ehrlich ausweisen.
Die Rolle von MCMC verstehen, wenn analytische Lösungen versagen.

Sieben Kapitel in drei Blöcken, dazu drei Vertiefungen, die über das Selbstlern-Material hinausgehen. Darunter der Bayes-Faktor, der in den Kapiteln gar nicht vorkommt.

Der Ablauf heute

00:00 Ankommen und Einordnung · 5 min 00:05 Block A Grundlagen, Kapitel 1 und 2, plus Vertiefung · 22 min 00:27 Übung 1 Basisraten, Kapitel 2 · 20 min 00:47 Pause · 10 min 00:57 Block B Die drei Zutaten, Kapitel 3 bis 5, plus Vertiefungen · 25 min 01:22 Übung 2 Prior gegen Daten, Kapitel 5 · 18 min 01:40 Block C Anwendung, Kapitel 6 und 7, plus Workflow · 15 min 01:55 Abschluss und Wegweiser · 5 min

Sieben Kapitel in zwei Stunden heißt: zügig durch die Theorie, dafür zwei richtige Arbeitsphasen am eigenen Gerät.

Block A: Grundlagen

00:05 · 22 Minuten

Kapitel 1 und 2: zwei Begriffe von Wahrscheinlichkeit, und die Regel, die sie verbindet.

Kapitel 1: Zwei Welten der Wahrscheinlichkeit

Kapitel 1 · 10 min

Frequentistisch

Grenzwert relativer Häufigkeiten

Wahrscheinlichkeit ist der Grenzwert relativer Häufigkeiten bei unendlich vielen Wiederholungen.

Aussagen gelten über Verfahren, nicht über einzelne Fälle.

Bayesianisch

Grad der Überzeugung

Wahrscheinlichkeit ist ein Maß für den Grad der persönlichen Überzeugung, basierend auf dem aktuellen Informationsstand.

Aussagen gelten über Hypothesen.

Ein 95-%-Konfidenzintervall bedeutet nicht, dass der wahre Wert mit 95 % Wahrscheinlichkeit darin liegt. Es beschreibt die langfristige Erfolgsquote des Verfahrens.

SmartRail, München–Stuttgart. Wahre Pünktlichkeit 85 %, niemand weiß das. Stichprobe 1: 7 von 10. Stichprobe 2: 9 von 10.

Roter Faden: es sind zwei verschiedene Fragen, nicht eine bessere und eine schlechtere Methode.

Beide Definitionen wörtlich bringen. Sie sind präzise formuliert und verlieren beim Paraphrasieren genau das, worauf es ankommt. Der Unterschied steckt darin, worüber die Aussage jeweils gilt: links über das Verfahren, rechts über die Hypothese.

Dabei einmal klarstellen, dass beides legitim ist, sonst kippt der Vortrag ins Ideologische. Frequentistisch gefragt: wie verhält sich mein Verfahren, wenn ich es unendlich oft anwende? Bayesianisch gefragt: was soll ich angesichts dieser Daten glauben? Die zweite Frage ist die, die wir eigentlich stellen wollen. Die erste ist trotzdem keine falsche Frage.

Der Warnkasten ist der wichtigste Satz der Folie. Er knüpft direkt an Workshop 02 Kapitel 5 an, und wenn Teilnehmende dort waren, hier ausdrücklich zurückverweisen: das war die offene Rechnung, und sie wird heute beglichen.

Das SmartRail-Beispiel macht das Kernproblem konkret. Zehn Fahrten liefern 70 oder 90 Prozent, der wahre Wert ist 85, und niemand weiß das. Frequentistisch bekomme ich einen Punktschätzer und eine Aussage über das Verfahren. Bayesianisch bekomme ich eine Verteilung über plausible Werte, und die kann ich direkt lesen.

Die App zeigt beides nebeneinander und aktualisiert mit jedem Klick. Der bayesianische Teil ist eine Beta-Verteilung mit flachem Prior. Der Name ist unwichtig, wichtig ist, dass die Kurve mit jeder Fahrt schmaler wird und dass man ihr ansieht, wie unsicher man noch ist.

Als Aufhänger funktioniert die Pünktlichkeitsangabe der Bahn gut: was für eine Aussage ist „80 Prozent pünktlich” eigentlich? Eine relative Häufigkeit über eine vergangene Menge Fahrten, oder eine Überzeugung über die nächste? Darüber lassen sich zwei gute Minuten diskutieren, aber nicht mehr, der Block ist eng.

Kapitel 2: Das Bayes-Theorem

Kapitel 2 · 10 min

\[P(\theta \mid D) = \frac{P(D \mid \theta)\, P(\theta)}{P(D)}\]

Teil	Bedeutung
Prior \(P(\theta)\)	Deine anfängliche Überzeugung, bevor du neue Daten kennst
Likelihood \(P(D \mid \theta)\)	Wahrscheinlichkeit, genau diese Daten zu beobachten, falls die Hypothese wahr ist
Evidenz \(P(D)\)	Totale Wahrscheinlichkeit dieser Daten, unabhängig von der Hypothese
Posterior \(P(\theta \mid D)\)	Deine aktualisierte Überzeugung, nachdem du die Evidenz integriert hast

Das Bayes-Theorem ist eine mathematische Anleitung dafür, aus neuen Informationen klüger zu werden.

Roter Faden: vier Bestandteile, jeder mit einer klaren Rolle. Die Formel ist nur die Buchführung.

Die Formel kurz zeigen und dann sofort auf die Tabelle wechseln. Wer hier in die Algebra einsteigt, verliert die Hälfte des Raums an einer Stelle, an der es nichts zu gewinnen gibt.

Die Tabelle Zeile für Zeile, und bei jeder Zeile eine Sekunde Pause. Diese vier Begriffe tragen den ganzen Rest des Workshops, Block B besteht aus nichts anderem. Kurzform, die hängen bleibt: Prior ist, was ich vorher für plausibel hielt. Likelihood ist, wie gut die Daten zu einer Annahme passen. Posterior ist, was danach übrig bleibt.

Die Evidenz im Nenner ist die Zeile, bei der Leute aussteigen. Kurzform, die reicht: sie normiert, damit am Ende eine Wahrscheinlichkeitsverteilung herauskommt und keine beliebige Kurve. Mehr braucht es hier nicht.

Diesen Nenner aber ausdrücklich ankündigen, das ist ein Bogen, der sich lohnt: in Kapitel 7 ist genau dieses Integral das Problem, das MCMC löst. Wer es hier hört, versteht dort in zehn Sekunden, wozu MCMC überhaupt gut ist.

Den Kasten unten als Zusammenfassung sprechen, nicht vorlesen. Das Theorem ist eine Anleitung, aus neuen Informationen klüger zu werden. Das ist keine Verniedlichung, das ist tatsächlich alles, was es tut.

Dann direkt in das Diagnosemodul auf der nächsten Folie. Das ist die eigentliche Substanz des Kapitels und die Grundlage von Übung 1, also hier nicht überziehen.

Vertiefung A: das Diagnosemodul

SmartRail-Diagnose meldet eine Weichenstörung. Wie wahrscheinlich liegt wirklich eine vor?

Basisrate einer Störung	3 %
Erkennungsrate bei echter Störung	95 %
Fehlalarmrate ohne Störung	8 %

Die Intuition sagt: über 90 %.

Die Rechnung sagt: deutlich unter 30 %.

Ein System mit vielen Fehlalarmen entwertet jeden einzelnen Alarm.

Warum: von 1000 Fahrten haben 30 eine Störung, davon werden 28 erkannt. Von den 970 ohne Störung schlagen 78 falsch Alarm. Also 28 echte gegen 78 falsche Alarme.

Die Basisraten-Vernachlässigung ist der wirksamste Einzeleffekt, den man in einem Statistik-Workshop zeigen kann. Deshalb bekommt sie eine eigene Folie und danach eine ganze Übung.

Ablauf, der am besten funktioniert: erst die drei Zahlen zeigen, dann den Raum schätzen lassen, per Handzeichen in Bändern (über 90, 50 bis 90, unter 50). Die Mehrheit landet zu hoch. Erst dann die Auflösung.

Die 1000-Fahrten-Rechnung in absoluten Häufigkeiten ist entscheidend. In Prozentangaben versteht sie fast niemand, in absoluten Zahlen fast jeder. Genau das ist das Prinzip der Faktenboxen des Harding-Zentrums, das im Projekt in Stufe 03 aufgegriffen wird. Diesen Bezug kann man hier herstellen.

Übertragung anschließen: Screening-Programme, Dopingtests, KI-Detektoren, Sicherheitskontrollen. Überall dasselbe Muster, überall dieselbe Fehlintuition.

Übung 1

00:27 · 20 Minuten

Drei Schieber, eine Intuition, die kippt.

Übung 1: an der Basisrate drehen

Kapitel 2, drei Schieber: Basisrate, Erkennungsrate, Fehlalarmrate.

Stelle die Ausgangswerte ein: 3 %, 95 %, 8 %. Notiere den Posterior.
Verdopple die Basisrate auf 6 %. Wie ändert sich der Posterior?
Setze die Basisrate zurück und halbiere stattdessen die Fehlalarmrate auf 4 %. Was ist stärker?
Welcher der drei Regler ist der wichtigste? Und was heißt das für ein Screening auf eine seltene Erkrankung?

Kapitel 2 auf deinem Gerät

Das Bayes-Theorem

Denke Bayesianisch, Kapitel 2 · live im Browser · 15 min

Pause

00:47 · 10 Minuten

Weiter um 00:57.

Danach: Prior, Likelihood, Posterior.

Block B: Die drei Zutaten

00:57 · 25 Minuten

Kapitel 3, 4 und 5. Drei Bausteine, ein Ergebnis.

Kapitel 3: Der Prior

Kapitel 3 · 10 min

Der Prior beschreibt, welche Werte eines unbekannten Parameters wir vor Beobachtung der neuen Daten für plausibel halten.

Uninformativ. Alle Werte gleich plausibel. Klingt neutral, ist es nicht: er erlaubt auch absurde Werte, etwa eine Verspätungsreduktion von 30 Minuten auf einer Strecke, die keine 30 Minuten Verspätung hat.

Informativ. Nutzt Vorwissen aus früheren Studien oder Logik, um Unsinn auszuschließen.

Schwach informativ. Der praktische Mittelweg: schließt Unsinn aus, lässt aber den Daten alle Freiheit.

Der Prior macht inhärente und ohnehin vorhandene subjektive Annahmen mathematisch angreifbar und transparent.

Roter Faden: uninformativ ist nicht neutral. Das ist die zentrale Einsicht des Kapitels.

Mit der Definition oben anfangen, sie ist kurz und sie genügt: der Prior sagt, welche Werte wir vor den neuen Daten für plausibel halten. Nicht mehr, nicht weniger, und insbesondere nichts über Wünsche.

Das 30-Minuten-Argument ist das stärkste Stück dieser Folie, also Zeit dafür nehmen. Ein flacher Prior behauptet, eine Verspätungsreduktion um 30 Minuten sei genauso plausibel wie eine um 2 Minuten. Auf einer Strecke, auf der es keine 30 Minuten Verspätung gibt. Das ist keine Neutralität, das ist eine Behauptung, und zwar eine offensichtlich falsche.

Der rote Bereich links der Null in der App eignet sich gut zum Zeigen: der Prior sagt auch etwas darüber, für wie plausibel wir es halten, dass SmartRail alles schlimmer macht. Beim flachen Prior ist das genauso plausibel wie eine Verbesserung. Auch das würde niemand unterschreiben, der das System kennt.

Daraus die Empfehlung ableiten: schwach informativ ist der praktische Standard. Unsinn ausschließen, den Daten sonst alle Freiheit lassen. Das ist weder eine Konzession noch ein Trick, es ist die ehrlichere Modellierung.

Der Kernsatz im Kasten ist die Antwort auf den Subjektivitätsvorwurf, und der Vorwurf kommt fast immer. Kurzform hier: jede Analyse trifft Annahmen, der Prior macht sie sichtbar, und eine unsichtbare Annahme ist nicht objektiver, sie ist nur unkritisierbar. Ausführlich kommt das in Vertiefung B, also an dieser Stelle nicht in die Debatte einsteigen, sondern darauf verweisen.

Zeit im Auge behalten, dieser Block hat drei Kapitel in 25 Minuten.

Kapitel 4: Die Likelihood

Kapitel 4 · 10 min

Wie wahrscheinlich ist es, exakt die vorliegenden Daten zu beobachten, falls die spezifische Hypothese wahr wäre?

Fünf Testfahrten, gemessene Ersparnis: 3 · 7 · 5 · 9 · 6 Minuten.

Hypothese	Likelihood
θ = 0 min	praktisch null
θ = 3 min	gering
θ = 6 min	Maximum
θ = 12 min	gering

Die Likelihood ist der Filter, durch den die Daten auf den Prior wirken. Sie ist keine Wahrscheinlichkeitsverteilung über θ, sondern eine Bewertung jeder Hypothese anhand derselben Daten.

Beim Maximum-Likelihood-Verfahren endet man hier: man nimmt den besten Wert. Bayesianisch geht es weiter, die Likelihood wird mit dem Prior verrechnet.

Roter Faden: die Likelihood bewertet Hypothesen an festen Daten. Die Daten sind fix, die Hypothese wandert. Das ist genau umgekehrt zur Intuition.

Die fünf Zahlen zuerst, ruhig einzeln vorlesen: 3, 7, 5, 9, 6 Minuten. Dazu der Satz, auf den es ankommt: diese fünf Zahlen ändern sich ab jetzt nie mehr. Beweglich ist nur die Hypothese, die wir an sie anlegen.

Dann die Tabelle als Bewertung lesen, nicht als Verteilung. Für jede Hypothese stellen wir dieselbe Frage: wie gut passen genau diese fünf Zahlen dazu? Bei null passt es praktisch nicht, bei 6 Minuten passt es am besten, bei 12 passt es wieder schlecht. Dass das Maximum beim Mittelwert der Daten liegt, ist kein Zufall.

In der App wandert die Normalkurve über die fünf festen Datenpunkte. Genau dieses Bild ist die Likelihood, und es ist besser als jede Formel. Die Kurve bewegt sich, die Punkte nicht.

Den Satz aus dem rechten Kasten ernst nehmen: die Likelihood ist keine Wahrscheinlichkeitsverteilung über θ. Sie summiert sich nicht zu eins, und genau deshalb braucht es den Nenner aus Kapitel 2. Wer das wissen will, bekommt es hier, wer nicht, verliert nichts.

Die Abgrenzung zu Maximum Likelihood ist wichtig, weil viele Anwesende ML aus der Regression kennen, ohne es so zu nennen. Der Übergang ist dann klein: ML nimmt nur das Maximum und wirft den Rest weg. Bayesianisch behält man die ganze Kurve und multipliziert sie mit dem Prior. Das ist der einzige Unterschied, und es ist der ganze Unterschied.

Wenn die Zeit drängt, dieses Kapitel am kürzesten halten. Es ist das technischste und das am wenigsten überraschende, und Kapitel 5 plus die Bayes-Faktor-Vertiefung brauchen die Minuten dringender.

Kapitel 5: Der Posterior

Kapitel 5 · 10 min

Prior gegen Daten. Herstellerangaben und Simulationen sagen 8 Minuten. Die fünf Testfahrten sagen 6 Minuten.

Der Posterior landet dazwischen. Wie nah an den Daten, hängt davon ab, wie sicher der Prior formuliert war:

Breiter Prior heißt: die Daten dominieren.
Schmaler Prior heißt: es braucht viele Daten, um ihn zu bewegen.
Viele Daten heißt: der Prior wird irrelevant.

Das bayesianische Glaubwürdigkeitsintervall liefert exakt die Aussage, die Menschen intuitiv suchen:

Mit 95 % Wahrscheinlichkeit liegt der wahre Wert in genau diesem Bereich.

Damit ist die offene Rechnung aus Workshop 02 beglichen.

Roter Faden: der Posterior ist ein Kompromiss, dessen Gewichtung sichtbar und begründbar ist.

Die Ausgangslage ist konkret und deshalb gut: der Hersteller sagt 8 Minuten, die eigenen fünf Testfahrten sagen 6. Beide Quellen sind legitim, beide sind unsicher. Die Frage, die sich der Raum selbst stellt, lautet: wem glaube ich?

Die bayesianische Antwort ist nicht wem, sondern wie viel. Der Posterior landet dazwischen, und wo genau, hängt daran, wie sicher der Prior formuliert war. Das ist keine Ausrede, das ist die Rechnung.

In der App liegen drei Kurven übereinander: Prior grau, Likelihood rot, Posterior violett. Dieses Bild ist der Höhepunkt des Workshops. Hier Zeit lassen und nicht weiterklicken, während man redet.

Die drei Regeln zum Zusammenspiel wörtlich sagen, sie beantworten den Subjektivitätsvorwurf praktisch. Breiter Prior heißt, die Daten dominieren. Schmaler Prior heißt, es braucht viele Daten, um ihn zu bewegen. Viele Daten heißt, der Prior wird irrelevant. Der letzte Punkt ist der, der Skeptiker überzeugt: mit genug Daten ist es egal, was du vorher geglaubt hast.

Der Kasten mit dem Glaubwürdigkeitsintervall ist der Moment, auf den beide vorherigen Workshops hinauslaufen. Den Satz langsam vorlesen und danach eine Pause machen. Wer Workshop 02 gemacht hat, bekommt hier den ausdrücklichen Rückverweis: das ist genau die Lesart, die beim Konfidenzintervall verboten war.

Das führt direkt in Übung 2. Also den Prior-Regler nur ankündigen und nicht schon ausreizen, das Kippen des Posteriors sollen die Leute selbst herstellen.

Vertiefung B: Evidenz in beide Richtungen

In den sieben Kapiteln kommt er nicht vor. In JASP begegnet er dir zuerst.

BF₁₀	Evidenz für H₁
1 – 3	anekdotisch
3 – 10	moderat
10 – 30	stark
30 – 100	sehr stark
> 100	extrem

Ein Verhältnis: wie viel besser hat die eine Hypothese diese Daten vorhergesagt als die andere?

Dieselben Stufen gelten symmetrisch für BF₀₁, also Evidenz für die Nullhypothese. BF₀₁ = 12 heißt: die Daten sprechen stark dafür, dass SmartRail nichts bringt.

Die Antwort auf Fehlannahme 6 aus Workshop 01. Der Signifikanztest kann keine Evidenz und Evidenz für die Null nicht auseinanderhalten. Der Bayes-Faktor kann es.

Stufen nach Lee & Wagenmakers (2013).

Vertiefung, nicht im Selbstlern-Kapitel enthalten. Der Bayes-Faktor kommt in keinem der sieben Kapitel vor, obwohl er das Werkzeug ist, dem man in JASP zuerst begegnet. Deshalb steht er hier.

Vier Minuten, nicht mehr. Sie kommen aus Kapitel 4, das dafür am kürzesten läuft.

Erst die Idee, dann die Tabelle. Der Bayes-Faktor vergleicht zwei Hypothesen daran, wie gut jede die beobachteten Daten vorhergesagt hätte. Das ist ein Verhältnis und keine Fehlerrate, und deshalb hat es keine Schwelle.

Die Symmetrie ist der Punkt, für den diese Folie existiert. Beim Signifikanztest heißt nicht signifikant nur: wir wissen nichts. Der Bayes-Faktor unterscheidet zwischen keiner Evidenz und Evidenz für die Nullhypothese. Für Wirksamkeitsnachweise, Nicht-Unterlegenheitsstudien und jede Frage nach Unbedenklichkeit ist das der praktisch wichtigste Unterschied überhaupt.

Ein zweiter Vorteil, der in Workshop 02 angekündigt wurde: weil der Bayes-Faktor eine Evidenzstärke ist und keine Fehlerrate, darf man zwischendurch hineinschauen. Sequenzielles Auswerten erzeugt hier keine Alpha-Inflation. Wer Workshop 02 gemacht hat, erkennt das Bayes-Faktor-Design wieder, das dort als dritter Planungsweg stand.

Warnung an mich selbst: die Stufentabelle nicht als neue .05-Schwelle verkaufen. Sie ist eine Sprachhilfe, kein Entscheidungsautomat. Wer BF ≥ 10 zum Ritual macht, hat das Problem nur umbenannt. Derselbe Vorbehalt gilt gleich noch einmal für die ROPE-Grenzen.

Vertiefung B: HDI, ETI und ROPE

Aus einer Verteilung eine Entscheidung machen, ohne eine neue Schwelle zu ritualisieren.

Intervall

ETI

Equal-Tailed Interval: schneidet unten und oben je 2,5 % ab. Einfach, aber bei schiefen Verteilungen unglücklich.

Intervall

HDI

Highest Density Interval: der schmalste Bereich, der 95 % enthält. Jeder Wert darin ist plausibler als jeder Wert außerhalb.

Entscheidung

ROPE

Region of Practical Equivalence: ein Bereich um Null, der als praktisch bedeutungslos gilt. Liegt das HDI außerhalb, ist die Sache klar.

ROPE ist die Brücke zu Workshop 01. Die Relevanzschwelle, die dort inhaltlich festgelegt wurde, wird hier zum statistischen Kriterium. Nicht „ist der Effekt von null verschieden”, sondern „liegt er außerhalb dessen, was mir egal ist”.

Vertiefung B: Prior-Sensitivität berichten

Die Kapitel zeigen, dass der Prior wirkt. Offen bleibt, wie man damit in einer Publikation umgeht.

Sensitivitätsanalyse, in vier Schritten:

Rechne dasselbe Modell mit mehreren Priors: einem skeptischen, einem schwach informativen, einem am Vorwissen orientierten.
Stelle die Posteriors nebeneinander.
Berichte, ob sich die Schlussfolgerung ändert, nicht nur die Zahlen.
Wenn sie sich ändert, ist das ein Ergebnis: die Daten allein reichen nicht.

Damit dreht sich der Subjektivitätsvorwurf. Wer eine Sensitivitätsanalyse berichtet, hat seine Annahmen offengelegt und geprüft. Eine frequentistische Analyse tut das für ihre Annahmen in der Regel nicht.

Übung 2

01:22 · 18 Minuten

Wann gewinnen die Daten?

Übung 2: Prior gegen Daten

Kapitel 5, Schieber für Prior-Mittelwert und Prior-Streuung.

Setze den Prior auf 8 Minuten mit großer Streuung. Wo liegt der Posterior?
Verkleinere die Streuung schrittweise. Ab wann gewinnt der Prior gegen die Daten?
Setze einen bewusst falschen Prior, etwa 20 Minuten. Wie schmal muss er sein, damit der Posterior unsinnig wird?
Formuliere einen Ergebnissatz mit Glaubwürdigkeitsintervall, so wie du ihn publizieren würdest.

Kapitel 5 auf deinem Gerät

Der Posterior

Denke Bayesianisch, Kapitel 5 · live im Browser · 15 min

Block C: Anwendung

01:40 · 15 Minuten

Kapitel 6 und 7, dann der Weg in die eigene Analyse.

Kapitel 6: Vorhersagen

Kapitel 6 · 10 min

Die Prognose für morgen. Der Posterior sagt: θ liegt bei etwa 6 Minuten. Aber was macht die nächste einzelne Fahrt?

Unsicherheit 01

Epistemisch

Wie sicher bin ich mir über den wahren Parameter θ? Diese Unsicherheit schrumpft mit mehr Daten.

Unsicherheit 02

Aleatorisch

Das natürliche Rauschen der realen Welt. Diese Unsicherheit bleibt, egal wie viele Daten du sammelst.

Deshalb ist die Posterior-Predictive immer breiter als der Posterior. Wer eine Einzelvorhersage mit der Genauigkeit des Mittelwerts angibt, verspricht zu viel.

Roter Faden: zwei Arten von Unsicherheit, und nur eine schrumpft mit Daten.

Die Frage der Folie zuerst scharf stellen. Der Posterior sagt, wo θ liegt. Aber niemand fährt mit θ. Die Frage der Praxis lautet, was die nächste einzelne Fahrt macht, und das ist eine andere Frage.

Die beiden Begriffe an einem Alltagsbeispiel trennen. Lieferzeiten funktionieren besser als das Wetter, weil jeder sie kennt: der Versand sagt, im Mittel drei Tage, und das kann sehr präzise geschätzt sein. Wann genau dein Paket kommt, weiß er trotzdem nicht, weil einzelne Sendungen streuen. Mehr Daten machen die erste Aussage besser und die zweite nicht.

Epistemisch ist die Unsicherheit über den Parameter, sie schrumpft mit jeder Beobachtung. Aleatorisch ist das Rauschen der Welt, es bleibt. Wer beides zusammenwirft, verspricht zu viel.

In der App liegen zwei Kurven übereinander, Posterior violett und Posterior-Predictive orange. Die orange ist immer breiter, und dieses Bild reicht als Begründung. Zeigen, nicht erklären.

Die praktische Konsequenz ausdrücklich nennen, denn hier liegt der Nutzen: bei Prognosen für Einzelfälle, etwa dem Behandlungserfolg einer konkreten Person, ist die Posterior-Predictive die richtige Größe. Sie wird fast immer weggelassen, weil sie unangenehm breit ist. Genau deshalb ist sie ehrlich.

Wenn der Einwand kommt, so breite Intervalle könne man nicht kommunizieren: das ist ein Kommunikationsproblem und kein statistisches. Die Alternative ist, eine Genauigkeit zu behaupten, die es nicht gibt. Und Behandelten gegenüber ist die breite Angabe die fairere.

Kapitel 7: Wenn die Mathematik aufgibt

Kapitel 7 · 10 min

Erinnerung an Kapitel 2: der Nenner \(P(D)\) normiert. Bei realistischen Modellen ist dieses Integral nicht analytisch lösbar.

Der blinde Optimierer. MCMC ist ein Verfahren, das die Verteilung abläuft, statt sie zu berechnen:

Start bei θ = 0, Vorschlag θ = 3, annehmen.
Immer wieder vorschlagen, meist bergauf annehmen.
Gelegentlich bergab gehen, um lokale Maxima zu verlassen.
Nach 10.000 Schritten ist die Verteilung abgebildet.

MCMC ist die Brücke von der Theorie zur praktischen Anwendbarkeit. Ohne sie wäre bayesianische Statistik auf Lehrbuchbeispiele beschränkt geblieben.

Und deshalb gibt es Diagnostik: wer approximiert, muss prüfen, ob die Approximation getaugt hat.

Roter Faden: MCMC ist kein Trick, sondern der Grund, warum Bayes heute praktikabel ist.

Zuerst auf Kapitel 2 zurückverweisen und den Nenner wieder hervorholen. Dort wurde er angekündigt, hier wird er eingelöst. Diesen Bogen auch als Bogen benennen: das war die Zeile, bei der ich gesagt habe, dass sie später wichtig wird.

Die Aussage selbst ist knapp. Bei realistischen Modellen, also mehreren Parametern und hierarchischer Struktur, ist dieses Integral nicht analytisch lösbar. Nicht schwierig, sondern nicht lösbar. Deshalb blieb bayesianische Statistik über Jahrzehnte auf Lehrbuchbeispiele beschränkt, obwohl die Theorie aus dem 18. Jahrhundert stammt.

Das Bild des blinden Wanderers trägt weit, also ausspielen: jemand läuft im Dunkeln über ein Gelände und will wissen, wie die Landschaft aussieht. Überblicken kann er sie nicht. Aber er kann sie ablaufen und mitschreiben, wo er gewesen ist. Nach 10.000 Schritten hat er eine Karte.

Der Punkt mit dem gelegentlichen Bergabgehen ist der wichtigste und wird gern übersprungen. Ohne ihn bliebe die Kette im ersten lokalen Maximum hängen und würde eine falsche Karte liefern, die vollständig aussieht.

In der App gibt es Trace-Plot und Histogramm. Der Trace-Plot ist die Diagnostik, auf die es ankommt: eine gesunde Kette sieht aus wie Rauschen um einen Wert, eine kranke sieht aus wie ein Trend oder wie Stufen. Beides einmal zeigen, das Auge lernt das schnell.

Der Schlusssatz unten ist die Überleitung in Vertiefung C: wer approximiert, muss prüfen, ob die Approximation getaugt hat. Und die Software prüft das nicht von allein.

Vertiefung C: der vollständige Workflow

Modell spezifizieren. Likelihood und Priors explizit hinschreiben.
Prior-Predictive-Check. Erzeugt das Modell vor jedem Datenkontakt plausible Daten? Wenn nicht, sind die Priors falsch.
Inferenz. MCMC laufen lassen.
Diagnostik. \(\hat{R}\) nahe 1, ausreichende ESS, Trace-Plots ohne Trend und ohne Stufen.
Posterior-Predictive-Check. Sehen die vom Modell erzeugten Daten aus wie die echten?
Schlüsse ziehen. Posterior, HDI, ROPE, Bayes-Faktor, Sensitivität.

Schritt 4 ist nicht optional. Ein nicht konvergiertes Modell liefert Zahlen, und sie sehen genauso aus wie richtige.

Vertiefung C: dasselbe dreimal

Ohne Code

JASP und Jamovi

Klick-Oberfläche. Bayesianischer t-Test, ANOVA, Regression und Korrelation direkt neben den klassischen Verfahren. Gibt Bayes-Faktoren aus.

Der Einstieg für heute Abend.

Mit R

brms

brm(y ~ x + (1|id), ...)

Formel-Syntax wie lme4, darunter Stan. Wer lme4 kennt, kann brms.

Volle Kontrolle

Stan und PyMC

Modell selbst schreiben, moderne Sampler, ArviZ für die Diagnostik. Für alles, was keine Standardform hat.

Empfehlung: rechne deine letzte Analyse noch einmal in JASP, bayesianisch, und vergleiche. Das dauert eine halbe Stunde und ist lehrreicher als jedes weitere Kapitel.

Alle genannten Werkzeuge sind Open Source und kostenfrei.

Transfer: dein Satz

Nimm ein eigenes Ergebnis und formuliere es dreimal:

Wie du es bisher geschrieben hättest. Meist eine Signifikanzaussage.
Mit Effekt und Intervall, so wie in Workshop 01 gelernt.
Bayesianisch: Punktschätzer, HDI, und eine Aussage über die Wahrscheinlichkeit, dass der Effekt praktisch relevant ist.

Satz 3 ist der, den du eigentlich immer sagen wolltest. Er war nur nicht erlaubt.

Weiterarbeiten

Wie du weiterkommst

Im eigenen Tempo

Die Kapitel noch einmal

Alle Kapitel bleiben offen zugänglich, jederzeit, ohne Anmeldung. Sie laufen vollständig im Browser.

Nachlesen

Die Methoden-Seiten

Die Vertiefungen von heute stehen als Text im Hub: p-Werte, Effektgrößen, Stichproben, bayesianische Analyse.

Einstieg über Fragen

Zehn konkrete Fragen

Jede Frage führt direkt in das passende Kapitel. Gut, wenn du später mit einem konkreten Problem zurückkommst.

Mitnehmen und weitergeben

Alle Inhalte stehen unter Creative Commons CC BY 4.0. Du darfst sie in eigener Lehre verwenden, umbauen und weitergeben, mit Quellenangabe.
Auch diese Folien. Sie liegen im Hub unter Folien.
Geführte Workshops sind in Planung und noch nicht buchbar. Verfügbar ist alles im eigenen Tempo.

Fragen, Rückmeldungen, Kooperation: Thomas Schäfer, Thomas.Schaefer@hmu-erfurt.de

Fehler gefunden? Bitte als Issue melden, das hilft am meisten.

In Trägerschaft der HMU Health and Medical University Erfurt, gefördert durch die VolkswagenStiftung im Rahmen der Förderlinie Pioniervorhaben.

Wo du das alles wiederfindest

Vertiefung A bis C

Bayesianische Datenanalyse

Bayes-Faktor-Stufen, HDI und ROPE, der sechsstufige Workflow, häufige Sorgen.

Werkzeuge

Tools und Software

JASP, Jamovi, brms, Stan, PyMC, mit Einstiegshinweisen.

Literatur

McElreath, Kruschke, Gelman, Lee und Wagenmakers, plus die frei verfügbare Vorlesungsreihe.

Damit ist die Reihe komplett. Effekte berichten, Stichproben ehrlich planen, Hypothesen bewerten. Drei Fragen, drei Antworten.