Statistik: Ein kleines Missverständnis

Wenn es um die immer häufiger in Mainstream-Medien zitierten Ergebnisse von wissenschaftlichen Arbeiten (Studien) geht, sollte man ganz dringend etwas wissen. Denn häufig kommt es zu kleinen, sagen wir, „Missverständnissen“.

Beispiel:

Statistische Signifikanz ist nicht Effektstärke 

• „Es kam zu signifikanten Unterschieden“
• „Das Ergebnis war signifikant“
• „Die Gruppe schnitt signifikant schlechter ab“
• „Maßnahmen schützen signifikant“
• „Coronavirus ist signifikant schlimmer als Grippe“

Und jeder, der das hört oder liest, so:

… das muss helfen, nicht wahr? Statistische Signifikanz… das sagt schon einiges aus. Oder auch nicht.

Denn das, was statistische Signifikanz, die man per komplexen Formeln mathematisch berechnen kann (lernt man in den ersten beiden Semestern im MINT-Studium), aussagen möchte ist, ob ein Ergebnis eher zufällig oder mit hoher Wahrscheinlichkeit nicht zufällig zustande gekommen ist.

Das sagt leider nichts darüber aus, ob das irgendeine Relevanz für dein Leben hat. Kann man so erklären:

Vergleicht man zwei Lernmethoden im Unterricht, kann man herausfinden, dass die eine Methode die IQ-Werte der Kinder signifikant angehoben hat, also sehr sicher besser ist, als die andere. Aha, muss gut sein, nicht wahr?

Was man erst beim zweiten Hingucken sieht:

Der Unterschied zwischen beiden Lernmethoden mit Blick auf die IQ-Steigerung beträgt 0,5 IQ-Punkte.

Das ist die Krux, leider. Wenn ein Normalsterblicher etwas vergleicht, schaut er intuitiv auf die Effektstärke. Was interessiert ihn, ob eine Lernmethode 0,5 IQ-Punkte mehr bringt? Ein normaler Mensch schaut direkt intuitiv nach der Effektstärke, nämlich danach, wie groß der auffallende Unterschied ist. Ihm fällt also zunächst der Unterschied auf – ob der „zufällig“ zustande kam, interessiert ihn erst mal nicht.

Die Wissenschaft nimmt aber einen Schritt vorweg und prüft direkt, ob es generell Unterschiede gibt und mit welcher Wahrscheinlichkeit sie zufällig zustande gekommen sind. Wenn eine Stichprobe dann groß genug ist, wird die „Sehschärfe“ der Berechnung so gut, dass sie auch kleine Unterschiede entdecken kann.

Aber: kein normaler Mensch kann wirklich verstehen, wenn ein Unterschied von 0,5 IQ-Punkten bei einer Lernmethode als „signifikanter Unterschied“ in einem Zeitungsartikel verkauft wird. Statistisch signifikant vielleicht ja, praktische Relevanz gleich 0.

Zur Erinnerung: Die klassische IQ-Breite reicht so circa von quasi Lernbehindert bei IQ 70-80 bis Genie ab so IQ 145… Man versteht vielleicht, dass 0,5 IQ-Punkte mehr aus einem kein Einstein machen.

Doch das ist nicht alles …

„50 % höheres Risiko“

… lese ich vor einigen Tagen, in einer Studie, die Vorhofflimmern mit Omega-3-Ergänzung in Verbindung bringt. „Nein, doch, oh!„, denke ich mir da immer. Da werden mal wieder die Leute verarscht. Oder Wissenschaftler hängen so tief drin, dass sie selbst nix mehr merken.

Grundlage war einmal mehr eine Meta-Analyse aus sieben Studien, wo jede für sich quasi keinen Zusammenhang zwischen Omega-3-Gabe und Vorhofflimmern beschreibt. Aber die erneute Meta-Analyse, quasi das Rumspielen mit riesigen Datensätzen an unfassbar vielen Menschen, ergab im Nachhinein eine circa 50 % gesteigerte Assoziation zwischen Omega-3-Gabe und Vorhofflimmern. Publiziert auch noch in einem renommierten Fachmagazin.

Deutsche Ärzte freut das:

Völlig Banane ist aber, diesen Ergebnissen irgendeinen Stellenwert beizumessen. Warum? Weil Vorhofflimmern bei etwas älteren Herrschaften so ab 60 in einer Frequenz von 3-4 % auftaucht. Risikofaktoren bekannt, klassisch (Übergewicht, andere Vorerkrankungen etc.). Fünf der sieben Studien in der Meta-Analyse berichtet in den Interventionsgruppen von einer Frequenz von unter 1 % – heißt also, in den Studien kommt Vorhofflimmern weniger häufig als im echten Leben vor.

Wenn ich Epidemiologie, die Arbeit mit so unfassbar riesigen Datensätze, nehme, kann man sich vorstellen, dass die, wenn man nur lange genug dran rumspielt, immer irgendwo eine Assoziation rausarbeiten kann. Wenn das absolute Risiko an Krankheit X zu bekommen also sehr, sehr gering ist – ähnlich wie hier –, wie aussagekräftig soll dann „50 % mehr“ sein, selbst dann, wenn es einen realen Zusammenhang geben könnte?

Natürlich wurden hier keine Omega-3-Spiegel gemessen (hätte man das nur mal gemacht). Natürlich war das Durchschnittsalter 65. Natürlich waren viele kranke Menschen dabei, die ja aus einem bestimmten Grund an so einer Studie teilnehmen. Drum merkt eine andere Meta-Analyse an: Omega 3 und Vorhofflimmern gilt nur bei Herzkrankheit und hohen Triglyceriden. Ach so! Und gilt auch nur ab 65… und wenn… und wenn… Verstanden?

Das ist im Prinzip das gleiche wie oben nur in grün: Epidemiologie kann nur funktionieren, wenn man sauber wirklich große Effekte rauskristallisieren möchte. Beispiel Rauchen: Hier ist das Risiko, dass ein Raucher Lungenkrebs bekommt, um unfassbare 15-30-fach erhöht – entspricht also 1500 bis 3000 % des ursprünglichen Risikos (eines Nichtrauchers).

DAS sind Effektstärken! 

Hier gibt es klare Assoziationen, und zwar für jeden von uns. Das sind reale, modifizierbare Risikofaktoren, denen man wirklich Aufmerksamkeit schenken sollte. Wenn mich also Dinge – lebensstilbezogen –  interessieren, und ich lese „50 % mehr“ … schließe ich die Studie meistens. Der Spaß beginnt in der Regel bei 100 oder 200 % mehr oder weniger.

Jetzt zum entscheidenden Punkt.

„Aber Studien zeigen, dass Kaffee doch gesund ist…“

Jede Woche eine neue Studie. „Kaffee schützt vor [setze x-beliebigen Zustand ein].“ Macht mich stutzig. Deshalb, weil ich an mir ja das Gegenteil beobachte. Kaffee macht mich mit der Zeit lethargischer. Gibt mir akut zwar ein Hochgefühl und scheinbar Energie. Die Tage danach werden aber immer schlechter – vom Schlaf, über Zahnfleisch hin zu Energielevel.

Und wer ein bisschen nachforscht wird herausfinden, dass die Pflanzenstoffe in Kaffee nicht ohne sind – diese Stoffe haben immensen Einfluss auf die vielen Enzyme und chemischen Prozesse in unserem Körper. Das ist ein natürlicher Fraßfeindschutz der Kaffeebohne, den wir da täglich inhalieren. Und vielen geht es genauso, berichten uns, sie fühlen sich ohne Kaffee um Welten besser und gesünder.

Alles wieder nur Einbildung? Macht Kaffee wirklich so unfassbar gesund – nur uns selbst nicht?

Dazu muss man eine Sache wissen: Jeder liebt Kaffee. Es gibt kaum Menschen, die, wenn sie mal in den Genuss gekommen sind, nicht Feuer und Flamme für dieses Heißgetränk sind. Heißt also, das Zeug macht was mit unserem Gehirn, vernebelt unsere Sinne. Denn was so „high“ macht, aber den Körper zeitgleich krank … kann nicht gesund sein.

„Doch, doch!“ – meinen Arbeiten. Und freilich sollte man daher immer dran denken: Wissenschaftler, die ihren Laboralltag und die Laborarbeit nur im Kaffee-Abusus bewältigen können, werden nie und nimmer auf die Idee kommen, über die negativen Effekte von Kaffee zu schreiben. Ja, doch, Wissenschaftler sind auch nur Menschen ;-)

Zurück zum Thema. Was viele nicht verstehen: Studien an modernen Menschen arbeiten zumeist nicht mit gesunden Menschen. Die gibt es bei uns einfach kaum noch – und interessieren sich in der Regel eher nicht für Studien am eigenen Leib, wieso auch? Die meisten von uns haben irgendwelche gesundheitlichen Probleme, auch, wenn sie davon noch nichts wissen.

Im Gegensatz dazu gibt’s Ratten. Da lese ich die Tage:

Insgesamt haben wir aus unseren Daten gefolgert, dass der Verzehr von Vollei in einem Rattenmodell der Fettleibigkeit zu einer deutlich verringerten Gewichtszunahme und epididymalen Fettmasse führte, was nicht auf eine veränderte Nahrungsaufnahme zurückzuführen war.

Somit war der Verzehr von Vollei eine wirksame diätetische Interventionsstrategie zur Verringerung der Gewichtszunahme und des Körperfetts in einem Nagetiermodell der Fettleibigkeit (…)

Genial. Liebe ich. Zeigt ja, dass Eier (Vollei!!) irgendwie was Positives können. Jetzt kommt der Haken:

Man hat also gemästete Ratten (HFHS CAS) verglichen mit gemästeten Ratten, die Vollei bekommen, schlanken Ratten, die Vollei bekommen und schlanken Ratten, die normal essen müssen. Und der einzige, der davon profitiert hat, war der fette Nachbar, äh die gemästeten Ratten, die Vollei bekommen haben.

Verstanden? Wenn du krank bist, hilft dir eine Intervention vielleicht – aber nicht, wenn du bereits gesund bist. Dann nämlich können sich, wenn du Pech hast, Effekte, die einen kranken Zustand bessern, deinen ursprünglich gesunden Zustand verschlechtern. Denn: Es gibt nur eine Gesundheit.

Vollei macht schlank… 

… gilt also nur für die, die nicht schlank sind. In diesem Experiment. Mit Blick auf Kaffee kann es bei dir dann folgendermaßen aussehen:

Der Kaffeekonsum von Ratten, die gemästet wurden, war mit einer Verringerung des Körpergewichts, der Adipositas, der Lebertriglyceride und der Energieaufnahme verbunden. Trotz einer günstigeren Körperzusammensetzung zeigten die Ratten (auch die schlanke Kontrollgruppe; Anm.) eine ausgeprägte systemische Insulinresistenz (…)

Verstanden? Das, was kranke Ratten hier gesünder macht, nämlich der Kaffeegenuss, verschlechtert bei bereits gesunden Ratten die metabolische Gesundheit (starke Insulinresistenz). Also, ja, „Kaffee schützt vor metabolischem Syndrom!“ – aber halt nur bei jenen, die schon krank sind. Bei Gesunden … passiert im schlechteren Falle das Gegenteil. Anzunehmen, dass Kaffee bereits gesunde Ratten oder Menschen noch gesünder macht … ist irgendwie … vielleicht zu kurz gedacht.

Fazit

All das sollte man immer auf dem Schirm haben, wenn man sich mit Medien und Wissenschaft befasst. ;-) Fazit:

Du musch dein Birne anstrengen!!