Vorsicht bei wissenschaftlichen Studien mit spektakulären Ergebnissen

Die Studie wurde weltweit zitiert – in namhaften Forschungszeitschriften und in Tages-, Wochen-, und Monatszeitungen und -Magazinen – sehr häufig auch online. Und offenbar hat keiner nachgefragt, was dahinter steckt. Aber der Inhalt war süffig und populär: Schokolade helfe beim Abnehmen.

„Slim by Chocolate!“ die Schlagzeilen flammten auf. Ein deutsches Forscherteam habe herausgefunden, dass Menschen mit kohlenhydratarmer Ernährung 10 Prozent schneller abnehme, wenn sie jeden Tag eine Tafel Schokolade ässen. Die Geschichte war die Titelseite von Bild, Europas größter Tageszeitung, knapp unter ihrem Update über den Germanwings-Crash. Von dort aus ging es rund um das Internet und darüber hinaus und machte Nachrichten in mehr als 20 Ländern und einem halben Dutzend Sprachen. Es wurde in Fernsehnachrichtensendungen diskutiert. Es erschien in Hochglanzdruck, zuletzt in der Juni-Ausgabe des Shape-Magazins („Why You Must Eat Chocolate Daily“). Schokolade beschleunige nicht nur den Gewichtsverlust, habe die Studie ergeben, sondern führe auch zu gesünderen Cholesterinwerten und einem insgesamt gesteigerten Wohlbefinden. Die Bild-Geschichte zitierte den Hauptautor der Studie, Dr. Johannes Bohannon, Forschungsdirektor des Instituts für Ernährung und Gesundheit: „Das Beste daran ist, dass man Schokolade überall kaufen kann“.

Nur: die Studie ist Fake und schludrig gemacht – absichtlich

Denn John Bohannon gibt es nicht, genau so wenig wie „the Institute of Diet and Health“. John Bohannon ist ein Pseudonym für einen Wissenschaftsjournalisten namens John, der es wissen wollte und das Institut ist nicht mehr als eine Website. Und die Studie bewusst wissenschaftlich in keiner Weise tragfähig und erst noch schludrig gemacht.

In seinem sehr lesenswerten Beitrag im Online-Magazin io9 – we come from the future hat John nun gezeigt, wie er vorgegangen ist und was an der Geschichte dran ist. Das Ergebnis sei vorweggenommen: Gar nichts; die Studie ist das Papier nicht wert, auf dem sie gedruckt wurde.

Am Anfang war ein deutsches Dokumentarfilmprojekt

Folgendes ist vorgefallen: ein deutscher Wissenschaftsjournalist wurde von Peter Onneken und Diana Löbl angefragt, ob er bereit sei, an einem Dokumentarfilm-Experiment teilzunehmen, bei dem es um eine Diät-Studie und der möglichen Resonanz in den Medien gehe. Das Geld war vorhanden, der Film bereits in der Mache und die Studie aufgegleist. Es gehe darum zu zeigen, wie einfach es sei, „bad science“ (schlechte wissenschaftliche Arbeit) in grosse Schlagzeilen hinter Diätmoden zu verwandeln.

Onneken und Löbl rekrutierten über Facebook Probanden und offerierten 150 Euro für drei Wochen Versuchsdauer mit unterschiedlichen Diäten; gemeldet haben sich 5 Männer und 11 Frauen zwischen 19 und 67 Jahren. Ihnen wurde Blut genommen und sie haben eine Reihe von Fragebogen ausgefüllt, um festzustellen, dass keine Essstörungen, Diabetes oder andere Krankheiten vorlagen, welche die Ergebnisse stören würden. Dann wurden drei Gruppen gebildet: eine Gruppe sollte während den nächsten drei Wochen eine „Low Carb“-Diät (kohlenhydratarme Ernährung) machen, die zweite Gruppe ebenfalls, aber zusätzlich 1,5 oz. (ca. 45 Gramm) Zartbitterschokolade zu sich nehmen und die dritte Gruppe sollte ihr Essverhalten nicht verändern. Die Probanden haben sich täglich gewogen und am Ende erfolgte eine Runde von Fragebogen und ein weiterer Bluttest.

Auf den ersten Blick ein verblüffendes Ergebnis

Das Ergebnis der statistischen Auswertung war sensationell, wie der Journalist schreibt: „Beide Behandlungsgruppen verloren im Laufe der Studie etwa 5 Pfund, während das durchschnittliche Körpergewicht der Kontrollgruppe um die Null schwankte. Und die Leute auf der Low-Carb-Diät plus Schokolade? Sie haben 10 Prozent schneller abgenommen. Nicht nur war dieser Unterschied statistisch signifikant, sondern die Schokoladengruppe hatte auch bessere Cholesterinwerte und höhere Werte bei der Wohlfühlumfrage.“ Also alles bestens.

Die wissenschaftliche Publikation war nur eine Frage des Geldes

Was dann folgt ist erschreckend. Zum Beispiel, wie einfach es war, die Studie in einer wissenschaftlichen Zeitschrift unterzubringen – ohne sogenannte Peer Review, d.h. ohne Kontrolle durch ein unabhängiges wissenschaftliches Gremium. John schreibt: „Den eifrigen Bewerber, den wir schliesslich wählten waren die ‚International Archives of Medicine'“ – für eine Kostenbeteiligung von 600 Euro und ohne die geringste Korrektur. Oder die Tatsache, dass nach dem Versand der Medienmitteilung auf deutsch und englisch kaum ein Journalist nachgefragt hat – oder selbst im Internet recherchiert. Oder dass niemand die absolut unwissenschaftlich kleine Datenbasis der Studie erwähnt oder gar hinterfragt hat. Schliesslich stand darüber auch nichts in der Pressemeldung.

Kaum einer der Journalisten hat die Studie hinterfragt

John schreibt selbst, dass die gemachte Studie miserabel sei und keiner wissenschaftlichen Überprüfung standhalte. Das war ja auch der Sinn der Sache, denn das Team wollte ja gerade beweisen, wie leicht es – zumindest im undurchdringlichen Dschungel der Diätik – irgendwelche abstruse Behauptungen in die Schlagzeilen zu bringen. Und er zeigt auch, dass es sehr einfach sei, sogenannte „statistisch signifikante* Ergebnisse zu erhalten: „Wenn man eine große Anzahl von Dingen an einer kleinen Anzahl von Personen misst, ist ein ’statistisch signifikantes‘ Ergebnis fast garantiert. Unsere Studie beinhaltete 18 verschiedene Messungen – Gewicht, Cholesterin, Natrium, Blutproteinspiegel, Schlafqualität, Wohlbefinden, etc.- von 15 Personen. (Ein Thema wurde fallen gelassen.) Ein solches Studiendesign ist ein perfektes Rezept für False Positives (d.h. falsche, positive Ergebnisse (der Blogger). Betrachten Sie die Messwerte als Lotterielose. Jeder von ihnen hat eine kleine Chance, sich in Form eines ’signifikanten‘ Ergebnisses auszuzahlen, mit dem wir eine Geschichte drehen und an die Medien verkaufen können. Je mehr Tickets Sie kaufen, desto wahrscheinlicher ist es, dass Sie gewinnen. Wir wussten nicht genau, was genau herauskommen würde – die Schlagzeile hätte lauten können, dass Schokolade den Schlaf verbessert oder den Blutdruck senkt – aber wir wussten, dass unsere Chancen, mindestens ein ’statistisch signifikantes‘ Ergebnis zu erhalten, ziemlich gut waren.“

Was wir daraus lernen?

Wissenschaftliche Studien sollten von Peer Groups unabhängig beurteilt werden. Wissenschaftsjournalisten sollten Pressemeldungen kritisch hinterfragen, selber recherchieren und etwas von der Materie verstehen. Man müsse eben wissen, wie ein wissenschaftliches Papier zu lesen sei – und es auch tatsächlich lesen. Als Medienkonsumenten sollten wir deshalb nicht alles glauben, was in den Medien steht. Gerade beim Thema Essen und Übergewicht wurde in den letzten Jahren mit Studien so ziemlich alles „bewiesen“. Aus eigener Erfahrung weiss ich, dass ich mit einer Veränderungen meiner Essgewohnheiten und einem konsequenten Kraft- und Bewegungstraining tatsächlich abnehmen konnte. Ob das allerdings für andere Leute auch gilt, müsste man wohl mit einer wissenschaftlichen Studie beweisen.

Das wissenschaftliche Paper „Chocolate with high Cocoa content as a weight-loss accelerator“ wurde inzwischen von den „International Archives on Medicine“ entfernt. Sie können es aber hier online nachlesen.

P.S.: Bei der Übersetzung der verschiedenen Zitate aus dem Englischen hat mir die geniale Übersetzungswebsite www.DeepL.com/Translator sehr geholfen.

Dieser Beitrag wurde unter Fit & Gesund veröffentlicht. Setze ein Lesezeichen auf den Permalink.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Spamschutz * Frist ist abgelaufen. Bitte laden Sie den Spamschutz erneut.