Bild, Focus Online, Huffington Post und diverse internationale Publikationen stiegen auf die Geschichte ein und meldeten, dass man mit einer Schokoladendiät schlank wird, mit Verweis auf die Studie und Zitaten des „Wissenschaftlers“, der eigentlich ein Journalist war.
Wie das ganze genau ablief, erklärt John Bohannon, besagter „Wissenschaftler“, sehr detailliert hier bei io9. Auf arte und dem ZDF gab es das ganze auch als Dokumentation am 5. und 7. Juni.
Peinlich das alles.
Andererseits: Die Meldung taucht bei den üblichen Verdächtigen auf, bei den „seriösen“ Medien wie FAZ, SZ, Spiegel und ihren Online-Ablegern hingegen nicht (so zumindest meine Suche in deren Archiven). Vielleicht ein Hinweis darauf, dass in einigen Redaktionen die Filter noch funktionieren, was erfreulich wäre. Vielleicht haben sie die Pressemitteilung, die an einem Mittwoch (auf Deutsch) und Samstag (auf Englisch) rausging, auch einfach übersehen. Sie lief über die Server der österreichischen Pressemitteilungsplattform ots, nicht die des deutschen ots, die englische Pressemitteilung über Newswire und nicht über die Plattformen von EurekAlert oder AlphaGallileo.
Und wenn man darauf gestoßen wäre: Hätte man Anzeichen dafür finden können, dass das ganze nicht in Ordnung ist? Bohannon schreibt:
„Not to mention that a Google search yielded no trace of Johannes Bohannon or his alleged institute.“
Doch das hat offenbar niemand gemacht.
Man könnte jetzt versuchen, sich den Fachartikel anzuschauen, um dort Hinweise zu finden, um die Wissenschaft zu entlarven. Aber es beschleicht einen das Gefühl, dass bei denen, die die Meldung der Welt in großen Lettern verkündeten, das Fachartikel lesen gar nicht zum Rechercherepertoire gehört. Es wurden laut Bohannon nicht mal einfachste Fragen gestellt, um zu checken, ob die Studie valide ist:
„When reporters contacted me at all, they asked perfunctory questions. “Why do you think chocolate accelerates weight loss? Do you have any advice for our readers?” Almost no one asked how many subjects we tested, and no one reported that number.“
„Not a single reporter seems to have contacted an outside researcher. None are quoted.“
Ein Blick in den Fachartikel offenbart auch für den Unbedarften schon auf die Schnelle ein paar Ungereimtheiten:
- weder im Abstract noch im Methodenteil wird – neben anderen Aspekten – erklärt, wie viele Personen an der Studie teilgenommen haben. Erst in Tabelle 3 findet sich der Hinweis: „The chocolate group had 5 subjects, in the low-carbohydrate group only 4 subjects could be considered“.
- es gibt zwar eine Tabelle 3, aber keine Tabelle 1 und 2
- in Tabelle 3 gibt es einen p-Wert von 0,00
- manche p-Werte sind mit Komma, andere mit Punkt geschrieben
Das sind nur erste, schnelle Beobachtungen, die mir zum Teil Kollegen innerhalb von Minuten über Facebook und Twitter zugeworfen haben (es gibt noch eine ganze Reihe andere Punkte). Aber um die zu entdecken, muss man in den Fachartikel schauen. Ob das jemand gemacht hat? Es wäre nicht das erste Mal, dass über eine Studie berichtet wird, die niemand gelesen hat. Was würde wohl passieren, wenn jemand über ein Fußballspiel berichtet, das er nicht gesehen hat?
Abgesehen davon, dass einem Teil der Medien die Story vielleicht keine Meldung wert war, gibt es auch noch einen zweiten, fahlen Lichtblick. Auch wenn solche Geschichten verheerend für das Vertrauen in das Gesamtsystem Wissenschaft und Medien sind, so zeigt die Auswahl des Fachmagazins durch die Journalisten doch, dass es schon noch Unterschiede gibt. Bohannon schreibt:
„We needed to get our study published pronto, but since it was such bad science, we needed to skip peer review altogether. Conveniently, there are lists of fake journal publishers. (This is my list, and here’s another.) Since time was tight, I simultaneously submitted our paper—“Chocolate with high cocoa content as a weight-loss accelerator”—to 20 journals. Then we crossed our fingers and waited. Our paper was accepted for publication by multiple journals within 24 hours. Needless to say, we faced no peer review at all.“
Das mag jetzt für manchen Kenner der Szene zu optimistisch klingen, aber ob ein Magazin einen Begutachtungsprozess durch andere Wissenschaftler hat oder nicht, scheint dann doch eine Rolle zu spielen (bei aller Kritik und Fehlgriffen in den letzten Jahren, selbst bei hochrangigen Magazinen).
Bei aller Peinlichkeit für das wissenschaftlich-mediale System, kann man – wenn man will – auch ein paar Lichtblicke erkennen. Mit grundlegenden Handwerksgriffen – die wir hier beim Medien-Doktor ja auch immer wieder versuchen zu vermitteln – kann man dem Wahnsinn entgegentreten und auch guten Journalismus machen.
Man muss halt wollen.
Zusatz 1: Lesenswert und lehrreich ist auch Bohannons Erklärung zum Studiendesign, der Statistik und der Jagd nach dem signifikanten p-Wert. Lars Fischer hat das auf Spektrum.de nochmal erklärt.
Zusatz 2: Dass sich die Journalisten ausgerechnet eine Studie zum Thema Ernährung aussuchten, ist sicher kein Zufall …
Zusatz 3: Eine ganz ähnliche Geschichte gab es übrigens schon einmal vor fünf Jahren (hat tip Thomas Mrazek).
Update 27.5.: Der Fachartikel wurde inzwischen von der Webseite des Magazins entfernt, wie Retraction Watch berichtet hier und hier. Derweil fasst die New York Times wichtige Fälle in der Wissenschaft zusammen, bei denen Fachartikel zurückgezogen wurden. Und es sind bekanntlich hochrangige Fachmagazine dabei.
Update 28.5.: Es gibt auch Kritik am Vorgehen der Journalisten, weil sie sich selbst unverhältnismäßig unethisch verhalten hätten: Attempt to shame journalists with chocolate study is shameful. Dazu auch eine Diskussion auf Twitter von Hilda Bastian und Swapnil Hiremath, einem kanadischen Nephrologen. Bastian kritisiert auch das Verhalten des beteiligten Mediziners.
Update 30.5.: Wie befürchtet, schütten manche gleich das Kind mit dem Bade aus und sehen sich in ihrem Bild über Wissenschaft bestätigt. Fatales Fazit der Agrarwebseite top agrar:
„top agrar meint: Dieser Versuch zeigt, dass im Grunde jede Studie so ausgelegt und vermarktet werden kann, dass die gewünschte Aussage für den Auftraggeber herauskommt. Mit diesem Hintergedanken sollte man daher auch landwirtschaftliche Studien lesen, aktuell insbesondere zu den Themen Antibiotikaeinsatz, Massentierhaltung, Keimbelastung der Luft, Gentechnik und Ökolandbau.“
Update 1.6.: Hilda Bastian hat ihre Recherche zu den ethischen Implikationen des journalistischen, aber auch des medizinischen Verhaltens im Fall ausführlich auf ihrem Blog dargelegt:
„I’m a cartoonist, so it’s no surprise that I am a big fan of parody and satire as a vehicle to communicate ideas. I don’t think there’s a fundamental breach of public trust there. Sure, occasionally people “fall” for an Onion story, but that’s not an abuse of power and a position of trust. We really need journalists to know the difference, and to call out abuses of power – not generate them.“
Update 3.6.: Alexander Mäder weist in einem Kommentar in der Stuttgarter Zeitung darauf hin, dass in Deutschland nur fünf Medien die Meldung aufgegriffen hätten, was für ihn ein Hinweis darauf ist, dass die Qualitätskontrolle gar nicht so schlecht funktioniere.
Bernd Hader von der GWUP findet das alles nicht besonders aufregend: „Das spezifisch Originelle an dem “Schlank durch Schokolade”-Fake erschließt sich uns allerdings nicht so ganz, denn eine mutmaßlich ernst gemeinte Studie dazu von US-Forschern kursierte bereits 2012. (…) Der Aha-Effekt des “Schlank durch Schokolade”-Fake dürfte sich (…) in engen Grenzen halten.„
In der Rhein-Neckar-Zeituni gibt der teilnehmende Mediziner Gunter Frank einen Einblick in den Studienverlauf:
„Welches Ergebnis kam nach drei Wochen heraus?
Das, was wir vorher geplant hatten, nämlich, dass Schokolade beim Abnehmen hilft.
Und das war gelogen?
Nicht direkt. Wir haben aber die in der Wissenschaft üblichen Tricks angewandt, um unser Wunschergebnis zu erreichen. Beispielsweise wurde eine Testperson mit ungünstigem Ergebnis bei der zweiten Messung „übersehen“, ein paar Daten anders aufbereitet … das Übliche halt. Grundsätzlich sollte die geringe Teilnehmerzahl pro Gruppe jeden Fachmann stutzig werden lassen.“
Update 8.6.: Ich habe im Titel ein Fragezeichen hinter „Debakel“ gesetzt, weil es sich zunehmend zeigt, dass viele Medien eben nicht berichtet haben (über die Gründe muss man diskutieren). Die Dokumentation ist inzwischen auf arte und im ZDF gelaufen. Lesenswerte Anmerkungen zur Doku gibt es von Jürgen Schönstein auf seinem Scienceblogs-Blog (mit Kritik am journalistischen Vorgehen der Autoren) und von Lars-Frischer bei den Scilogs (mit dem Aspekt, dass eben kein „peer-review“-Magazin ausgewählt wurde, ein Großteil der Kritik aber eben auf dieses System zielt, was für Zuschauer aber nicht ausreichend erkenntlich ist). Beide sprechen auch nochmal das Problem der medizinischen Ethik an, weil die Probanden getäuscht wurden.
Die Dokumentation gab es in den Mediatheken bei arte 7+ und beim ZDF zu sehen. Abseits davon auch bei youtube.
Update 9.6.: Zum Kritikpunkt „war ja kein peer review-Magazin“ ist fairerweise zu ergänzen, dass das der neue Herausgeber, der dies aber auch erst seit 2015 ist (zuvor war es beim durchaus anerkannten BioMedCentral) das Magazin als „Peer reviewed und Open Access“ beschreibt.
LINKS:
Onneken, Löbl (arte/ZDF, 2015): Schlank durch Schokolade (arte/ZDF 2015)
Hinweis: Der Beitrag ist online nicht mehr verfügbar.
John Bohannon: I Fooled Millions Into Thinking Chocolate Helps Weight Loss. Here’s How.
http://io9.com/i-fooled-millions-into-thinking-chocolate-helps-weight-1707251800
Nicolai Kwasniewski, Spiegel Online: Ernährungsindustrie: Endlich erwiesen – Schokolade macht gutgläubig
http://www.spiegel.de/wirtschaft/service/diaet-fake-studie-behauptet-schokolade-macht-schlank-a-1035685.html
Institute of Diet and Health
Hinweis: Link leider online nicht mehr abrufbar.
Bohannon et al (2015): Chocolate with high cocoa content as a weight-loss accelerator (nicht mehr online)
ZDF planet e: Schlank durch Schokolade – Der Trick mit den Diäten
Hinweis: Der Beitrag ist online nicht mehr verfügbar.
Lars Langenau, Süddeutsche.de: Eine süße Lüge
http://www.sueddeutsche.de/medien/diaet-fake-schokolade-macht-schlank-eine-suesse-luege-1.2495448
Lars Fischer, Spektrum.de: Essen ohne gutes Gewissen
http://www.spektrum.de/news/meinung-essen-ohne-gutes-gewissen/1348670
Jürgen Schönsten, Geograffitico/Scienceblogs.de: Schokoladendiät mit bitterem Nachgeschmack
Gary Schwitzer, Retraction Watch: Should the chocolate-diet sting study be retracted? And why the coverage doesn’t surprise a news watchdog
Rachel Ehrenberg, ScienceNews: Attempt to shame journalists with chocolate study is shameful
https://www.sciencenews.org/blog/culture-beaker/attempt-shame-journalists-chocolate-study-shameful
Hilda Bastian (Absolutely Maybe): Tricked: The Ethical Slipperiness of Hoaxes
http://blogs.plos.org/absolutely-maybe/tricked-the-ethical-slipperiness-of-hoaxes
Lars Fischer, Fischblog (Scilogs): Schlank durch Schokolade – ein Blick auf die Arte-Doku zur Fake-Studie
http://www.scilogs.de/fischblog/schlank-schokolade-blick-arte-doku
Jürgen Schönstein, Geografittico (Scienceblogs): Der Schokoladenstudienreport – ein Schlappe für den Journalismus
Der Schokoladenstudienreport – ein Schlappe für den Journalismus