Von Lauterbach gepriesene „Mega“-Studie zum Maskentragen hat viele Mängel

Peinlich für Karl Lauterbach. In ihrer Serie „Unstatistik des Monats“ haben der Berliner Psychologe Gerd Gigerenzer, der Dortmunder Statistiker Walter Krämer, die STAT-UP-Gründerin Katharina Schüller und RWI-Vizepräsident Thomas K. Bauer sich eine vermeintliche „Mega-Studie“ genauer angesehen, auf die sich der Gesundheitsminister beruft. Sie kommen zu einem vernichtenden Befund: Sie hat zahlreiche Mängel.

Am 31. Juli 2022 hatte Bundesgesundheitsminister Karl Lauterbach folgenden Twitter-Beitrag veröffentlicht: „Für alle, die noch immer im Unklaren sind, ob Masken gegen COVID schützen: hier eine neue amerikanische Mega-Studie, die über 1.700 Studien auswertet. Der Nutzen der Masken ist sehr groß, unumstritten und gilt für viele Bereiche.“ Der Tweet verweist auf einen Preprint (also eine noch nicht im Peer-Review begutachtete Studie) von sechs amerikanischen Wissenschaftlern mit dem Titel „The Efficacy of Facemasks in the Prevention of COVID-19: A Systematic Review“.

Die Peinlichkeit beginnt schon damit, dass es sich hier um eine „Meta“- und nicht um eine „Mega“-Studie handelt, also eine Studie, die andere Studien auswertet. „Ein gröberer Fehler ist jedoch die Aussage, dass die Studie über 1.700 Studien ausgewertet hätte“, schreiben die Statistiker. „Denn bereits in der Zusammenfassung zu Beginn des Artikels weisen die Autoren darauf hin, dass in ihre Analyse lediglich 13 Studien eingehen. Aber auch das ist noch keine Unstatistik wert. Die Unstatistik liegt vielmehr in der Meta-Studie selbst.“

Gigerenzer und Co erklären, wie die von Lauterbach genannte Mega-Meta-Studie entstand:

„Ausgangspunkt ist eine konkrete wissenschaftliche Fragestellung, hier: Schützen Gesichtsmasken vor einer Ansteckung mit COVID-19? Dann sucht man mit Hilfe von Stichworten (in der Studie bspw. ‚masks‘, ‚facemask‘, ‚face covering‘ sowie ‚COVID-19‘ und ‚Coronovirus infections‘) in verschiedenen wissenschaftlichen Datenbanken (z.B. Pubmed, The Cochrane Library) nach einschlägigen empirischen Studien. Mit dieser Vorgehensweise fanden die Autoren insgesamt 2.730 Treffer. Nach Bereinigung von Duplikaten blieben die vom Gesundheitsminister zitierten 1.732 Studien übrig. Diese Studien wurden dann von den Autoren nach bestimmten Kriterien gesichtet. Es verblieben 61 Studien, von denen nur 13 Studien in die Meta-Analyse eingingen. Und hier liegt das erste Problem dieser Meta-Studie: die Autoren verlieren kein Wort über die von Ihnen angelegten Kriterien für die Auswahl der Studien, die für die Reduktion von über 1.700 auf 61 Studien verantwortlich waren. Und warum nur 13 von 61 Studien, die die Kriterien erfüllen, in die Analyse eingehen, bleibt ebenfalls ein Rätsel. Die Auswahl der in einer solchen Analyse berücksichtigten wissenschaftlichen Studien ist aber der entscheidende Schritt, über den vollkommene Transparenz herrschen sollte, da dieser Schritt die Ergebnisse bereits festlegt.“

Die Zahlen beruhen auf kaum vergleichbaren Studien

Die Studie erfülle aber auch nicht die meisten anderen der sogenannten AMSTAR-Kriterien für Meta-Analysen. „Die Autoren haben einfach 243 Covid-19 Fälle unter allen 1539 Teilnehmern der 13 Studien gezählt (alle aus dem Jahre 2020), wovon 97 der Infizierten Masken und 146 keine Masken trugen. Dann haben sie die Zahl 97 durch 1238 (die Gesamtzahl der Personen mit Masken) geteilt, was 7,8 Prozent ergibt. Bei Personen ohne Masken war der Anteil an Infizierten dagegen 52 Prozent.“

Das Problem sei, dass diese Zahlen auf kaum vergleichbaren Studien beruhen. Studien mit einer repräsentativen Stichprobe und kontrolliertem Maskentragen werden genauso gewertet wie eine Studie, in der nur Pflegekräfte in Krankenhäusern berücksichtigt werden und lediglich gefragt wurde, ob Masken getragen wurden.

Wirksamkeit des Maskentragens nicht pauschal messbar

„Man kann die Wirksamkeit von Maskentragen auch nicht pauschal messen“, schreiben Gigerenzer und Kollegen. „Die Autoren der Meta-Studie berichten selbst, dass das Tragen von Masken in Kliniken die Gefahr sich zu infizieren von 33 auf 8 Prozent reduziert, außerhalb von Kliniken jedoch von 83 auf 6 Prozent. Dabei wird nicht gesagt, auf welchen Zeitraum sich die Reduktion bezieht und auf welche Bedingungen die Ausgangsrisiken gemessen wurden.“

Sie erwähnen „bessere Meta-Analysen“. Eine randomisierte Studie mit 342.000 Teilnehmern in Bangladesh hätte etwa gezeigt, dass ein Anstieg des Maskentragens von 13 auf 42 Prozent mit einer Reduktion von Covid-Erkrankungen innerhalb von neun Wochen von 8,6 auf 7,6 Prozent einherging. „Wie bei Impfungen, beträgt die Wirksamkeit nicht 100 Prozent, sondern sie hängt von vielen Faktoren ab.“  Die aktuellsten Meta-Studien im „Living Rapid Review“ zeigten, „dass das korrekte Tragen von Masken die Wahrscheinlichkeit, sich im Alltag mit Corona zu infizieren, etwas reduziert und insbesondere andere schützt“.

Am Schluss ihrer Veröffentlichung wenden sich Gigerenzer und Kollegen direkt an Lauterbach. Es sei „verständlich, dass ein Gesundheitsminister nicht die Zeit hat, die Vielzahl der Studien gründlich zu lesen. Aber er sollte eigentlich Hilfe erhalten. Sich auf einen schlecht gemachten Preprint zu berufen, kann seinem Anliegen mehr schaden als es nutzt.“