Die Äquivalenzprüfung: Eine neue Möglichkeit für Wissenschaftler, so genannte negative Ergebnisse anzugehen.

Eine Paläontologin kehrt von einer Sommergrabung in ihr Labor zurück und erstellt eine Studie, in der die Zahnlänge von zwei Dinosaurierarten verglichen wird. Sie und ihr Team arbeiten akribisch daran, ihre Ergebnisse nicht zu verzerren. Sie bleiben während der Messung blind für die Spezies, die Stichprobengrößen sind groß, und die Datenerhebung und die Analyse sind streng.

Der Wissenschaftler ist überrascht, dass es keinen signifikanten Unterschied in der Länge der Eckzähne zwischen den beiden Arten gibt. Sie erkennt, dass diese unerwarteten Ergebnisse wichtig sind und schickt ein Papier an die entsprechenden Zeitschriften. Aber Journal für Journal lehnt das Papier ab, da die Ergebnisse nicht wesentlich anders sind. Schließlich gibt der Wissenschaftler auf, und das Papier mit seinen sogenannten negativen Ergebnissen wird in eine Schublade gelegt und unter jahrelanger anderer Arbeit begraben.

Dieses und viele andere Szenarien wie dieses haben sich über alle wissenschaftlichen Disziplinen hinweg ausgewirkt und zu dem geführt, was als „das Problem der Aktenschublade“ bezeichnet wird. Forschungsmagazine und Förderorganisationen sind oft voreingenommen für Forschung, die „positive“ oder deutlich unterschiedliche Ergebnisse zeigt. Diese unglückliche Verzerrung trägt zu vielen anderen Problemen im wissenschaftlichen Prozess bei, wie z.B. Bestätigungsverzerrungen, bei denen Daten falsch interpretiert werden, um ein gewünschtes Ergebnis zu unterstützen.

Eine neue Methode: Äquivalenz

Leider sind Fragen der Publikationsverzerrung in der Wissenschaft seit langem weit verbreitet. Aufgrund der Struktur der wissenschaftlichen Methode konzentrieren sich die Wissenschaftler oft nur auf Unterschiede zwischen den Gruppen – wie die Dinosaurierzähne von zwei verschiedenen Arten oder einen gesundheitlichen Vergleich von zwei verschiedenen Stadtteilen. Dadurch bleiben Studien, die sich auf Ähnlichkeiten konzentrieren, völlig verborgen.

Pharmazeutische Studien haben jedoch eine Lösung für dieses Problem gefunden. In diesen Studien verwenden die Forscher manchmal einen Test namens TOST, den zweiseitigen einseitigen Test, um nach der Gleichwertigkeit der Behandlungen zu suchen.

Zum Beispiel, sagen wir, ein Unternehmen entwickelt ein generisches Medikament, das billiger zu produzieren ist als das Markenmedikament. Forscher müssen nachweisen, dass das neue Medikament statistisch gleichwertig mit der Namensmarke funktioniert, bevor es auf dem Markt verkauft wird. An dieser Stelle kommt die Gleichwertigkeitsprüfung ins Spiel. Wenn der Test die Gleichwertigkeit der Wirkungen der beiden Medikamente zeigt, kann die FDA die Freigabe des neuen Medikaments auf dem Markt genehmigen.

Während die traditionelle Äquivalenztestung für vorgeplante und kontrollierte pharmazeutische Tests sehr hilfreich ist, ist sie für andere Arten von Studien nicht vielseitig genug. Der ursprüngliche TOST kann nicht verwendet werden, um die Äquivalenz in Experimenten zu testen, in denen sich dieselben Individuen in mehreren Behandlungsgruppen befinden, noch funktioniert er, wenn die beiden Testgruppen unterschiedliche Stichprobengrößen haben.

Darüber hinaus adressiert der in der pharmazeutischen Prüfung verwendete TOST typischerweise nicht mehrere Variablen gleichzeitig. Zum Beispiel wäre ein traditioneller TOST in der Lage, Ähnlichkeiten in der Biodiversität an mehreren Flussstandorten vor und nach einer Temperaturänderung zu analysieren. Unser neuer TOST würde es jedoch ermöglichen, an allen Flussstandorten gleichzeitig auf Ähnlichkeiten in mehreren Variablen – wie Biodiversität, Wasser-pH, Wassertiefe und -klarheit – zu testen.

Die Einschränkungen des traditionellen TOST und die Durchgängigkeit des „File Drawer Problems“ veranlassten unser Team, einen multivariaten Äquivalenztest zu entwickeln, der in der Lage ist, Ähnlichkeiten in Systemen mit wiederholten Messungen und ungleichen Stichprobengrößen zu beseitigen.

Unser neuer Äquivalenztest, der im Oktober veröffentlicht wurde, spiegelt den traditionellen Nullhypothesenrahmen auf den Kopf. Anstatt Ähnlichkeit anzunehmen, geht ein Forscher nun davon aus, dass die beiden Gruppen unterschiedlich sind. Die Beweislast liegt nun bei der Bewertung des Grades der Ähnlichkeit und nicht mehr beim Grad der Differenz.

Unser Test ermöglicht es Forschern auch, ihre eigene akzeptable Marge für die Erklärung der Ähnlichkeit festzulegen. Zum Beispiel, wenn die Marge auf 0,2 gesetzt wurde, dann würden die Ergebnisse Ihnen sagen, ob die Mittel der beiden Gruppen innerhalb von plus oder minus 2 Prozent ähnlich waren.

Ein Schritt in die richtige Richtung

Unsere Modifikation bedeutet, dass die Äquivalenzprüfung nun in einem breiten Spektrum von Disziplinen angewendet werden kann. Zum Beispiel haben wir diesen Test genutzt, um eine äquivalente akustische Struktur in den Liedern von männlichen und weiblichen östlichen Bluebirds zu demonstrieren. Auch in einigen Bereichen der Ingenieurwissenschaften und Psychologie wurden bereits Äquivalenztests durchgeführt.

Die Methode könnte noch breiter angewendet werden. Stellen Sie sich eine Gruppe von Forschern vor, die zwei verschiedene Lehrmethoden untersuchen wollen. In einem Klassenzimmer gibt es keine Technologie, und in einem anderen werden alle Aufgaben der Schüler online erledigt. Die Gleichwertigkeitsprüfung könnte einem Schulbezirk helfen zu entscheiden, ob er mehr in Technologie investieren sollte oder ob die beiden Unterrichtsmethoden gleichwertig sind.

Die Entwicklung eines breit anwendbaren Äquivalenztests stellt unserer Meinung nach einen großen Fortschritt im langen Kampf der Wissenschaftler um die Vorlage realer und unvoreingenommener Ergebnisse dar. Dieser Test bietet einen weiteren Weg zur Erforschung und ermöglicht es Forschern, die Ergebnisse von Studien über Ähnlichkeiten zu untersuchen und zu veröffentlichen, die nicht veröffentlicht oder finanziert wurden.

Teilen Ist Liebe! ❤

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

shares