Schlechte Praktiken in der Forschung mit Hilfe der Vorregistrierung vermeiden

Geschrieben und geprüft von dem Psychologen Roberto Muelas Lobato.

Letzte Aktualisierung: 01. Mai 2023

Die Durchführung einer wissenschaftlichen Studie erfordert ein ethisches Verhalten. Die Forscher müssen sich dabei an bestimmte ethische Vorgaben halten, die die Gültigkeit ihrer Ergebnisse gewährleisten. Dennoch wird immer wieder über schlechte Praktiken in der Forschung berichtet. Diese umfassen vor allem jene kleine Fallen, die eine Untersuchung vorantreiben, damit diese alsbald veröffentlicht werden kann.

Die Dynamiken einer Studie, deren primäres Ziel die Veröffentlichung ist, kann von negativem Druck geprägt sein. Auf diese Art und Weise werden sogenannte schlechte Praktiken in der Forschung gefördert. In der Geschichte gab es aufsehenerregende Fälle dieser Art, wie zum Beispiel das Gefängnisexperiment in Stanford oder der Fall von Diederik Stapel.

Große Betrügereien

Das Stanford-Gefängnis-Experiment ist eines der berühmtesten Experimente in der Sozialpsychologie. Vor Kurzem sind jedoch einige Aufnahmen an die Öffentlichkeit gelangt, die die schlechten Praktiken dieses Experiments demonstrieren. Zum Beispiel betreffend des Vertrauens in einzelne Beweisstücke, die Schulung der Wachen sowie bezüglich impliziter Forderungen und Interpretationen der Ergebnisse. Nachdem all dies bekannt geworden war, wurde darüber diskutiert, ob diese Studie überhaupt in den Lehrbüchern beschrieben werden sollte oder nicht.

Diederik Stapel war ein Professor für Sozialpsychologie an der Universität von Tilburg (Niederlande). Im Jahr 2011 wurde entdeckt, dass Stapel in vielen seiner Studien Daten gefälscht hatte. Denn anstatt in seinen Studien echte Teilnehmer einzusetzen, vervollständigte Stapel bestehende Lücken, indem er die Teilnehmer so konzipierte, dass er die erhofften Ergebnisse erhielt. Diese schlechten Praktiken in der Forschung waren seinen Schülern fremd, die ihrem Lehrer stets vertraut hatten. Bis zu dem Tag, als einer seiner Doktoranden es merkwürdig fand, dass er immer genau solche Teilnehmer für seine Studien fand, die ihm die erwarteten Ergebnisse lieferten. Von seinem Verdacht ausgehend wurde der Betrug aufgedeckt.

“Die Wissenschaft ist das große Gegenmittel gegen das Gift des Enthusiasmus und des Aberglaubens.”

Adam Smith

Schlechte Praktiken in der Forschung

Obwohl diese Fälle einen großen Einfluss auf die öffentliche Wahrnehmung der Forschung hatten, sind derart umfangreiche Betrugsfälle doch das kleinere Problem. Der Großteil schlechter Praktiken ist subtiler. Zu den am häufigsten ausgeführten schlechten Praktiken gehören:

• Das p-Hacking: Bei der Durchführung einer statistischen Analyse wird zum Testen der Hypothese der p-Wert herangezogen, wobei der Schwellenwert normalerweise mit 0,05 definiert wird. Doch bei der Verwendung vieler Variablen und besonderer experimenteller Bedingungen kann p = 0,05 unzureichend sein. Daher wird immer empfohlen, diesen zu reduzieren. Dies muss unbedingt vor der Auswertung der Ergebnisse erfolgen.
• Geringes Potenzial: Eine kleiner Stichprobenumfang kann dazu führen, dass eine Studie nur eine geringe Aussagekraft hat. Das führt wiederum dazu, dass das Ergebnis eher als vorsichtige Theorie zu verstehen ist. Mit anderen Worten führt es dazu, dass wir etwas “entdecken”, dass eigentlich gar nicht existiert.
• Harking: Diese Methode besteht darin, die Hypothese zu ändern, sobald sich herausgestellt hat, dass die Ergebnisse nicht dem entsprechen, was der ursprünglich vorgeschlagene Hypothese zugrunde liegt.

Die Vorregistrierung

Eine Lösung, um diese schlechten Praktiken in der Forschung zu vermeiden, ist die Vorregistrierung. Hier geht es darum, die Ziele und die Methode der Studie, die während der Untersuchung Anwendung finden, bereits vor der Veröffentlichung der Resultate zu publizieren. Auf diese Art und Weise kann man ganz einfach nachweisen, dass die Studie auf ethische Weise durchgeführt wurde, da die Forscher ja von Anfang an offenlegen, wie sie die Studie durchführen werden.

Eine Vorregistrierung durchzuführen ist sehr einfach. Es gibt bereits Websites, die dabei helfen. Eine davon ist das Open Science Framework. Diese Seite bietet verschiedene Vorlagen an, in denen eine Vorregistrierung durchgeführt werden kann, sowie auch die Möglichkeit, sämtliches Lernmaterial (Datenbanken, Fragebögen, Ergänzungsmaterial, usw.) hochzuladen und auf einfache Art und Weise zu veröffentlichen.

“In der Wissenschaft geht es nicht so sehr darum, neue Daten zu erhalten, sondern darum, neue Denkweisen zu etablieren.”

William Lawrence Bragg

Wie man eine Vorregistrierung durchführt

Die Vorlagen, die im Open Science Framework für die Vorregistrierung verfügbar sind, sind sehr unterschiedlich. Einige fragen nach mehr Informationen als andere. Sehen wir uns als Beispiel eine der einfachsten an. Sie trägt den Namen “as predicted” – “wie erwartet” – und der sich registrierende Wissenschaftler muss folgende Abschnitte ausfüllen:

• Die Hypothese der Studie: Es muss erläutert werden, welche Hypothese getestet werden soll.
• Die Variablen: Welche sind die Variablen der Studie und anhand welcher Methode sollen diese gemessen werden?
• Die Bedingungen: Wie viele Bedingungen werden gestellt? Gibt es Kontrollgruppen?
• Beobachtungen: Welche Beobachtungen werden angestellt? Wie groß ist die Stichprobe, die ausgewertet wird?
• Analyse: Welche Art der Analyse wird durchgeführt, sobald die Daten vollständig vorliegen?

Auf diese Art und Weise sind alle zur Studie schon vor der Veröffentlichung der Ergebnisse für alle einsehbar. Damit wird die Motivation, schlechte Praktiken durchzuführen, begrenzt. Obwohl die Vorregistrierung mehr Zeit in Anspruch nimmt, da man sich bereits vor der Duchführung der Untersuchung Gedanken darüber machen muss, wie genau die Forschung aussehen soll, ist ihre Verwendung bereits weitverbreitet und ermöglicht es, dass die Wissenschaft transparenter wird und die Schlussfolgerungen solider sind.