Vor Ostern war ich auf einer Konferenz, dem European Molecular Imaging Meeting, kurz EMIM. Auf der EMIM gibt es zum Beispiel Beiträge zu neuen Techniken für MRT, PET oder Ultraschall und deren Anwendung für verschiedenen Krankheitsmodelle.
Es gab außerdem eine Session mit dem Titel: „Meet the Expert: How to deal with negative results“. Die habe ich besucht und fand die Diskussion sehr spannend, daher fasse ich hier meine Erkenntnisse aus diesem Workshop kurz zusammen. Vielleicht interessiert es euch ja auch.
Es gab zwei Experten: Ein Prof aus den Niederlanden und den Editor in Chief des Journals Molecular Imaging and Biology.
Negative Results vs Faulty Studies
Im ersten Diskussionspunkt ging es um die Definition von negativen Ergebnissen. Negative Ergebnisse sind solche, die deine Hypothese nicht bestätigen bzw. die Nullhypothese stärken. Echte negative Ergebnisse sind aber manchmal schwer von handwerklichen/konzeptionellen Fehlern in der Studie zu unterscheiden. Der erste Punkt, den die Experten betonten war also wirklich sicher zu stellen, dass nicht ein Fehler im Versuchsaufbau zu diesen Ergebnissen führt. Ein zweiter Punkt, der mehrmals erwähnt wurde, war bei der Literaturrecherche auch weit genug in die Vergangenheit zu gehen. Vielleicht hat ja schon jemand anderes diesen Effekt beobachtet. Da habe ich mich gleich ertappt gefühlt, ich konzentriere mich schon auch auf die letzten 10 Jahre wenn ich etwas recherchiere. Dabei wurde die Methode, die ich verwende (fMRT) 1992 publiziert und Studien über die Grundlagen der Neurowissenschaft und Physiologie (z.B. wie wirkt ein bestimmtes Medikament/Narkosemittel?) können noch deutlich älter sein. Unsere Experten hielten jedenfalls die letzten 40 Jahre für den Bereich der Lebenswissenschaften für angemessen.
Zum publizieren negativer Ergebnisse
Wenn man nun also tatsächlich negative Ergebnisse hat, kann man die dann veröffentlichen?
Hier waren die Experten sehr realistisch. Es ist nicht einfach negative Ergebnisse zu publizieren. Der Idealfall wäre, dass man zu den Ergebnissen auch eine Erklärung mitliefern kann. Also eine gute Idee hat, warum die erwarteten Ergebnisse nicht erzielt wurden.
Aber wenn man schlichtweg nicht weiß warum etwas nicht funktioniert, lässt es sich kaum veröffentlichen – ganz sicher nicht hochrangig. Dabei sind natürlich auch solche Ergebnisse für die Forschungsgemeinschaft von Interesse. Ein Anderer könnte ja aus meinen Fehlern lernen und quasi einen Schritt weiter anfangen. Das Problem auf welcher Plattform man solche negativen Ergebnisse veröffentlichen kann (und eventuell auch will) wurde in der Session aber nicht gelöst.
Ein Vorschlag war die eigene Website. Dort hat man selbst die Kontrolle und kann genau die Informationen liefern, die man teilen will. Der Nachteil ist wiederum die geringe Reichweite. Wer an Artikeln zu einem bestimmten Thema interessiert ist, sucht bei google scholar, nicht direkt bei allen Arbeitsgruppen, die an dem Thema arbeiten.
Dann gibt es Journale, die eingereichte Artikel nicht nach Neuheit und Impact bewerten sondern nur nach handwerklicher Korrektheit. Ein Beispiel dafür ist Matters (kurz für Science Matters), ein Journal für „single observation publishing“. Dort heißt es „Stories can wait. Science can’t.“. Es werden also nicht nur Paper veröffentlicht, die eine komplette Geschichte liefern, die also erklären wie ein Prozess funktioniert, sondern auch solche, die nur von der Beobachtung eines Prozesses berichten. Die Idee dabei ist, dass viele Beobachtungen irgendwann ein Bild ergeben, dass dann auch eine Erklärung liefert.
Solche Journale haben dann natürlich einen geringen Journal Impact-Faktor, denn Paper, die eine Geschichte erzählen kommen einfach besser an und werden häufiger zitiert. Das bestätigte auch der Editor-Experte, Journale achten natürlich auf ihren Impact-Faktor und veröffentlichen bevorzugt Artikel, die diesen steigern.
Auch Konferenzen können eine Plattform für negative Ergebnisse sein. Ich habe das vor allem erlebt, wenn ich selbst auf ein Problem oder ein für mich unerklärliches Phänomen gestoßen bin und dann auf Konferenzen Kollegen dazu befragt habe. Erstaunlich oft hört man dann „Genau! Diese verrückte Sache haben wir auch schon gesehen!“. Das ist dann zwar nicht unbedingt eine Erklärung aber immerhin eine Bestätigung, dass es das Phänomen wirklich gibt und man nicht nur blöde Fehler macht.
Dennoch fehlt eine gute Möglichkeit von gescheiterten Experimenten zu berichten, sodass andere Wissenschaftler nicht dieselben Fehler machen. Dieses Problem wird inzwischen aber immerhin diskutiert, zum Beispiel bei Elsevier Connect, in diesem Paper und im Guardian, vielleicht entstehen also bald neue Möglichkeiten zum Veröffentlichen negativer Ergebnisse.