Wie verlässlich ist Wissenschaft?

Mit etwas Verzögerung habe ich das letzte Spektrum gelesen. Und da ist ein Artikel drin, der mich sehr erstaunt hat:  Trifft die Replikationskrise nun auch die Ökologie? - Spektrum der Wissenschaft .

Hier wurde einer Reihe von wissenschaftlichen Teams die selben Aufgaben aus dem Bereich Ökologie mit den selben Rohdaten gegeben:
- Beeinflusst bei jungen Blaumeisen der Wettbewerb mit Geschwistern das Wachstum im Nest?
- Wirkt sich die Bodenbedeckung mit Gräsern darauf aus, wie erfolgreich Eukalyptus Pflanzen anwachsen?

Im ersten Fall wurde zwar die richtige Korrelation hergestellt, aber die Stärke der Auswirkung variierte.
Im zweiten Fall gab es alle Antworten: positive Wirkung, keine Wirkung, negative Wirkung.

Und das hat mich doch schockiert. Wenn das so ist, was kann man von ökologischen Studien noch halten? 

Im weiteren des Artikels wurde der Wissenschaftsbetrieb generell kritisiert. Derzeit wird in der Regel die Qualität eines Wissenschaftlers hauptsächlich danach beurteilt, in welchem Journal er publizieren kann und wie oft seine Publikationen zitiert werden.

Die gibt Wissenschaftlern, die noch keinen Namen haben und einen Job brauchen, einen klaren Anreiz, ihre Daten nicht objektiv aufzuarbeiten - sondern eine plakative publizierbare Aussage herauszuarbeiten und mögliche Zweifel und Unsicherheiten zu unterdrücken.

Von Sabine Hossenfelder habe ich schon eine ähnliche Kritik gelesen, aber dieses Ausmaß und diese Konsequenzen waren mir so noch nicht bewusst.

Was müsste passieren, damit Publikationen wieder vertrauenswürdiger werden?

Clauss schrieb:

Was müsste passieren, damit Publikationen wieder vertrauenswürdiger werden?

Eigentlich kennt man seine Pappenheimer, natürlich nur im eigenen Fachgebiet.
Das hilft natürlich nicht bei Erstlingswerken.

Nichtsdestoweniger finde ich es sehr bedenklich, dass bei verschiedenen Gruppen die gleiche Zahlenbasis zu unterschiedlichen Resultaten geführt hat - auch wenn es "nur" Ökologie war.

Clauss schrieb:

Nichtsdestoweniger finde ich es sehr bedenklich, dass bei verschiedenen Gruppen die gleiche Zahlenbasis zu unterschiedlichen Resultaten geführt hat - auch wenn es "nur" Ökologie war.

Da fehlt die Info, was denn das richtige Ergebnis gewesen wäre.

Aber es gibt auch ambivalente Lösungen für scheinbar klare Fragen, zB das Bertrand-Paradoxon



Noch schlimmer ist das Mädchen-Junge-Problem, ich muss das Video suchen

Clauss schrieb:

Was müsste passieren, damit Publikationen wieder vertrauenswürdiger werden?

Ich glaube nicht dass Vertrauen was in der Wissenschaft verloren hat, deshalb gelten solche Sprüche wie  "trust the science" auch als unwissenschaftlich. Wenn man sich für ein Fachgebiet interessiert muss man immer selbst mitdenken, ansonsten wird man zwischen den Fronten zerrieben.

Rainer Raisch schrieb:

Clauss schrieb:

Nichtsdestoweniger finde ich es sehr bedenklich, dass bei verschiedenen Gruppen die gleiche Zahlenbasis zu unterschiedlichen Resultaten geführt hat - auch wenn es "nur" Ökologie war.

Da fehlt die Info, was denn das richtige Ergebnis gewesen wäre.
 

Kenne ich nicht. Ist das relevant, macht das einen Unterschied?

Clauss schrieb:

Derzeit wird in der Regel die Qualität eines Wissenschaftlers hauptsächlich danach beurteilt, in welchem Journal er publizieren kann und wie oft seine Publikationen zitiert werden.
Was müsste passieren, damit Publikationen wieder vertrauenswürdiger werden?

Na eben genau das: Die Qualität eines Wissenschaftlers sollte nicht hauptsächlich danach beurteilt werden, in welchem Journal er publizieren kann und wie oft seine Publikationen zitiert werden.

Die Qualität eines Wissenschaftlers sollte überhaupt nicht beurteilt werden, nur die Qualität von wissenschaftlichen Arbeiten. Vielleicht sehe ich das zu naiv, aber die Arbeiten sollten doch für sich selber sprechen, ganz egal welcher Name darüber steht und wo eine wissenschaftliche Arbeit erscheint. Auch ein Nullresultat sollte eine Veröffentlichung wert sein.
 

Steinzeit-Astronom schrieb:

Die Qualität eines Wissenschaftlers sollte überhaupt nicht beurteilt werden

Hier bei geht es ja nicht um eine Veröffentlichung, sondern um eine Bewertung für eine etwaige Berufung als Dozent oder um die Verteilung von Fördergeldern.
Es ist natürlich einfacher (und objektiver), Veröffentlichungen zu zählen, als die Veröffentlichungen inhaltlich (und subjektiv) zu bewerten.

Rainer Raisch schrieb:

Steinzeit-Astronom schrieb:

Die Qualität eines Wissenschaftlers sollte überhaupt nicht beurteilt werden

Hier bei geht es ja nicht um eine Veröffentlichung, sondern um eine Bewertung für eine etwaige Berufung als Dozent oder um die Verteilung von Fördergeldern.
Es ist natürlich einfacher (und objektiver), Veröffentlichungen zu zählen, als die Veröffentlichungen inhaltlich (und subjektiv) zu bewerten.

Das Problem ist ja, dass wohl Journale kein Interesse an Nullergebnissen oder nicht aussagekräftige Ergebnissen haben. Auch wenn das Ergebnis das Resultat toller Arbeit ist, lässt sich das wohl nicht so gut vermarkten.

Insofern ist die Wahl der Forschenden eher zwischen Veröffentlichung und Nicht-Veröffentlichung. Und Nicht-Veröffentlichungen kann man nicht prüfen.

Rainer Raisch schrieb:

Noch schlimmer ist das Mädchen-Junge-Problem, ich muss das Video suchen

Ich habs gefunden:

Rainer Raisch schrieb:

Steinzeit-Astronom schrieb:

Die Qualität eines Wissenschaftlers sollte überhaupt nicht beurteilt werden

Hier bei geht es ja nicht um eine Veröffentlichung, sondern um eine Bewertung für eine etwaige Berufung als Dozent oder um die Verteilung von Fördergeldern.
Es ist natürlich einfacher (und objektiver), Veröffentlichungen zu zählen, als die Veröffentlichungen inhaltlich (und subjektiv) zu bewerten.

Einfacher schon, aber wenn Einfachheit das Kriterium ist, dann ist genau das das Problem, und auch einfach zu lösen: Noch einfacher wäre nämlich würfeln, und gleichzeitig sogar gerechter, nachdem eine gewisse Vorauswahl anhand der Qualifikation getroffen ist. Niemand müsste sich Sorgen machen, dass er vllt. zu wenig veröffentlicht hat, wenn eh nur ausgelost wird.

Steinzeit-Astronom schrieb:

Noch einfacher wäre nämlich würfeln, und gleichzeitig sogar gerechter, nachdem eine gewisse Vorauswahl anhand der Qualifikation getroffen ist. Niemand müsste sich Sorgen machen, dass er vllt. zu wenig veröffentlicht hat, wenn eh nur ausgelost wird.

Die Frage wäre, wie man zu so einer Vorauswahl von Geeigneten kommt. Auch das ist nicht selbstverständlich - und ein Durchschnittsstudent ist für einen Top-Forschungsjob sicher nicht geeignet.