Wie verlässlich ist Wissenschaft?

Mit etwas Verzögerung habe ich das letzte Spektrum gelesen. Und da ist ein Artikel drin, der mich sehr erstaunt hat:  Trifft die Replikationskrise nun auch die Ökologie? - Spektrum der Wissenschaft .

Hier wurde einer Reihe von wissenschaftlichen Teams die selben Aufgaben aus dem Bereich Ökologie mit den selben Rohdaten gegeben:
- Beeinflusst bei jungen Blaumeisen der Wettbewerb mit Geschwistern das Wachstum im Nest?
- Wirkt sich die Bodenbedeckung mit Gräsern darauf aus, wie erfolgreich Eukalyptus Pflanzen anwachsen?

Im ersten Fall wurde zwar die richtige Korrelation hergestellt, aber die Stärke der Auswirkung variierte.
Im zweiten Fall gab es alle Antworten: positive Wirkung, keine Wirkung, negative Wirkung.

Und das hat mich doch schockiert. Wenn das so ist, was kann man von ökologischen Studien noch halten? 

Im weiteren des Artikels wurde der Wissenschaftsbetrieb generell kritisiert. Derzeit wird in der Regel die Qualität eines Wissenschaftlers hauptsächlich danach beurteilt, in welchem Journal er publizieren kann und wie oft seine Publikationen zitiert werden.

Die gibt Wissenschaftlern, die noch keinen Namen haben und einen Job brauchen, einen klaren Anreiz, ihre Daten nicht objektiv aufzuarbeiten - sondern eine plakative publizierbare Aussage herauszuarbeiten und mögliche Zweifel und Unsicherheiten zu unterdrücken.

Von Sabine Hossenfelder habe ich schon eine ähnliche Kritik gelesen, aber dieses Ausmaß und diese Konsequenzen waren mir so noch nicht bewusst.

Was müsste passieren, damit Publikationen wieder vertrauenswürdiger werden?

Clauss schrieb:

Was müsste passieren, damit Publikationen wieder vertrauenswürdiger werden?

Eigentlich kennt man seine Pappenheimer, natürlich nur im eigenen Fachgebiet.
Das hilft natürlich nicht bei Erstlingswerken.

Nichtsdestoweniger finde ich es sehr bedenklich, dass bei verschiedenen Gruppen die gleiche Zahlenbasis zu unterschiedlichen Resultaten geführt hat - auch wenn es "nur" Ökologie war.

Clauss schrieb:

Nichtsdestoweniger finde ich es sehr bedenklich, dass bei verschiedenen Gruppen die gleiche Zahlenbasis zu unterschiedlichen Resultaten geführt hat - auch wenn es "nur" Ökologie war.

Da fehlt die Info, was denn das richtige Ergebnis gewesen wäre.

Aber es gibt auch ambivalente Lösungen für scheinbar klare Fragen, zB das Bertrand-Paradoxon



Noch schlimmer ist das Mädchen-Junge-Problem, ich muss das Video suchen

Clauss schrieb:

Was müsste passieren, damit Publikationen wieder vertrauenswürdiger werden?

Ich glaube nicht dass Vertrauen was in der Wissenschaft verloren hat, deshalb gelten solche Sprüche wie  "trust the science" auch als unwissenschaftlich. Wenn man sich für ein Fachgebiet interessiert muss man immer selbst mitdenken, ansonsten wird man zwischen den Fronten zerrieben.

Rainer Raisch schrieb:

Clauss schrieb:

Nichtsdestoweniger finde ich es sehr bedenklich, dass bei verschiedenen Gruppen die gleiche Zahlenbasis zu unterschiedlichen Resultaten geführt hat - auch wenn es "nur" Ökologie war.

Da fehlt die Info, was denn das richtige Ergebnis gewesen wäre.
 

Kenne ich nicht. Ist das relevant, macht das einen Unterschied?

Clauss schrieb:

Derzeit wird in der Regel die Qualität eines Wissenschaftlers hauptsächlich danach beurteilt, in welchem Journal er publizieren kann und wie oft seine Publikationen zitiert werden.
Was müsste passieren, damit Publikationen wieder vertrauenswürdiger werden?

Na eben genau das: Die Qualität eines Wissenschaftlers sollte nicht hauptsächlich danach beurteilt werden, in welchem Journal er publizieren kann und wie oft seine Publikationen zitiert werden.

Die Qualität eines Wissenschaftlers sollte überhaupt nicht beurteilt werden, nur die Qualität von wissenschaftlichen Arbeiten. Vielleicht sehe ich das zu naiv, aber die Arbeiten sollten doch für sich selber sprechen, ganz egal welcher Name darüber steht und wo eine wissenschaftliche Arbeit erscheint. Auch ein Nullresultat sollte eine Veröffentlichung wert sein.
 

Steinzeit-Astronom schrieb:

Die Qualität eines Wissenschaftlers sollte überhaupt nicht beurteilt werden

Hier bei geht es ja nicht um eine Veröffentlichung, sondern um eine Bewertung für eine etwaige Berufung als Dozent oder um die Verteilung von Fördergeldern.
Es ist natürlich einfacher (und objektiver), Veröffentlichungen zu zählen, als die Veröffentlichungen inhaltlich (und subjektiv) zu bewerten.

Rainer Raisch schrieb:

Steinzeit-Astronom schrieb:

Die Qualität eines Wissenschaftlers sollte überhaupt nicht beurteilt werden

Hier bei geht es ja nicht um eine Veröffentlichung, sondern um eine Bewertung für eine etwaige Berufung als Dozent oder um die Verteilung von Fördergeldern.
Es ist natürlich einfacher (und objektiver), Veröffentlichungen zu zählen, als die Veröffentlichungen inhaltlich (und subjektiv) zu bewerten.

Das Problem ist ja, dass wohl Journale kein Interesse an Nullergebnissen oder nicht aussagekräftige Ergebnissen haben. Auch wenn das Ergebnis das Resultat toller Arbeit ist, lässt sich das wohl nicht so gut vermarkten.

Insofern ist die Wahl der Forschenden eher zwischen Veröffentlichung und Nicht-Veröffentlichung. Und Nicht-Veröffentlichungen kann man nicht prüfen.

Rainer Raisch schrieb:

Noch schlimmer ist das Mädchen-Junge-Problem, ich muss das Video suchen

Ich habs gefunden:

Rainer Raisch schrieb:

Steinzeit-Astronom schrieb:

Die Qualität eines Wissenschaftlers sollte überhaupt nicht beurteilt werden

Hier bei geht es ja nicht um eine Veröffentlichung, sondern um eine Bewertung für eine etwaige Berufung als Dozent oder um die Verteilung von Fördergeldern.
Es ist natürlich einfacher (und objektiver), Veröffentlichungen zu zählen, als die Veröffentlichungen inhaltlich (und subjektiv) zu bewerten.

Einfacher schon, aber wenn Einfachheit das Kriterium ist, dann ist genau das das Problem, und auch einfach zu lösen: Noch einfacher wäre nämlich würfeln, und gleichzeitig sogar gerechter, nachdem eine gewisse Vorauswahl anhand der Qualifikation getroffen ist. Niemand müsste sich Sorgen machen, dass er vllt. zu wenig veröffentlicht hat, wenn eh nur ausgelost wird.

Steinzeit-Astronom schrieb:

Noch einfacher wäre nämlich würfeln, und gleichzeitig sogar gerechter, nachdem eine gewisse Vorauswahl anhand der Qualifikation getroffen ist. Niemand müsste sich Sorgen machen, dass er vllt. zu wenig veröffentlicht hat, wenn eh nur ausgelost wird.

Die Frage wäre, wie man zu so einer Vorauswahl von Geeigneten kommt. Auch das ist nicht selbstverständlich - und ein Durchschnittsstudent ist für einen Top-Forschungsjob sicher nicht geeignet.

Clauss schrieb: Derzeit wird in der Regel die Qualität eines Wissenschaftlers hauptsächlich danach beurteilt, in welchem Journal er publizieren kann und wie oft seine Publikationen zitiert werden.
Was müsste passieren, damit Publikationen wieder vertrauenswürdiger werden?

Transparenz und Kontrolle. Immer wieder Transparenz und Kontrolle und keine Strafen/Nachteile für Whisleblower.

Peer reviewed Paper sind Preprints vorzuziehen.

Ich schätze, wenn irgendjemandem der "richtig große Wurf" gelänge, setzte sich das auch durch (selbst wenn es lange dauern sollte, der Wissenschaftler darüber verstorben ist und seine Arbeit nicht in Nature oder Science veröffentlicht wurde bzw. kaum Downloads/Zitierungen vorweisen konnte...denke und hoffe ich bin aber nicht sicher...

Was anderes:

Sind KI-generierte Ideen Plagiat? „Ein erheblicher Teil der von LLM generierten Forschungsideen erscheint auf den ersten Blick neuartig, ist aber in Wirklichkeit geschickt plagiiert“, schreiben die Informatiker Tarun Gupta und Danish Pruthi. Sie hatten in einem Artikel von „The AI Scientist“, einem Tool für künstliche Intelligenz (KI), eine ähnliche Methodik entdeckt. Das KI-Tool soll zeigen, wie solche Systeme originelle wissenschaftliche Forschung generieren können. Das Beispiel wirft die Frage auf, ob Systeme, die auf dem Remixen und Interpolieren des Textes basieren, mit dem sie trainiert werden, zu nahe an „Ideenplagiat“ herankommen.

Open Access
www.nature.com/articles/d41586-025-02616...-33f35e09ea-50005312  

ERGÄNZUNG

Pro und Contra

Nature:"

Sie sagen, das Problem gehe über seine Arbeit hinaus. Im Februar berichteten Gupta und Pruthi,3 dass sie mehrere Beispiele KI-generierter Manuskripte gefunden hätten, die laut konsultierten externen Experten Ideen anderer ohne Quellenangabe verwendeten, allerdings ohne Wörter und Sätze direkt zu kopieren. Gupta und Pruthi sagen, dies laufe darauf hinaus, dass die Softwaretools andere Ideen plagiierten – allerdings ohne böse Absicht ihrer Entwickler. „Ein erheblicher Teil der von LLM generierten Forschungsideen erscheint oberflächlich betrachtet neuartig, ist aber in Wirklichkeit geschickt plagiiert, sodass ihre Originalität nur schwer zu überprüfen ist“, schreiben sie. Im Juli wurde ihre Arbeit auf der Konferenz der Association for Computational Linguistics in Wien mit einem Preis für „herausragendes Paper“ ausgezeichnet. Einige ihrer Ergebnisse sind jedoch umstritten. Das Team hinter „The AI Scientist“ erklärte gegenüber Nature, dass es den Ergebnissen von Gupta und Pruthi entschieden widerspreche und kein Plagiat in den von „The AI Scientist“ untersuchten Fallstudien akzeptiere.

Im konkreten Fall von Park erklärte ein unabhängiger Experte gegenüber Nature, dass sich die Methoden des KI-Manuskripts seiner Meinung nach nicht ausreichend mit Parks Arbeit überschneiden, um als Plagiat zu gelten. Park selbst lehnte es ebenfalls ab, „Plagiat“ zur Beschreibung einer seiner Ansicht nach starken methodischen Überschneidung zu verwenden."

Und dann noch

Nature:"

Über die spezifische Debatte um den KI-Wissenschaftler hinaus gibt es ein umfassenderes Problem. Jedes Jahr werden so viele Artikel veröffentlicht – insbesondere in der Informatik –, dass Forscher bereits jetzt Schwierigkeiten haben, den Überblick darüber zu behalten, ob ihre Ideen wirklich innovativ sind, sagt Joeran Beel, Spezialist für maschinelles Lernen und Informationswissenschaft an der Universität Siegen."

Well...