Für die Publikation, die ich verfasse, meinte ich eine richtig schöne Studie, publiziert in einer renommierten Zeitschrift mit peer review, gefunden zu haben, die ein Screeninginstrument für eine seelische Erkrankung validierte. Die Studie ist von einer in meinem Bereich recht anerkannten Forschungsgruppe und diese Studie wird in vielen Folgepublikationen zitiert. Einzig in einem scoping review fand ich dass dieser Studie ein MMAT von 80% zugeschrieben wurde. Und da ich einen Teil der anderen Studien in dem scoping review kenne, war ich erstaunt, weil sogar welche, die ich nicht so qualitativ hochwertig fand, 100% erhalten hatten.
Da ich auch in meiner Publikation schreiben wollte, wie wichtig es wäre, dass dieses Screeninginstrument auf deutsch validiert wird, aber sichergehen wollte, dass ich nicht etwas übersehen habe, habe ich die Studie einer befreundeten Mathematikerin zugeführt. Und die rief mich Stunden später an, war total entsetzt und meinte, dass die Studie erhebliche methodische Defizite habe.
Ich wollte das nicht glauben und bat die KI die Punkte, die die Mathematikerin zusammengetragen hat, zu prüfen. Dabei zeigte sich, dass es auch einen Schreibfehler bezüglich eines statistischen Verfahrens gab, so dass die KI dieses Korrekturverfahren erst fand, als ich eingab, wie das im Text standen. (Ohne Hinweis auf die Fehlschreibung fand die KI die in diesem Zusammenhang entstandenen Fehler nicht.) Schlussendlich spuckte die KI aus, dass es superviele Fehler gibt und dass hinsichtlich der Ergebnisse/Schlussfolgerungen so erhebliche Mängel bestehen, dass das Instrument eigentlich nicht als Screeninginstrument für die Erkrankung X genutzt werden kann.
Was nun? Ich bin schon seit Stunden total entsetzt und empört. Und erstaunt. Also nicht ich habe das ja entdeckt, sondern eine Mathematikerin, die es liebt irgendwelche Sachen nachzurechnen und zu prüfen, ob Verfahren passen und so. Aber dass sowas passieren kann - peer review, renommierte Zeitschrift, renommierte Forschungsgruppe, oft zitiert etc.
Und ich frage mich, wie ich nun in meiner Publikation mit dieser Studie umgehen soll. Also gerade weil auch viel bekanntere Leute als ich - aus anderen Ländern - die so anpreisen. In Deutschland gibt es kaum was dazu und ich will die nicht auslassen. Und das Ergebnis kommt mir ehrlich gesagt auch sehr gelegen. Doch ich habe einen Drang zur Wahrheit. Also sowas schreiben wie: "Das Ergebnis der Studie X klingt sehr verheißungsvoll, müsste jedoch noch an einer größeren Stichprobe überprüft werden. XY kam zudem in seinem scoping review zu dem Ergebnis, dass das MMAT der Studie bei 80% liegt. Ggf. sollte daher die Methodik nochmals evaluiert werden."?