Bildmissbrauch in der Wissenschaft bekämpfen: Neue Humboldt-Datenbank liefert fehlenden Baustein

Anmerkung der Redaktion: Wissenschaftliche Integrität und die Reproduzierbarkeit von Forschung bleiben ein zentrales Anliegen in der akademischen Welt. Insbesondere im Bereich der Bildmanipulation ergab eine Überprüfung von 20.000 veröffentlichten Aufsätzen (unter Berücksichtigung von „Western Blots“), dass fast 4 Prozent von ihnen unzulässig duplizierte Bilder enthielten. Bei etwa der Hälfte dieser Fälle gab es Hinweise auf vorsätzliche Manipulation.

Mehrere Universitäten und Unternehmen bemühen sich derzeit aktiv, Lösungen für das Problem zu finden. Im Januar veröffentlichten wir einen Artikel über ein Team der Harvard Medical School (HMS), das Expertise aus dem Image Data Analysis Core (IDAC) und dem Office for Academic and Research Integrity (ARI) verbindet. Das Team entwickelt ein Open-Source-Werkzeug, um potentielle Bildmanipulationen noch vor der Veröffentlichung zu erkennen. Dieses Werkzeug könnte in Zukunft in Elseviers redaktionelles Einreichungssystem integriert werden. Laut Dr. Mary C. Walsh, der wissenschaftlichen Leiterin des ARI an der HMS, fehlt jedoch noch eine zentrale Ressource: Ein gemeinsamer „Test“-Datensatz, mit dem bestimmt werden kann wie effektiv die jeweilige Version eines Werkzeugs ist. Sie erklärt: „…ein Benchmark-Datensatz ermöglicht vergleichbare Effektivitäts-Tests über mehrere Plattformen hinweg. Dies ist sowohl für unsere Arbeit hier als auch für die Weiterentwicklung und Verbesserung solcher Werkzeuge durch andere Forscher notwendig.“

Das deutsche HEADT Centre (Humboldt-Elsevier Advanced Data and Text Centre) hat eine Image Integrity Datenbank (IIDB) entwickelt, die diese Lücke füllen soll. Eine Beta-Version der Datenbank ist nun fertiggestellt und das HEADT Centre Team plant eine Reihe von „Wettbewerben“, um Forschern die Möglichkeit zu eröffnen, mit Hilfe der neuen Daten Algorithmen zur Erkennung von Bildmanipulation zu entwickeln, zu testen und zu verbessern. Dr. Thorsten S. Beck, einer der Entwickler des Werkzeugs, erläutert in diesem Artikel die Ursprünge des Projekts sowie zukünftige Pläne.

Wie nutzen und verändern Forscher Bilder, um ihre Ergebnisse konsistenter oder überzeugender erscheinen zu lassen? Was wird als „angemessene“ Bildmanipulation angesehen und ab wann überschreiten Wissenschaftler Grenzen?

Seit ich 2013 meine Doktorarbeit über wissenschaftliche Bildmanipulationen begann, beschäftigen mich solche und ähnliche Fragen.

Unzulässige Bildmanipulation schadet dem Wissenschaftsbetrieb: Forschung baut auf Forschung auf und wenn etwas mit einem veröffentlichten Artikel nicht stimmt, kann sich das negativ auf alle weitere Forschung auswirken, die sich auf solche Quellen stützt.

Viele prominente Fälle wissenschaftlichen Fehlverhaltens, die man in den Nachrichten sieht, drehen sich in gewissem Maße auch um Bildmanipulation. Diese Fälle sind nur die Spitze des Eisbergs, auch wenn ich behaupten würde, dass ein Großteil der Fälle die Folge von Fahrlässigkeit ist. Dazu gehören etwa falsch benannte Dateien, die von unerfahrenen Mitarbeitern bearbeitet werden oder es fehlt schlicht das Bewusstsein dafür, was zulässig ist und was nicht - obwohl das natürlich keine Entschuldigung sein sollte!

In meiner Doktorarbeit habe ich mehrere Redakteure biomedizinischer Zeitschriften interviewt, die mir gegenüber schnell hervorhoben, dass Bildmanipulation ein ernstes Problem darstellt.

Neben dem strukturierten Peer-Review Prozess sind es vor allem Redakteure, die dafür zuständig sind, Artikel zu begutachten. Im Moment ist es noch sehr zeitaufwändig, komplex und teuer, Bildmanipulation zu entdecken und es erfordert große Expertise und Erfahrung. Es ist vor allem ein manueller Prozess, bei dem Dateien wieder in die Software importiert werden, in der sie bearbeitet wurden (z.B. Photoshop), sodass jede Änderung zurückverfolgt werden kann.

Es gibt zudem kaum verbindliche Absprachen darüber, wie Zeitschriften mit diesem Problem umgehen sollten. Manche überprüfen alle Bilder. Andere wiederum nehmen Stichproben oder führen auch gar keine Überprüfungen durch. Manche stellen Repositorien bereit, in denen Wissenschaftler ihre Original-Bilder und die damit verbundenen Daten speichern müssen. Dies kann für spätere Vergleiche genutzt werden, falls Zweifel aufkommen.

Derzeit gibt es weltweit eine Reihe von Teams, die an Erkennungssoftware für Bildmanipulationen arbeiten – eine Art CrossRef-Ähnlichkeitsanalyse für Bilder. Um die Erfolgsquote jeder verbesserten Version zu prüfen, erstellen und manipulieren solche Teams fiktive Datensätze. Allerdings erlaubt ihnen dies nicht, die Effektivität des Instruments unter realen Bedingungen zu testen. Selbst wenn sie mit echten Daten arbeiten würden, wäre es aufgrund der fehlenden Konsistenz zwischen Forscher-Teams unmöglich die Präzision der Tools zu vergleichen.

Zusammen mit Elsevier und inspiriert durch die Forschung der Text REtrieval Conference (TREC), haben wir uns dazu entschlossen, eine Datenbank zu schaffen in der wir echte Datensätze testen, die als Goldstandard dienen. Bevor wir jedoch die Datenbank entwickeln konnten, mussten wir zunächst Kriterien festlegen und zahlreiche Fragen beantworten.

Die erste Frage lautete: Welche Art von Bildern sollte die Datenbank enthalten? Wir entschieden uns für einen Fokus auf biomedizinische Wissenschaften, beispielsweise auf die Western und Northern Blot-Verfahren, da viele zurückgezogene Artikel aus diesem Forschungsfeld stammen. Zudem gibt es in der Biologie und Medizin sehr klare Standards, die einen Orientierungsrahmen dafür bieten, was schiefgelaufen ist, warum ein Artikel zurückgezogen wurde und was als zulässig oder unzulässig angesehen wird. Wie Emma Frow mit ihrer Forschung gezeigt hat, ist das Festlegen der Grenze zwischen angemessener und unangemessener Bildmanipulation aber auch dann noch eine sehr interessante Übung, wenn solche Standards vorhanden sind. Im biomedizinischen Bereich gilt es generell als akzeptabel, den Kontrast oder die Helligkeit des gesamten Bilds zu ändern. Als ich aber zu meiner Doktorarbeit forschte, sprach ich auch mit einer Wissenschaftlerin, die ein Bild mit einem Kratzer hatte. Sie bat jemanden mit Photoshop-Kenntnissen, den Kratzer zu entfernen und erhielt so schließlich ein gutes und klares Bild. Sie hatte die Daten nicht geändert, aber ein Element aus dem Bild gelöscht. Daher lautet die Frage: „War diese Manipulation zulässig?“ Das Entfernen von Objekten oder Staub von Bildern wird in der Biomedizin generell nicht als gute wissenschaftliche Praxis betrachtet.

Für unsere Datenbank müssen wir solche Entscheidungen nicht treffen, da wir uns früh dazu entschlossen haben, uns auf Bilder aus zurückgezogenen Artikeln zu konzentrieren. Wir fingen damit an, Fälle aus der Retraction Watch Database zu untersuchen, die mit Bildmanipulation zu tun hatten. Wir nahmen nur die Fälle auf, in denen die Manipulation deutlich belegt war – einige Fälle zurückgezogener Artikel sind noch in Arbeit und ihre Aufklärung könnte Jahre dauern. Viele andere Fälle werden gar nicht oder erst Jahre später erkannt. Elsevier stellte uns zudem eine große Zahl an Originaldaten zur Verfügung, was den Start spürbar erleichterte.

Eine weitere Frage lautete: Welche Metadaten sollten wir berücksichtigen? Wir entschieden uns für einen umfassenden Datensatz, der alle verfügbaren Details aus den Retraction Notices enthielt. Dazu gehörten der Titel des Artikels, der Verlag, Autor(en), Bildunterschrift, Einträge bei Retraction Watch oder PubPeer und die Begründung für das Zurückziehen des Artikels. Wir nahmen so viele Informationen wie möglich auf.

Wir mussten außerdem eine Struktur etablieren, die es unseren Nutzern ermöglicht, Bilder entsprechend bestimmter Kategorien suchen zu können. Daher identifizierten wir 18 gängige Arten von Bildmanipulation und wandelten diese in Kategorien um. Dazu zählen beispielsweise Duplikationen, Rotationen, das Entfernen oder Hinzufügen von Elementen und das Wiederverwenden oder Plagiieren von Bildern.

Die Auswahl und Kuratierung der Bild- und Artikeldaten war mit viel manueller Arbeit verbunden. Allerdings verfügen wir nun über einen umfassenden Bilddatensatz, der Forscherteams weltweit dabei unterstützen kann, Algorithmen zu entwickeln und zu trainieren, um somit Bildmanipulation aufzudecken.

Nächste Schritte

Es gibt nach wie vor viel über dieses Thema zu lernen. Indem wir in der Datenbank die Möglichkeit schaffen, Bilder und ihre Manipulation zu kommentieren, mit Anmerkungen zu versehen und darüber zu diskutieren, möchten wir eine Online-Community aufbauen, um Wissen und Fähigkeiten auszutauschen.

Als nächstes wollen wir uns an Forschungsgruppen wenden, die sich mit der Erkennung von Bildmanipulation beschäftigen, und sie einladen, unsere Daten zu verwenden und ihre Erkenntnisse mit uns zu teilen. Diese Einladungen werden die Form von Wettbewerben oder „Grand Challenges“ annehmen (inspiriert von TREC). Sobald wir ihre Vorschläge gesichtet haben, werden wir möglicherweise mit einer oder mehreren dieser Forschungsgruppen zusammenarbeiten. Wir stehen bereits mit dem Team der Harvard Medical School in Kontakt. Die Gruppe ist daran interessiert, herauszufinden, wie effektiv ihre Algorithmen darin sind, Manipulationen in unseren Daten zu finden. Wir erwarten auch, von einigen Softwareunternehmen zu hören.

Ein weiteres wichtiges Ziel ist es, mit weiteren Verlagen zu sprechen, um herauszufinden ob sie bereit sind, Bilder und Daten zu teilen oder unser Projekt mit ihrer Expertise zu unterstützen, damit wir diese Ressource zum allgemeinen Nutzen der Wissenschaft ausbauen können. Wir haben bereits einige erste Diskussionen geführt, aber die Herausforderung besteht darin, dass nicht jeder Verlag die Original-Bilder als Datei aufbewahrt. Stattdessen werden sie oft in druckfreundliche Formate konvertiert und die Originale gehen verloren.

Bildmanipulation feststellen und erkennen. Der bisherige Stand …

Manipulation nimmt verschiedene Formen an. Dazu zählen auch das Erweitern, Zuschneiden, Aufhellen, Invertieren oder Duplizieren von Bildern. Egal ob es aus Versehen geschieht oder mit Absicht – solche Manipulationen können Forschungsergebnisse beeinflussen.

2004 hat das JCB (Journal of Cell Biology) ein Editorial veröffentlicht, das eine Liste von Richtlinien rund um die Bearbeitung von Grafiken enthielt, die in den biomedizinischen Wissenschaften nun weit verbreitet sind.

Bisher war das Erkennen von Manipulation vor allem manuelle Arbeit für die Redakteure der Fachzeitschriften. Es gibt bereits jetzt einige Werkzeuge: Beispielsweise bietet das Office of Research Integrity, das zum US Department of Health and Human Services gehört, forensische Werkzeuge und Maßnahmen zum Download auf seiner Website an. Diese können dabei helfen, festzustellen, ob ein Bild mit Photoshop manipuliert wurde. Allerdings ist das Erkennen von Manipulationen oder von Duplikaten nach wie vor sehr zeitaufwändig für den Redakteur der Fachzeitschrift und beruht auf menschlichem Urteilsvermögen.

Für gewöhnlich werden den Institutionen alle verdächtigen Bilder zur weiteren Untersuchung gemeldet.

Was ist das HEADT Centre?

Das HEADT Centre (Humboldt-Elsevier Advanced Data and Text Centre) wurde 2016 mit dem Ziel gegründet, eine nationale und internationale Ressource für alle Aspekte von Forschungsintegrität zu werden. Das Projekt befasst sich mit Analyse und Erkennung, mit Replikationsstudien, Verhaltensaspekten und rechtlichen Fragen. Experten von Elsevier und Forscher der Humboldt-Universität zu Berlin konzentrieren sich zurzeit auf zwei zentrale Bereiche:

• Die Schaffung von Infrastrukturen und Algorithmen, um die computergestützte Erkennung und die Effizienz von Text und Data Mining zu verbessern (TDM).
• Themen der Forschungsintegrität wie Plagiarismus, Bildmanipulation sowie Datenmanipulation und -fälschung.

Forschungsergebnisse des Centres werden frei zugänglich gemacht, um weitere internationale Kooperationen zwischen Universitäten und Institutionen mit ähnlichen Forschungsschwerpunkten anzuregen.

Der Autor

Dr. Thorsten S. Beck verfügt über langjährige Erfahrung als Museumskurator und hat mehrere Jahre als Projektmanager für das Jüdische Museum Berlin und die Agentur BERGZWO communication + concepts gearbeitet. Seit 2012 forschte er am Exzellenzcluster Bild Wissen Gestaltung, wo er auch seine Doktorarbeit („Shaping Images. Scholarly Perspectives on Image Manipulation“) zum Thema der wissenschaftlichen Bildmanipulation verfasst hat. Er ist nun als Wissenschaftler am HEADT Centre (Humboldt-Elsevier Advanced Data and Text Centre) in Berlin tätig. Seine Arbeit beschäftigt sich mit Forschungsintegrität und Bildmanipulation.

LinkedIn: https://www.linkedin.com/in/thorsten-beck-96226166/?originalSubdomain=de