Wikiversity:Fellow-Programm Freies Wissen/Einreichungen/Open Science für bildgebende Verfahren: Standardisierte Experimente für BIDS
Open Science für bildgebende Verfahren: Standardisierte Experimente für BIDSBearbeitenProjektbeschreibungBearbeitenEin zentrales Anliegen der Offenen Wissenschaft ist es Experimente reproduzierbar zu machen. Viel beachtete Schätzungen gehen davon aus, dass nur 10-40% aller Experimente reproduzierbar sind[1][2]. Laut einer Umfrage[3] unter Forschern liegen die Gründe dieser Reproduzierbarkeitskrise unter anderem in schlechter Labororganisation, fehlender Dokumentation und an wenig durchgeführter Replikationen der eigenen Experimente. Diese Faktoren führen dazu, dass Daten nur selten von unabhängigen anderen Wissenschaftlern re-analysiert werden. Dies ist besonders bedauerlich, da Meta-Analysen einer einheitlichen statistische Aufarbeitung bedürfen, die nur schwer zu bewerkstelligen ist. Dabei könnten gerade studienübergreifende Vergleiche einen Ausweg aus der Replikationskriese darstellen[4]. Insbesondere bildgebende Verfahren, wie die Messung von Gehirnströmen mit Elektroenzephalographie (EEG) oder Magnetresonanztomographie (MRT), erzeugen große Datensätze, welche die statistische Auswertung vor Herausforderungen stellt[5][6][7]. Um beispielsweise Aufnahmen eines EEG Experiments wiederzuverwenden (bzw. von einem unabhängigen Wissenschaftler analysiert werden zu können), muss genau angegeben sein welche Messpunkte zu welchem Teilexperiment gehören, auf welche Weise Versuchspersonen sich bewegt haben und welche Artefakte aufgezeichnet wurden. Diese Dokumentation ist aber in der Regel nicht standardisiert, was zu Missverständnissen bei der re-analyse, sowie einem enormen Zeitaufwand und weiteren unüberwindbaren Schwierigkeiten für Re- oder Metaanalyse führt. Aus diesen Gründen haben Neurowissenschaftler eine Initiative gegründet, die klare und offene Standards zur Datenspeicherung anbietet (BIDS)[8][9]. Die Hürde ein neues Format, neuen Programmcode und andere Protokolle einzuführen ist allerdings hoch. Daher ist es wichtig Wissenschaftlern konkrete Hilfestellungen zur Einführung dieser offenen Standards zu geben! Zwar regen Fachzeitschriften immer häufiger die Veröffentlichung von Rohdaten an, ohne die relevanten Zusatzinformationen über experimentelle Details sind diese Daten jedoch kaum nachhaltig nutzbar. Um die Benutzung offener Standards tatsächlich Realität werden zu lassen, müssen diese Datenformate bereits bei der Aufzeichnung der Daten und der vorausgehenden Erstellung von Programmiercode zur Durchführung eines Experiments eingebunden werden. Hierbei soll Hilfestellung geleistet werden um diese Standards in voller Breite des Forschungsfeldes zu etablieren. Das Projekt soll folgendem Arbeitsplan folgen: In einem ersten Schritt werde ich mit wenigen Zeilen Programmkode die relevanten Informationen für ein typisches Experiment exemplarisch speichern und den Kode öffentlich zur Verfügung stellen (z.B. Github). In einem zweiten Schritt werde ich vorhandene Beispiele aus der BIDS Community zusammentragen. Es gibt bereits ein BIDS-starter-kit[10], welches Beispiele für die Speicherung der bildgebenden Aufnahmen enthält. Damit sich Labore aber von der ersten Implementierung des Experiments an für BIDS entscheiden, ist es wichtig auch Beispiele im passenden Programmcode (z.B. unterschiedliche Sprachen wie Matlab, Python, R, etc.) zur Experimenterstellung zu geben. Ziel ist es, dass ein neuer Anwender nur noch den passenden Code aussucht und direkt in sein eigenes Programm hineinkopieren kann. Zur Umsetzung des Projekts gilt es zuerst einige Fragen zu klären, bei dem mir das Expertenwissen im Fellow-Programm helfen kann:
Mit Hilfe der Antworten auf diese Fragen wird das eigentliche Ziel bearbeitet: Die Erarbeitung von BIDS-kompatiblem Programmcode, der einfach in bereits laufende Laborprozesse eingebunden werden kann. Damit wird vor allem erreicht, dass die Hürde gesenkt wird den Open Science Standard BIDS zu benutzen. Nachdem der Kode an meinen Heimatinstitutionen, der Freien Universität Berlin und der Universität Oxford, erprobt ist, möchte ich das Netzwerk des Fellow Programms nutzen, um den Programmkode der breiten Öffentlichkeit zur Verfügung zu stellen. Wenn möglich kann hierfür ein Wiki in Kombination mit Gitlab geschaffen werden, das auch durch andere Nutzer aktiv weiterentwickelt werden kann und damit langfristig nutzbar und aktuell bleiben soll.
Autor/inBearbeiten
RessourcenBearbeitenArbeitsplanBearbeitenAP1: Recherche zu Datenformaten, BIDS implementierungen, bestehenden Toolboxen, bestehendem Code, rechtlichen Fragen Es wird eine große Herausforderung die nötigen Informationen aus Webseiten, Versionskontrollplattformen und Projektseiten zusammenzutragen. Dazu werde ich Kontakt zu den Betreibern solcher aufnehmen und um Input zu meinem Projekt bitten. Anschließend möchte ich zu diesen Projekten verlinken und insbesondere auch zu generellen Fragen zum Umgang mit offenen Daten. AP2: Erstellung eigener BIDS kompatibler Scripte, Versionskontrolle Zunächst werde ich selbst BIDS lernen und meine eingenen Daten und Beispielexperimente in diese Strutur bringen. Dabei steht die Umwandlung von Metadaten im Vordergrund, bei Neuroimaging Dateiformaten gibt es schon jetzt über 20 umwandelbare Formate. Die Scripte werden anschließend in einem GIT repository gehosted, dort gibt es dann voraussichtlich die Möglichkeit der Integration anderen Codes per pull request. AP3: Gewinnung und Zusammenstellung von BIDS-(meta)-Datenscripten für diverse Sprachen/Toolboxen“ Die Verwendung unterschiedlicher Werkzeuge ist entscheidend, da es eine ganze Reihe an Sprachen, Toolboxen und Datenformaten gibt. Zwar steht im Vordergrund das Prinzip "closed source rein, open source raus", aber die Umsetzung soll ein möglichst breites Feld abdecken. Für diesen Arbeitsschritt müssen Projektpartner gefunden werden, die code aus ihren Laboren bereitstellen. Außerdem gibt es den Plan der Umsetzung auf einer open science Plattform zur Experimenterstellung. AP4: Öffentlichkeitsarbeit, Lobbying und Verbreitung Das Projekt steht und fällt mit der Verbreitung des BIDS standards. Damit überhaupt Forscher auf die Idee kommen ihre Experimente direkt BIDS-konform zu programmieren ist Lobbyarbeit, Öffentlichkeitsarbeit und die aktive Teilnahme an Diskussionen essentiell. In diesem Arbeitspaket werde ich zum einen direkt etwas für BIDS tun, zum Beispiel den Wikipedia Artikel ausbauen - zur Zeit ein stub. Hinzu kommt ein Kurs über BIDS, die Erstellung eines Twitter/Mastodon accounts und Kommunikation über schriftliche outlets und Public Review Prozesse. ZeitplanBearbeitenAuf der Auftaktveranstaltung[11] wurde ein Zeitplan ausgearbeitet, wann welche Themenpunkte bearbeitet werden. Ein Bild der handgeschriebenen Roadmap rechts. bis Ende 2018:
2019 Januar-März:
2019 April:
ab April 2018:
FortschrittBearbeiten
Oktober 2018
November 2018
Dezember 2018
Juni 2019
ReferencesBearbeiten |
- ↑ https://www.nature.com/articles/483531a
- ↑ https://www.nature.com/news/over-half-of-psychology-studies-fail-reproducibility-test-1.18248
- ↑ https://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970?WT.mc_id=SFB_NNEWS_1508_RHBox
- ↑ https://www.nature.com/news/metascience-could-rescue-the-replication-crisis-1.16275
- ↑ http://www.pnas.org/content/114/17/E3374.long
- ↑ http://www.pnas.org/content/114/17/E3368
- ↑ http://www.pnas.org/content/113/28/7900.long
- ↑ http://bids.neuroimaging.io/
- ↑ https://www.nature.com/articles/sdata201644
- ↑ https://github.com/bids-standard/bids-starter-kit
- ↑ https://blog.wikimedia.de/2018/09/27/mit-asterix-seifenblasen-und-buchstuetzen-kollaborativ-richtung-offene-wissenschaft-der-auftakt-der-dritten-programmrunde-im-fellow-programm-freies-wissen/
- ↑ https://f1000research.com/documents/7-1368
- ↑ https://lab.js.org/
- ↑ https://github.com/alexvonlautz/FFW_BIDS