Solving the explainable AI conundrum by bridging clinicians’ needs and developers’ goals
Autor:in (Körperschaft)
Publikationsdatum
22.05.2023
Typ der Arbeit
Studiengang
Typ
01A - Beitrag in wissenschaftlicher Zeitschrift
Herausgeber:innen
Herausgeber:in (Körperschaft)
Betreuer:in
Übergeordnetes Werk
npj Digital Medicine
Themenheft
DOI der Originalpublikation
Link
Reihe / Serie
Reihennummer
Jahrgang / Band
6
Ausgabe / Nummer
1
Seiten / Dauer
Patentnummer
Verlag / Herausgebende Institution
Nature
Verlagsort / Veranstaltungsort
Auflage
Version
Programmiersprache
Abtretungsempfänger:in
Praxispartner:in/Auftraggeber:in
Zusammenfassung
Explainable artificial intelligence (XAI) has emerged as a promising solution for addressing the implementation challenges of AI/ML in healthcare. However, little is known about how developers and clinicians interpret XAI and what conflicting goals and requirements they may have. This paper presents the findings of a longitudinal multi-method study involving 112 developers and clinicians co-designing an XAI solution for a clinical decision support system. Our study identifies three key differences between developer and clinician mental models of XAI, including opposing goals (model interpretability vs. clinical plausibility), different sources of truth (data vs. patient), and the role of exploring new vs. exploiting old knowledge. Based on our findings, we propose design solutions that can help address the XAI conundrum in healthcare, including the use of causal inference models, personalized explanations, and ambidexterity between exploration and exploitation mindsets. Our study highlights the importance of considering the perspectives of both developers and clinicians in the design of XAI systems and provides practical recommendations for improving the effectiveness and usability of XAI in healthcare.
Schlagwörter
Fachgebiet (DDC)
600 - Technik, Medizin, angewandte Wissenschaften
Veranstaltung
Startdatum der Ausstellung
Enddatum der Ausstellung
Startdatum der Konferenz
Enddatum der Konferenz
Datum der letzten Prüfung
ISBN
ISSN
2398-6352
Sprache
Englisch
Während FHNW Zugehörigkeit erstellt
Ja
Zukunftsfelder FHNW
Publikationsstatus
Veröffentlicht
Begutachtung
Peer-Review der ganzen Publikation
Open Access-Status
Gold
Lizenz
Zitation
BIENEFELD, Nadine, Jens Michael BOSS, Rahel LÜTHY, Dominique BRODBECK, Jan AZZATI, Mirco BLASER, Jan WILLMS und Emanuela KELLER, 2023. Solving the explainable AI conundrum by bridging clinicians’ needs and developers’ goals. npj Digital Medicine. 22 Mai 2023. Bd. 6, Nr. 1. DOI 10.1038/s41746-023-00837-4. Verfügbar unter: https://doi.org/10.26041/fhnw-5438