Hochschule für Angewandte Psychologie FHNW
Dauerhafte URI für den Bereichhttps://irf.fhnw.ch/handle/11654/1
Listen
Publikation Bedingungen und Massnahmen für eine erfolgreiche Interaktion mit Large Language Models(Hochschule für Angewandte Psychologie FHNW, 2024) Christe, Mathilde; Theiler, Sven; Institut Mensch in komplexen Systemen, Hochschule für Angewandte Psychologie FHNWDiese Bachelorarbeit untersucht, ob eine Instruktion die Fähigkeiten und das Nutzungsverhalten der Studierenden im Umgang mit ChatGPT verbessern kann. Zudem wird der Zusammenhang zwischen dem Umgang mit ChatGPT und der Selbstwirksamkeit erforscht. Im Rahmen dieser Studie wurden Studierende mittels Fragebogen gebeten, ihre Selbstwirksamkeit sowie ihre Nutzungsabsicht einzuschätzen und anschliessend 15 ChatGPT-Aufgaben zu beurteilen. Die Konstrukte Selbstwirksamkeit sowie die Nutzungsabsicht der Studierenden wurden mit wissenschaftlich validierten Items erfasst. Mittels t-Test und Spearman-Korrelation wurden die formulierten Hypothesen überprüft. Die Stichprobe (N=69) umfasst Studierende aus diversen Hochschulen sowie unterschiedlichen Alters und Geschlechts. Eine Instruktion beeinflusst den Umgang mit ChatGPT sowie das Nutzungsverhalten der Studierenden nicht signifikant. Zudem wurde festgestellt, dass eine höhere Selbstwirksamkeit keinen signifikanten Zusammenhang mit dem Umgang mit ChatGPT hat. Anhand der Analyse der Daten konnten Handlungsempfehlungen abgeleitet werden, um die Implementierung von Large Language Models (LLM`s) an Hochschulen zu unterstützen. Die daraus resultierenden Handlungsempfehlungen umfassen das Anbieten von Schulungen, um Studierende im Umgang mit LLM`s wie ChatGPT zu bilden, einschliesslich ethischer Aspekte und Datenschutzfragen. Darüber hinaus sollten klare Richtlinien für die Nutzung von KI-Technologien erstellt werden, um Transparenz zu gewährleisten und Studierende im kritischen Umgang mit KI-generierten Texten zu schulen.11 - Studentische ArbeitPublikation Die Nutzung von KI in Unternehmen aus Sicht der Selbstbestimmungstheorie(Springer, 2020) Hudecek, Matthias; Mc Auley, Steven; Buchkremer, Rüdiger; Heupel, Thomas; Koch, Oliver04A - Beitrag SammelbandPublikation Elevating Education: Exploring The Impact of AI-Integration in Higher Education(Hochschule für Angewandte Psychologie FHNW, 05.09.2024) Lartey, Nicole; Michel, Stefan; Hochschule für Angewandte Psychologie FHNWAktuellen Studien haben zahlreichen Vorteile und Herausforderungen der Einbeziehung von GenAI-Tools in die Bildung aufgezeigt. Sehr wenige Studien untersuchten die Auswirkungen einer gesteuerten KI-Integration auf die Perspektiven von Studierenden und Dozierenden. Ausserdem bezogen sich die meisten davon auf ChatGPT und schlossen Psychologiestudierenden nicht ein. Mit einem Mixed-Methods Ansatz zielte diese Masterarbeit darauf ab, (1) zu ermitteln, was für Ausprägungen gesteuerten Erfahrungen auf die Perspektiven von Psychologie-studierenden unterschiedlicher akademischer Ebene hinsichtlich der KI-Integration hatten, und (2) welche Perspektiven Psychologiedozierenden zur KI-Integration hatten. Es wurden auch weitere KI-Tools berücksichtigt. Die Ergebnisse zeigten gemischte Meinungen über KI-Integration und selbstberichtete Einstellungsänderungen, die auf die jeweiligen Interventionen bezogen wurden. Alle Dozierenden waren der KI-Integration gegenüber aufgeschlossen, während einige Studierende damit nicht einverstanden waren. Während BSc-Studierenden eine Steigerung ihrer digitalen Kompetenz wahrnahmen, gaben MSc-, CAS- und MAS-Studierenden an, dass sie noch mehr lernen müssten. Es wurden unterschiedliche Bedenken hinsichtlich der Auswirkungen der KI-Nutzung auf verschiedene Themen wie Leistung, sinnvolle und ethische KI-Nutzung, Datenschutz usw. Die meisten Teilnehmende wünschten sich weiterer Schulung und Leitlinien seitens der Hochschule. Insgesamt gibt es viele Faktoren, die bei der KI-Integration berücksichtigt werden müssen. Die Stimmen von Studierenden und Dozierenden müssen berücksichtigt werden, und die Steigerung von digitalen Kompetenzen muss priorisiert werden.11 - Studentische ArbeitPublikation Explainability does not mitigate the negative impact of incorrect AI advice in a personnel selection task(Nature, 2024) Cecil, Julia; Lermer, Eva; Hudecek, Matthias; Sauer, Jan; Gaube, SusanneDespite the rise of decision support systems enabled by artificial intelligence (AI) in personnel selection, their impact on decision-making processes is largely unknown. Consequently, we conducted five experiments (N = 1403 students and Human Resource Management (HRM) employees) investigating how people interact with AI-generated advice in a personnel selection task. In all pre-registered experiments, we presented correct and incorrect advice. In Experiments 1a and 1b, we manipulated the source of the advice (human vs. AI). In Experiments 2a, 2b, and 2c, we further manipulated the type of explainability of AI advice (2a and 2b: heatmaps and 2c: charts). We hypothesized that accurate and explainable advice improves decision-making. The independent variables were regressed on task performance, perceived advice quality and confidence ratings. The results consistently showed that incorrect advice negatively impacted performance, as people failed to dismiss it (i.e., overreliance). Additionally, we found that the effects of source and explainability of advice on the dependent variables were limited. The lack of reduction in participants’ overreliance on inaccurate advice when the systems’ predictions were made more explainable highlights the complexity of human-AI interaction and the need for regulation and quality standards in HRM.01A - Beitrag in wissenschaftlicher ZeitschriftPublikation Exploring linguistic indicators of social collaborative group engagement(International Society of the Learning Sciences, 2023) Jeitziner, Loris Tizian; Paneth, Lisa; Rack, Oliver; Zahn, Carmen; Wulff, Dirk U.; Damşa, Crina; Borge, Marcela; Koh, Elizabeth; Worsley, MarceloThis study takes a NLP approach to measuring social engagement in CSCL-learning groups. Specifically, we develop linguistic markers to capture aspects of social engagement, namely sentiment, responsiveness and uniformity of participation and compare them to human ratings of social engagement. We observed small to moderate links between NLP-markers and human ratings that varied in size and direction across the different groups. We discuss measurement and prediction of social collaborative group engagement using natural language processing.04B - Beitrag KonferenzschriftPublikation Insights on the current state and future outlook of AI in health care: expert interview study(JMIR Publications, 2023) Hummelsberger, Pia; Koch, Timo K.; Rauh, Sabrina; Dorn, Julia; Lermer, Eva; Raue, Martina; Hudecek, Matthias; Schicho, Andreas; Colak, Errol; Ghassemi, Marzyeh; Gaube, SusanneBackground Artificial intelligence (AI) is often promoted as a potential solution for many challenges health care systems face worldwide. However, its implementation in clinical practice lags behind its technological development. Objective This study aims to gain insights into the current state and prospects of AI technology from the stakeholders most directly involved in its adoption in the health care sector whose perspectives have received limited attention in research to date. Methods For this purpose, the perspectives of AI researchers and health care IT professionals in North America and Western Europe were collected and compared for profession-specific and regional differences. In this preregistered, mixed methods, cross-sectional study, 23 experts were interviewed using a semistructured guide. Data from the interviews were analyzed using deductive and inductive qualitative methods for the thematic analysis along with topic modeling to identify latent topics. Results Through our thematic analysis, four major categories emerged: (1) the current state of AI systems in health care, (2) the criteria and requirements for implementing AI systems in health care, (3) the challenges in implementing AI systems in health care, and (4) the prospects of the technology. Experts discussed the capabilities and limitations of current AI systems in health care in addition to their prevalence and regional differences. Several criteria and requirements deemed necessary for the successful implementation of AI systems were identified, including the technology’s performance and security, smooth system integration and human-AI interaction, costs, stakeholder involvement, and employee training. However, regulatory, logistical, and technical issues were identified as the most critical barriers to an effective technology implementation process. In the future, our experts predicted both various threats and many opportunities related to AI technology in the health care sector. Conclusions Our work provides new insights into the current state, criteria, challenges, and outlook for implementing AI technology in health care from the perspective of AI researchers and IT professionals in North America and Western Europe. For the full potential of AI-enabled technologies to be exploited and for them to contribute to solving current health care challenges, critical implementation criteria must be met, and all groups involved in the process must work together.01A - Beitrag in wissenschaftlicher ZeitschriftPublikation Non-task expert physicians benefit from correct explainable AI advice when reviewing X-rays(Nature, 2023) Gaube, Susanne; Suresh, Harini; Raue, Martina; Lermer, Eva; Koch, Timo K.; Hudecek, Matthias; Ackery, Alun D.; Grover, Samir C.; Coughlin, Joseph F.; Frey, Dieter; Kitamura, Felipe C.; Ghassemi, Marzyeh; Colak, ErrolArtificial intelligence (AI)-generated clinical advice is becoming more prevalent in healthcare. However, the impact of AI-generated advice on physicians’ decision-making is underexplored. In this study, physicians received X-rays with correct diagnostic advice and were asked to make a diagnosis, rate the advice’s quality, and judge their own confidence. We manipulated whether the advice came with or without a visual annotation on the X-rays, and whether it was labeled as coming from an AI or a human radiologist. Overall, receiving annotated advice from an AI resulted in the highest diagnostic accuracy. Physicians rated the quality of AI advice higher than human advice. We did not find a strong effect of either manipulation on participants’ confidence. The magnitude of the effects varied between task experts and non-task experts, with the latter benefiting considerably from correct explainable AI advice. These findings raise important considerations for the deployment of diagnostic advice in healthcare.01A - Beitrag in wissenschaftlicher ZeitschriftPublikation Patient:innen und KI: Eine Frage der Perspektive bei der Bewertung von KI bei medizinischen Online-Diensten(Frankfurt University of Applied Sciences, 2024) Lermer, Eva; Gaube, Susanne; Cecil, Julia; Kleine, Anne-Kathrin; Kokje, Eesha; Frey, Dieter; Hudecek, Matthias; Klein, Barbara; Rägle, Susanne; Klüber, Susanne04A - Beitrag SammelbandPublikation White Paper: Mensch und KI – gemeinsam besser. Hinweise für eine erfolgreiche Nutzung der künstlichen Intelligenz in wissensintensiven Bereiche(Hochschule für Angewandte Psychologie FHNW, 01.09.2024) Wäfler, Toni; Eisenegger, Andrina; Hamouche, Samira; Magee, Nicholas05 - Forschungs- oder Arbeitsbericht