Mensch und Künstliche Intelligenz im User Experience Research: Eine Fallstudie zur Evaluierung KI-gestützter Analyseprozesse in einem Schweizer KMU

Abstract

Diese explorative Master-Thesis untersucht den Einsatz Künstlicher Intelligenz (KI) im Bereich des User Experience Research (UXR) mit Fokus auf den Analyseprozess von Usability-Tests. Im Zentrum der Fallstudie stehen Herausforderungen kleiner UX-Agenturen, exemplarisch dargestellt an der Praxispartnerin sinnhaft GmbH. Vor dem Hintergrund begrenzter Ressourcen sowie der raschen Entwicklung von KI wächst das Interesse an der Integration KI-gestützter Methoden in UXR Prozesse, um Arbeitsabläufe effizienter zu gestalten und Ressourcen gezielter einzusetzen. Bislang ist jedoch weitgehend ungeklärt, wie zuverlässig und aussagekräftig KI-gestützte Methoden insbesondere bei der Analyse von Usability-Tests sind. Ziel der Arbeit ist, Potenziale und Herausforderungen der KI-Integration im UXR zu untersuchen, daraus resultierende Anforderungen an Anwender*innen und Forschende zu identifizieren sowie Hinweise auf die Zuverlässigkeit und Aussagekraft KI-generierter Analyseergebnisse im Vergleich zu menschlichen Referenzanalysen zu gewinnen. Methodisch folgt die Arbeit einem explorativen, qualitativen Forschungsdesign. Neben einer Literaturrecherche wurden n = 4 halbstrukturierte Experteninterviews durchgeführt. Ergänzend wurde ein KI-gestützter Analyseprozess zur Auswertung von Usability-Tests entwickelt und durch einen Mensch-KI-Vergleich mit einer menschlichen Referenzanalyse evaluiert. Die Ergebnisse zeigen, dass KI Effizienzgewinne ermöglicht und verschiedene Phasen des UXR-Prozesses sinnvoll unterstützen kann. Dieser Mehrwert ist jedoch kontextabhängig und an die Qualität sowie Aufbereitung der Daten gebunden. Der Mensch-KI-Vergleich verdeutlicht, dass KI relevante Usability-Probleme zwar identifizieren, menschliche Analysen jedoch nicht vollständig ersetzen kann. Gleichzeitig werden Limitationen festgestellt, welche erhöhte Anforderungen an menschliche Supervision, Methodenkompetenz und einen reflektierten und kritischen Umgang mit KI-Ergebnissen mit sich bringen. Die Arbeit leistet einen Beitrag zur Bearbeitung einer Forschungslücke und liefert wissenschaftliche sowie praxisrelevante Implikationen für die Integration von KI in UXR-Prozesse.