Novel bidirectional multimodal system for affective human-robot engagement
Vorschaubild nicht verfügbar
Autor:in (Körperschaft)
Publikationsdatum
2021
Typ der Arbeit
Studiengang
Typ
04B - Beitrag Konferenzschrift
Herausgeber:innen
Herausgeber:in (Körperschaft)
Betreuer:in
Übergeordnetes Werk
2021 IEEE Symposium Series on Computational Intelligence (SSCI) Proceedings
Themenheft
DOI der Originalpublikation
Link
Reihe / Serie
Reihennummer
Jahrgang / Band
Ausgabe / Nummer
Seiten / Dauer
Patentnummer
Verlag / Herausgebende Institution
IEEE
Verlagsort / Veranstaltungsort
New York
Auflage
Version
Programmiersprache
Abtretungsempfänger:in
Praxispartner:in/Auftraggeber:in
Zusammenfassung
Multimodal interaction is an essential prerequisite for affective human-robot engagement. Research on bidirectional, affective multimodal interaction systems investigates systems that recognize a user's affect and generate emotional response based on this user's affect. The presented work investigates a novel bidirectional, affective multimodal interaction system using a social robot and an open-source dialogue system framework, developing a prototype based here on Pepper and Rasa. Compared to special lab robotics systems, the proposed system is more attainable, while incorporating, alongside speech and facial expression, eye gaze as one of the major features to convey emotions as input channels. The system generates and emulates emotional output behaviors based on a user's affect using speech, gestures and emojis. This paper describes the concrete implementation and evaluation of the proposed system. Results of the evaluation show that, although the recognition accuracy of the input channels perform differently well, the system can derive well-defined rule-based emotional output behaviors with a high multimodal accuracy rate in the given test scenarios.
Schlagwörter
Fachgebiet (DDC)
330 - Wirtschaft
Veranstaltung
IEEE Symposium Series on Computational Intelligence (IEEE SSCI 2021)
Startdatum der Ausstellung
Enddatum der Ausstellung
Startdatum der Konferenz
05.12.2021
Enddatum der Konferenz
07.12.2021
Datum der letzten Prüfung
ISBN
978-1-7281-9048-8
ISSN
Sprache
Englisch
Während FHNW Zugehörigkeit erstellt
Ja
Publikationsstatus
Veröffentlicht
Begutachtung
Peer-Review der ganzen Publikation
Open Access-Status
Closed
Lizenz
Zitation
APPLEWHITE, Timothy, Jia ZHONG und Rolf DORNBERGER, 2021. Novel bidirectional multimodal system for affective human-robot engagement. In: 2021 IEEE Symposium Series on Computational Intelligence (SSCI) Proceedings. New York: IEEE. 2021. ISBN 978-1-7281-9048-8. Verfügbar unter: https://irf.fhnw.ch/handle/11654/43162