A framework for low-latency, LLM-driven multimodal interaction on the Pepper Robot
Lade...
Dateien
Autor:innen
Autor:in (Körperschaft)
Publikationsdatum
2026
Typ der Arbeit
Studiengang
Typ
04B - Beitrag Konferenzschrift
Herausgeber:innen
Herausgeber:in (Körperschaft)
Betreuer:in
Übergeordnetes Werk
HRI '26. Proceedings of the 21st ACM/IEEE International Conference on Human-Robot Interaction
Themenheft
DOI der Originalpublikation
Link
Zugehörige Forschungsdaten
Reihe / Serie
Reihennummer
Jahrgang / Band
Ausgabe / Nummer
Seiten / Dauer
1298-1302
Patentnummer
Verlag / Herausgebende Institution
Association for Computing Machinery
Verlagsort / Veranstaltungsort
Edinburgh
Auflage
Version
Programmiersprache
Abtretungsempfänger:in
Praxispartner:in/Auftraggeber:in
Zusammenfassung
Despite recent advances in integrating Large Language Models (LLMs) into social robotics, two weaknesses persist. First, existing implementations on platforms like Pepper often rely on cascaded Speech-to-Text (STT)→LLM→Text-to-Speech (TTS) pipelines, resulting in high latency and the loss of paralinguistic information. Second, most implementations fail to fully leverage the LLM’s capabilities for multimodal perception and agentic control. We present an open-source Android framework for the Pepper robot that addresses these limitations through two key innovations. First, we integrate end-to-end Speech-to-Speech (S2S) models to achieve low-latency interaction while preserving paralinguistic cues and enabling adaptive intonation. Second, we implement extensive Function Calling capabilities that elevate the LLM to an agentic planner, orchestrating robot actions (navigation, gaze control, tablet interaction) and integrating diverse multimodal feedback (vision, touch, system state). The framework runs on the robot’s tablet but can also be built to run on regular Android smartphones or tablets, decoupling development from robot hardware. This work provides the HRI community with a practical, extensible platform for exploring advanced LLM-driven embodied interaction.
Schlagwörter
Fachgebiet (DDC)
Veranstaltung
HRI '26. 21st ACM/IEEE International Conference on Human-Robot Interaction
Startdatum der Ausstellung
Enddatum der Ausstellung
Startdatum der Konferenz
16.03.2026
Enddatum der Konferenz
19.03.2026
Datum der letzten Prüfung
ISBN
979-8-4007-2128-1
ISSN
Sprache
Englisch
Während FHNW Zugehörigkeit erstellt
Ja
Zukunftsfelder FHNW
Publikationsstatus
Veröffentlicht
Begutachtung
nicht peer-reviewed
Open Access-Status
Gold
Lizenz
Zitation
Studerus, E., Zhong, J., & Vonschallen, S. (2026). A framework for low-latency, LLM-driven multimodal interaction on the Pepper Robot. HRI ’26. Proceedings of the 21st ACM/IEEE International Conference on Human-Robot Interaction, 1298–1302. https://doi.org/10.1145/3757279.3788808