Va.Si.Li-Lab

Zielsetzung

Va.Si.Li-Lab ist eine Umgebung zur Analyse von multimodalen Interaktionsdaten, die im Rahmen von simulationsbasierten Lernprozessen erhoben werden. Es handelt sich um eine auf Unity basierende VR-Anwendung, die ein AR-Interface integriert und zusätzlich einen konventionellen Desktop-basierten Zugang ermöglicht. Dabei werden den Nutzern (über VR-Brille, PC, Smartphone, etc.) Lernszenarien in sozialen Umgebungen angeboten, in denen sie in Rollenspiele einsteigen können. Die Nutzer von Va.Si.Li-Lab verfügen über ein akustisches und gestisches Interface und können sowohl schreiben als auch zeichnen, um mit und durch virtualisierte Artefakte zu interagieren. Ihre Interaktions- und Bewegungsdaten werden aufgezeichnet und können anschließend über die multimodale Datenbank von Va.Si.Li-Lab analysiert werden. Va.Si.Li-Lab konvertiert Sprachinteraktionen mit Hilfe von Speech2Text-Technologien, um sie mit Natural Language Processing (NLP)-Technologien weiter zu analysieren; dies soll durch den Einsatz von Gesture2Text-Technologien erweitert werden, um auch gestische und andere Bewegungsdaten abzubilden. Auf diese Weise bietet Va.Si.Li-Lab eine breite Schnittstelle für multimodales Lernen im Kontext von Multi-Agenten-Interaktionssystemen: Es ermöglicht Gruppen von Agenten in einer oder mehreren Untergruppen miteinander zu interagieren und dabei auf ein breites multimodales Verhaltensrepertoire zurückzugreifen, während die dabei hinterlassenen Datenspuren einer wissenschaftlichen Analyse zugänglich gemacht werden. 

Va.Si.Li-Lab wurde als Mehrbenutzersystem zwecks Ermöglichung von Rollendifferenzierung basierend auf erziehungswissenschaftlichen Szenarien (siehe das Projekt SiMo von Juliane Engel) entwickelt. Es implementiert ein breites Spektrum multimodaler Interaktionsmöglichkeiten, so dass die Teilnehmenden über Sprache, Gesten, durch Schreiben oder Zeichnen sowie durch die Interaktion mit Objekten miteinander interagieren können.

Rahmendaten

Learning Design:	Vertiefung, Selbststudium
Sozialform:	Gruppenarbeit, Individualarbeit, Kleingruppen, Selbststudium, Simulation-based Learning
Zeitlicher Rahmen:	Kontinuierlich

Voraussetzungen

Va.Si.Li-Lab ist nachnutzbar via GitHub: https://github.com/texttechnologylab/Va.Si.Li-Lab

Evaluationsergebnisse aus der Pilotphase (Publikationen)

A. Mehler, M. Bagci, A. Henlein, G. Abrami, C. Spiekermann, P. Schrottenbacher, M. Konca, A. Lücking, J. Engel, M. Quintino, J. Schreiber, K. Saukel, and O. Zlatkin-Troitschanskaia (2023). "A Multimodal Data Model for Simulation-Based Learning with Va.Si.Li-Lab". In: Duffy, V.G. (eds) Digital Human Modeling and Applications in Health, Safety, Ergonomics and Risk Management. HCII 2023. Lecture Notes in Computer Science, vol 14028. Springer, Cham. https://doi.org/10.1007/978-3-031-35741-1_39.

Mehler A, Bagci M, Henlein A, Abrami G, Spiekermann C, Schrottenbacher P, Konca M, Lücking A, Engel J, Quintino M, Schreiber J, Saukel K, Zlatkin-Troitschanskaia O. (2023): Va.Si.Li-Lab: a VR-based System for Simulation-based Learning. Talk at the Annual Meeting of the American Educational Research Association (AREA) 2023, in the context of the Workshop Performance Assessment for University Students' and Young Professionals' Critical Dealing With (Online) Information in Different Domains, 2023-04-14, Chicago.

Bagci M, Mehler A, Abrami G, Schrottenbacher P, Spiekermann C, Schreiber J, Saukel K, Quintino M, Engel J, et al. "Va.Si.Li-Lab: a VR-based System for Simulation-based Learning." 2023.  Eingereicht.

G. Abrami, A. Mehler, M. Bagci, P. Schrottenbacher, A. Henlein, C. Spiekermann, J. Engel, and J. Schreiber, “Va.Si.Li-Lab as a collaborative multi-user annotation tool in virtual reality and its potential fields of application," in Proceedings of 34th ACM Hypertext Conference (HT 23), 2023. Accpeted.