Projet de recherche doctoral numero :8150

Date depot: 9 avril 2021
Titre: Distributed Interactive Music Systems: A Web-based approach for Collective Multimodal Interaction
Directeur de thèse: Frédéric BEVILACQUA (STMS)
Encadrant : Benjamin MATUSZEWSKI (STMS)
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Non defini

Resumé: The general goal of this PhD is to develop novel collective computer-mediated interaction paradigms and tools, with multimodal input (e.g. gesture, sound, movements, touch) and synchronized output feedback (e.g. sound/music, haptics, low-res visuals). Therefore, the goal is to significantly progress beyond the standard applications in computer-mediated communication based on text or screen interaction, by developing embodied interactions, synchronized on heterogeneous sets of mobile, embedded and/or wearable devices. The key points are twofold: 1) provide scalable technical solutions to enable from a few to hundreds end-users simultaneously interacting in a shared space with multimodal input and output, 2) provide high-level tools for users to design, test, and deploy such applications. The target users correspond to several communities from musiciens, performing artists and educators. Therefore the challenges consist in developing and experimenting, using web technologies, a portable, connectable and interoperable ecosystem of devices for multimodal interaction, both at input and output levels. This requires the development of overlay-network models assuring synchronisation between all these heterogeneous components. In particular, music making requires considering different timing models with controlled synchronization procedures (typically less than a few milliseconds), and the ability to non-linearly navigate into these synchronized timelines. The PhD work will also imply to consider implementing tools and building blocks targeted to non-developer practitioners (e.g. GUI components, high-level librairies, end-user programming strategies) for the design, prototyping, efficient testing and evaluation of applications. Concepts and technological tools will be designed and validated together with real-world applications in artistic practices, pedagogy, as well as use cases in physical training or rehabilitation in groups.

Résumé dans une autre langue: L'objectif général de ce doctorat est de développer de nouveaux paradigmes et des outils dédiés à l'interaction collective avec des données multimodales (par exemple, gestes, son, mouvements, touché) et des retours synchronisées (par exemple, son/musique, haptique, images à faible résolution). Ainsi, l'objectif est d'aller au-delà des applications standards de “communication assistée par ordinateur” basées sur du texte et des écrans, en développant des interactions “incarnées” (embodied) et synchronisées avec des ensembles hétérogènes d’appareils mobiles, embarqués et/ou portables (wearables). Les points clés sont de deux ordres : 1) fournir des solutions techniques généralisables (scalable) permettant à des utilisateurs finaux - de quelques uns à des centaines- d'interagir simultanément dans un espace partagé avec des entrées et sorties multimodales, 2) fournir des outils de haut-niveau permettant à des utilisateurs “non spécialistes” de concevoir, tester et déployer de telles applications. Ici, les utilisateurs cibles correspondent à plusieurs communautés telles que musiciens, artistes, designers ou pédagogues. Les enjeux consistent donc à développer et à expérimenter, grâce aux technologies web, un écosystème d’appareils portables, connectables et interopérables dédiés à l’interaction multimodale, tant au niveau des entrées (input) que des sorties (output). Cela nécessitera notamment de développer des modèles de surcouches réseaux (overlay network) assurant la synchronisation entre tous ces composants hétérogènes. En effet, la création musicale nécessite d'envisager différents modèles temporels avec des procédures de synchronisation contrôlées (généralement moins de quelques millisecondes), et la capacité de naviguer de manière non linéaire dans ces lignes de temps synchronisées. Le travail de thèse impliquera également d'envisager la mise en œuvre d'outils modulaires destinés aux praticiens non développeurs (par exemple, composants d'interface graphique, bibliothèques de haut niveau, stratégies de scripting/authoring pour non-spécialiste) pour la conception, le prototypage et l’évaluation d’applications. Les concepts et les outils technologiques seront conçus et validés à travers des applications concrètes dans les pratiques artistiques, la pédagogie, ainsi que dans des cas de rééducation avec retour sonore.



Doctorant.e: Golvet Aliénor