Description
Date depot: 12 avril 2023
Titre: Apprentissage machine pour les simulations d'acoustique de salle en réalité virtuelle et augmentée
Directeur de thèse:
Jean-Louis GIAVITTO (STMS)
Encadrant :
Markus NOISTERNIG (STMS (ED158))
Domaine scientifique: Sciences et technologies de l'information et de la communication
Thématique CNRS : Intelligence artificielle
Resumé: Ce projet de thèse vise à explorer l'application des méthodes d'apprentissage profond pour les simulations d'acoustique des salles dans les environnements de réalité virtuelle et augmentée (RV/RA). Les objectifs sont d'étudier la faisabilité de cette utilisation, de concevoir et développer des modèles pour la simulation d'acoustique des salles, d'évaluer et optimiser leurs performances pour les simulations en temps réel, et de les valider par des études utilisateurs dans des environnements RV/RA. La recherche inclura une revue de littérature, la collecte et la préparation de données, la conception et le développement de modèles utilisant différentes architectures de réseaux de neurones, et leur évaluation objective (qualité d’estimation) et subjective (études utilisateurs). Les premières étapes comprendront l'étude de l'interpolation des réponses impulsionnelles spatiales des salles dans des environnements dynamiques où la source ou l'auditeur est en mouvement, ainsi que l'amélioration de la précision des réponses impulsionnelles spatiales mesurées et simulées.
Mots-clés : Apprentissage en profondeur, Intelligence artificielle, Simulation acoustique des salles, Réalité virtuelle et augmentée.
Résumé dans une autre langue: Thesis Title: Machine Learning for Room Acoustics Simulations in Virtual and Augmented Reality
In this proposed PhD project, we aim to explore the application of deep learning methods for room acoustics simulations in virtual and augmented reality (VR/AR) environments. The objectives of this project are to study the feasibility of using deep learning for room acoustics simulations, design and develop models that can simulate room acoustics, evaluate the performance of the developed models, optimize the models for real-time simulations, and validate them through user studies in VR/AR environments. The project will involve a literature review, data collection and preparation, design and development of models using different neural network architectures, and validation of the models through objective evaluation and user studies. The research will begin by studying the interpolation of spatial room impulse responses in dynamic environments where either the source or listener is in motion, as well as enhancing the accuracy of measured and simulated spatial room impulse responses.
Key words: Deep Learning, Artificial Intelligence, Room Acoustics, Virtual Reality, Augmented Reality