Artistes et scientifiques à la conquête de réalités mixtes

Les danseurs, au début des années 2000, ont intégré des capteurs à leur costume pour faire entendre le son de la chorégraphie. Les musiciens eux-mêmes ont créé des interfaces permettant aux ordinateurs de sonoriser les gestes-instruments, les mouvements volontaires et inconscients de leur corps. Dorénavant, de célèbres peintures prennent des dimensions inédites, comme aux Beaux-de-Provence avec l’exposition Van Gogh, nuit étoilée. Elles se mettent en mouvement, enveloppent le spectateur des pieds à la tête, lui donnant le sentiment d’être projeté dans la toile et de suivre le regard de l’artiste. En passant à 360°, la réalité virtuelle permet à son tour des expériences autrement impossibles. Elle permet de visiter des lieux inaccessibles dans le temps ou dans l’espace avec un réalisme encore inimaginable il y a peu. 

Simultanément, en salle, le spectateur pris dans ces réalités mixtes devient parfois acteur. Il contribue à la composition de l’œuvre, comme dans les pièces de la compagnie berlinoise Rimini Protokoll. Ailleurs, il devient utilisateur, il a le choix de ne plus seulement regarder la scène qui se déroule devant lui. La technologie lui offre une palette d’expériences additionnelles possibles. Certaines expositions prévoient un parcours multimodal, tour à tour classique, immersif, animé, ponctué d’hologrammes ou en 3D au moyen d’une tablette numérique. Mais, pour que ces réalités mixtes composent des œuvres fidèles à l’ambition de ceux qui les imaginent, la coopération entre artistes et scientifiques demeure cruciale. Une telle collaboration, à l’image de ce qui se fait au Toasterlab de Toronto, prend ainsi forme à Université Côte d’Azur, avec un projet dédié, porté par le Pr. Jean-François Trubert, chercheur en musicologie au Centre Transdisciplinaire d’Épistémologie de la Littérature et des arts vivants (CTEL) et par Lucile Sassatelli, maîtresse de conférence Habilitée à Diriger des Recherches en réseaux informatiques et streaming immersif au laboratoire I3S.

Spécialiste des contacts entre la musique et la scène, Jean-François Trubert a été inspiré pour ce projet par une série de constats et de projets liés à la scène contemporaine dont certains sont directement abrités par UCA et par le programme IDEX (1), mais aussi par les projets féconds de Lucile Sassatelli. La recherche de cette scientifique porte notamment sur la façon de transmettre en streaming des contenus multimédias immersifs, donc massifs, en prenant en compte les capacités du réseau Internet. « Je travaille depuis presque 4 ans sur les contenus immersifs, en particulier la réalité virtuelle à 360°. Ce qui est très particulier avec ces contenus-là c’est que le débit nécessaire pour transmettre les vidéos sur le réseau dépend aussi de ce que fait l’utilisateur au moment de la transmission. De la façon dont il regarde, dont il bouge », explique Lucile Sassatelli. Cela porte le débit requis pour la diffusion à 100 fois le débit classique pour une qualité similaire. « Pour réduire ce besoin, une approche consiste à n’envoyer en très haute qualité que ce que la personne va vraiment regarder », développe la chercheuse. 

Mais les scientifiques ne savent encore que très peu de choses sur la manière, justement, dont les humains explorent spontanément les contenus immersifs comme la réalité virtuelle, mixte ou augmentée. Cela pose donc un problème pour conduire l’attention de l’utilisateur où on le veut et coupler l’activité de la personne à la qualité de ce qu’elle reçoit. Par ailleurs, les dispositifs immersifs déstabilisent parfois le système vestibulaire (l’organe qui contrôle l’équilibre) de l’individu et peuvent déclencher par exemple des nausées. Afin de s’affranchir de ces écueils, Lucile Sassatelli et ses collègues ont cherché comment conduire l’attention de l’utilisateur à son insu là où le monteur, le concepteur artistique, le désirent du point de vue de l’histoire. Ils ont donc contacté une compagnie de production audiovisuelle, Adastra Films, située dans la pépinière Bastide Rouge sur le campus de Cannes, dédié aux Industries Créatives et culturelles, pour concevoir des méthodes de coupes cinématographiques adaptées  à la réalité virtuelle et qui n’existaient pas jusqu’à présent. 

« Dans un second temps, nous pourrons alors transférer l’information sur ces coupes à nos algorithmes, pour transmettre moins de données sans que cela se voie. On va tout simplement consommer moins de débit et la qualité finale, le niveau d’expérience perçu, va être plus élevé », résume Lucile Sassatelli. « Tout cela est valable également pour le design sonore. Pour penser une diffusion en 3D il faut comprendre que les fréquences ne sont pas distribuées de la même façon qu’en stéréo. Il y a tout un positionnement dans l’espace à réfléchir quand on produit un son », poursuit Jean-François Trubert. À ce titre, un des moments clé du projet a été également l’organisation  en 2019 de summer schools en partenariat avec l’INA, sur le design des expériences numériques. Mais les réalités mixtes peuvent aussi assister l’artiste dans son processus de création, pour traduire et tester ce qu’il a en tête, partager tout cela avec ses collaborateurs et enfin le faire vivre sans effets spéciaux. 

C’est dans cet esprit qu’a été conçu le « nouveau bureau du compositeur », en partenariat avec le Centre National de Création Musicale de Nice (CIRM), le CTEL, et l’École de Design Durable SDS. Cet objet innovant répond à l’origine à une double problématique posée au compositeur d’opéra. En premier lieu, il permet de jouer des notes qui n’existent pas sur un piano classique, instrument à partir duquel le compositeur écrit habituellement sa partition pour l’orchestre. Ensuite, il enregistre une musique fidèle à l’imaginaire du compositeur, prenant en compte les variations de tempo données par l’auteur et qui peut être partagée au fur et à mesure du travail de création, avant que l’ensemble des collaborateurs puissent se réunir pour répéter ensemble. Le bureau du compositeur est donc un outil de simulation d’un orchestre virtuel, capable de traduire une partition composée de signes mais d’intégrer aussi les variations de tempo captées à partir d’une caméra placée face au compositeur et à même de « lire » les mouvements des mains de l’auteur. Il facilite ainsi considérablement le travail de création scénique et de préparation des chanteurs et des instrumentistes au fil des mois précédant les représentations. 

Mais la possibilité d’accéder à une œuvre artistique en dehors du lieu d’exhibition prend aussi une autre dimension depuis le confinement quasi-mondial décrété au printemps 2020 en raison de l’épidémie de covid-19. Les réalités mixtes pourraient peut-être créer de nouvelles scènes, éphémères, où faire vivre les artistes et accueillir le public. C’est le sujet d’un des projets de thèse encadrés par Jean-François Trubert. « Romina Romay, doctorante UCA en composition musicale, est porteuse du projet le « Tour du monde en réalité mixte ». Lors de cette tournée, des avatars créés par quatre musiciennes se produiront à certains moments et lieux de l’année autour d’expériences musicales. Cette recherche sera là encore l’occasion de poser des enjeux en termes de défis technologiques de flux de données, donc d’accessibilité et de qualité d’expérience », souligne-t-il. Un espace d’expérimentations bien physique, lui, accueillera également les dispositifs élaborés au sein du projet réalités mixtes, dans les prochains mois. Il s’agit du campus Bastide Rouge, équipé d’un espace de production et de diffusion, ainsi que d’une plateforme technique de 250m2. « Ce sera un formidable terrain pour expérimenter et rencontrer le public », se réjouit Jean-François Trubert. 

(1) Bureau du compositeur, MPEi (Multidimensional Polyphonic Expression Instruments) et surtout MICADôme (http://univ-cotedazur.fr/fr/idex/academies/human-societies-ideas-and-environments/contents/projects/micadome-dome-de-musique-immersive-de-la-cote-dazur/@@highlight_view#.XwwYgi1Pjs0) au Conservatoire à Rayonnement Régional de Nice (C.R.R), au CIRM et au CTEL