[chapo]La réalité mixte est sans doute l’un des grands leviers pour permettre le Collaborative Computing. Avec l’arrivée sur le marché des lunettes HoloLens de Microsoft et le prochain lancement des Magic Leap One par la société éponyme, une gamme de produits proposant des expériences de réalité mixte performantes peut désormais être le support d’expériences de collaboration numérique qui s’appliquent au sein de Digital Workplace. Cependant, collaborer n’est pas forcément une chose aisée avec ces nouvelles technologies. Chez Astrakhan, notamment avec le lancement du studio BAÏKONOUR et de notre logiciel UpRooM, nous avons eu l’occasion de nous confronter aux les enjeux et défis qu’apporte la collaboration entre plusieurs HoloLens.[/chapo]
Assurer une expérience cohérente dans un environnement virtuel changeant
La grande force, et la plus-value, de HoloLens, les lunettes de réalité mixte de Microsoft, est sa capacité à découvrir en continu l’environnement dans lequel elles évoluent. Dès leur allumage, les lunettes HoloLens modélisent et améliorent en permanence une représentation virtuelle de l’environnement réel dans lequel elles se trouvent. En d’autres termes, elles construisent, en temps réel, une reproduction de la réalité qu’elles perçoivent.
A cause de cette innovation, le placement d’objets virtuels dans le monde réel est pour le moins chaotique. Pour simplifier, le monde virtuel est une représentation idéalisée d’un espace en trois dimensions qui possède une origine, un point zéro. Cette représentation cartésienne n’est cependant pas la réalité véritable. L’origine, par exemple, est un point choisi arbitrairement par le logiciel au chargement d’une scène, ensemble des objets virtuels, à afficher dans une application de réalité virtuelle. Mais alors pourquoi le placement d’objet virtuel est chaotique ? C’est à cause de la détection du monde par l’HoloLens : l’origine du monde virtuel change à chaque fois que cette représentation est mise à jour. Ainsi à chaque fois que cette représentation est mise à jour, l’origine est replacée sur un point arbitraire de la représentation virtuelle du sol. Il faut donc résoudre cette problématique pour réussir à assurer une expérience agréable.
Comment bien placer des éléments virtuels dans une scène réelle
Heureusement, Microsoft a déjà prévu ce cas d’usage en fournissant le mécanisme d’ancrage dans l’espace physique. C’est-à-dire que les lunettes HoloLens vont associer une entité virtuelle, ou un groupe d’entités virtuelles, avec un point clé dans l’espace qui ne doit pas bouger [1] [2] , malgré le fait que l’origine se mette à jour dans le temps. Grâce à ces points, on peut définir des repères cartésiens, qui sont dit locaux à une ancre, pour pouvoir placer les objets dans l’espace réel sans craindre qu’il soit instable.
De plus, ces ancres peuvent être sauvegardées sur les lunettes HoloLens au sein d’un magasin de données pour qu’elles puissent être réutilisées, sans qu’on ait besoin de redéterminer leurs positions dans l’espace, au sein d’une même géométrie par une application. Mais ces ancres sont stockées sur l’appareil, pas sur un système de stockage externe. De fait, si deux utilisateurs ou plus ont une paire de HoloLens dans une salle, ils n’auront pas forcément leurs ancres en commun, et ainsi, ils ne verront éventuellement pas leurs objets virtuels au même endroit. Il leur sera donc impossible de partager une même expérience de réalité mixte, à moins qu’ils aient parfaitement placé leurs ancres au même endroit, en utilisant exactement le même point dans l’espace comme origine.
Il faut donc trouver un moyen de partager ces ancres entre différents utilisateurs présents dans une même pièce pour qu’ils puissent collaborer efficacement.
Exemple d’architecture de collaboration avec HoloLens
Le partage des ancres : défis et enjeux
Chez Astrakhan, pour réussir une collaboration efficace avec HoloLens, nous avons mis en valeur quatre éléments fondamentaux que nous jugeons importants.
Les 4 points clés de la collaboration avec HoloLens
Exporter les ancres dans un format transmissible
C’est sans doute la première chose dont il faut s’assurer si on compte partager ces fameuses ancres avec d’autres utilisateurs sur un réseau informatique. Dans un premier temps, il vous faut donc vous assurer que vous puissiez utiliser des outils pour pouvoir transmettre les données constituant l’information spatiale au travers d’un canal de communication numérique. Ce format doit également pouvoir être facilement interprété comme une ancre HoloLens sur l’appareil d’un collaborateur.
S’assurer que les ancres soient bien synchronisées entre tous les acteurs
Partager une ancre c’est bien, mais il est préférable de s’assurer que toutes les ancres soient bien partagées entre tous les acteurs d’une expérience de réalité mixte. Vous ne pouvez pas vous permettre d’avoir votre collaboration numérique ruinée par le fait que des informations spatiales se perdent dans les méandres du réseau informatique. Pour cela, nous recommandons de vous assurer que les ancres HoloLens soient bien synchronisées entre tous les collaborateurs d’une application exploitant la réalité mixte.
Une unique source de vérité pour tous les collaborateurs
Collaborer numériquement au sein d’une même pièce ou d’un même lieu demande également de ne pas partager des informations contradictoires, d’avoir un acteur qui puisse se porter garant de la véracité des informations spatiales partagées entre tous les participants. Mais il faut également qu’un collaborateur puisse donner une représentation fiable de la scène virtuelle à intégrer dans le monde réel à ceux qui rejoignent l’expérience en cours de route. Pour cela, nous recommandons de n’avoir qu’une seule source de vérité. C’est-à-dire de n’avoir qu’un acteur qui récolte et diffuse toutes les modifications d’informations spatiales aux autres acteurs de votre expérience collaborative.
Partager les ancres rapidement entre les collaborateurs
C’est sans doute le point crucial qui fera en sorte que votre collaboration sera un succès ou non : elle doit être la plus fluide possible. Ce qui est vrai pour des applications de réalité virtuelle ou augmentée, l’est aussi en réalité mixte. Ainsi, une modification des informations spatiales entre les collaborateurs se doit d’être transmise le plus rapidement possible pour éviter que celui qui l’a effectuée voit la modification, mais pas ses autres collègues. Dans le cas contraire, une gêne voire une dissonance peut résulter d’une telle latence et réduire à néant tous vos efforts d’immersion.
Le partage rapide et sûr des ancres spatiales utilisées par les lunettes HoloLens est la clé de toutes expériences collaboratives sur cette plateforme. Bien que ces concepts puissent être difficilement applicables en fonction des cas d’utilisations, nous pensons qu’il vaut mieux s’en rapprocher le plus possible pour pouvoir fournir une collaboration qui allie réalité virtuelle et « réelle » agréable et confortable aux différents acteurs prenant part dans vos réalisations. Des pistes existent déjà, notamment la bibliothèque MixedRealityToolkit pour Unity, un projet open-source encadré par Microsoft, ou le module pour la réalité étendue pour Microsoft Mixed Reality Platform de Unity, tout simplement, qui vous donnent des exemples d’utilisation de l’expérience collaborative avec HoloLens. Ou vous pouvez faire appel à nous pour vous fournir des conseils ou nous confier des réalisations dans ce domaine.
Références
[1] A. Turner, M. Zeller, E. Cowley et B. Bray, «Hologram stability – Mixed Reality | Microsoft Docs,» 21 Mars 2018.
[2] A. Turner, M. Zeller, E. Cowley et B. Bray, «Cordinate systems – Mixed Reality | Microsoft Docs,» 21 Mars 2018.
