Recherche : Penser le livre comme espace de jeu

 Penser le livre physique augmenté comme un espace de jeu (2018)

Préambule : Organisme d’accueil et modalités de travail

Mon stage de fin d’année de Master 1 JMIN (spécialité Game design) a été réalisé au Conservatoire National des Arts et Métiers (Paris, France) au sein de l’unité du CEDRIC (Centre d’Études et de Recherches en Informatique et Communication) pour une durée d’un mois, du 18 juin 2018 au 13 juillet 2018. Sous la supervision de Stéphanie Mader, enseignante-chercheure au CNAM, ma mission pendant cette période était de travailler autour d’une problématique en game design définie afin de produire un travail de recherche à l’issue de ce stage pouvant être utilisé comme une source scientifique. Grâce au CNAM, j’ai donc pu bénéficier en tant que stagiaire de l’accessibilité aux articles de recherches et surtout, d’un cadre afin de pouvoir m’y consacrer pendant un mois. Plusieurs sources viennent également de la sélection de livre mise à disposition du public de la Gaîté Lyrique. Ayant travaillé pendant plus de deux mois et demi sur le jeu de fin d’année Codex (un jeu mobilisant à la fois un grimoire physique et une application en réalité augmentée), il me semblait judicieux d’utiliser cette expérience dans le cadre d’un travail de recherche afin d’approfondir la réflexion autour de ce genre de dispositif. Aussi, j’ai choisi d’orienter ce mémoire encadré dans cette direction. J’ai donc travaillé sur la manière dont on pouvait considérer un livre physique comme un espace de jeu, avec ses enjeux, principes d’interactions propres et problématiques soulevée. J’espère que ce travail pourra être utile à d’autres designer désireux de concevoir une expérience similaire, en éclairant quelques points qui me semblent être intéressants de prendre en considération en vue de l’absence de littérature sur le sujet. Ci-dessous se trouve donc le résultat de ce travail de recherche.

Introduction

Évoquer le livre a quelque chose de puissant. C’est à la fois faire référence à l’objet relié support de la lecture, mais aussi faire naître tout un imaginaire fort, des instruments aux reliures, en passant par l’imprimerie, les livres saints, pamphlets, romans, édits, recueils et parchemins en tout genre ... Le monde du livre est celui du langage, mais un langage immuable, voix fixe et fixée sur papier. Puis viennent toutes les interactions propre à l’objet se rapprochant presque du rituel : ouvrir le livre, effleurer sa couverture, sentir l’intérieur, tourner ou feuilleter ses pages, les corner pour marquer sa progression, prendre des notes dans la marge... tout un système d’actions et de ressentis qui font du livre un véritable artefact porteur d’émotions et de sens. Le jeu vidéo, de son côté, se nourrit de la transversalité : art postmoderne par excellence, il arrive à puiser sa force créatrice de tous les autres et dans tous les courants en proposant des expériences extrêmement diverses. Pourtant, la venue de l’informatique semble aussi avoir instauré un clivage dans l’espace de jeu. Du côté de l’espace numérique sont apparus les jeux vidéo classiques, où les systèmes d’interaction intègre une relation entre le joueur et le monde virtuel par le biais de son avatar : c’est le lieu d’une activité virtuelle augmentée, autorisant des expériences excitantes grâce à la puissance de calcul informatique et aux potentialités qu’offre les technologies actuelle, au profit souvent d’une perte de contact physique, faisant osciller ’écran fenêtre et barrière. De l’autre sont restés les activités ludiques tangibles mettant en scène les jouets, jeux libres et autres jeux de l’ère pré-informatique : qu’il se fasse entre deux individus ou qu’il intègre un objet, l’interaction est ici toujours direct.

Néanmoins, l’hypothèse d’un espace hybride est séduisante : réintégrer les interactions physiques et sociales des espaces tangibles et leurs affordances dans l’espace numérique, tout en y intégrant la puissance de calcul et les spécificités de l’informatique ubiquitaire est d’ailleurs une tendance qui s’amplifie de plus en plus. Notre travail, par le prisme du game design, sera donc de nous intéresser à la question des espaces de jeu hybride et du jeu vidéo en voyant comment ce dernier peut exploiter la richesse symbolique, sémantique et tangible qui fait partie d’un livre. Pour ce faire, nous aurons tout d’abord une réflexion sur l’objet et le livre en tant que tel dans une expérience de jeu, avant de rentrer plus en détail dans les spécificités du livre en prenant l’exemple de Codex, une installation en réalité augmentée construite autour d’un grimoire physique. Cela nous aidera par la suite à analyser quelles propositions en matière de design et de technologies sont pertinentes dans le cadre d’une expérience faisant intervenir un livre augmenté. Grâce aux critères précédents, nous pourrons proposer une analyse critique de ces propositions et les classifier.

Définir le jeu

Dans le cadre de ce travail de recherche il nous semble judicieux de commencer parce que l’on entends par notion de “jeu” afin de clarifier notre propos et préciser le cadre dans lequel s’intègre notre vision d’ensemble. La définition qui nous paraît être la plus judicieuse pour ce travail est celle de Jesper Juul, qui dans sa conférence “The Game, the Player, the World: Looking for a Heart of Gameness” (Juul, 2003) défini plusieurs critères englobant les différents aspects du jeu vidéo en essayant de synthétiser les définitions existantes de Huizinga, Caillois, Suits, Salen & Zimmerman, Kelley, Crawford et Smith.

Premièrement, le jeu vidéo dispose de règles : sans règles, pas d’espace de jeu stable puisque les conflits et challenges découlent directement de ce que le joueur peut ou ne pas faire à un instant T. La règle est donc le squelette du système de jeu et défini directement les actions du joueur en jeu. Le jeu doit ensuite proposer plusieurs résultats variables et quantifiables pouvant être simulés et conceptualisés par le joueur, en fonction de ses actions et compétences. Un résultat unique supprime toute tension au niveau du gameplay et de l’implication du joueur qui fait alors face à un système qui ne l’intègre pas et de fait, n’est pas interactif. Parmis ces résultats, leur conséquence doit induire leur valeur ​: le plus souvent, un résultat est plus avantageux qu’un autre et la tension peut se faire dans l’identification de cette valeur, ou dans les efforts mis en place par le joueur au sein du système de jeu pour arriver à ce résultat. Mourir et devoir recommencer un passage du jeu est investi d’une valeur négative. En revanche, battre un boss pour récupérer des objets rares possède une valeur positive : l’enjeu est donc de privilégier certains résultats par rapport à d’autres puisque le joueur peut influencer​ le jeu, son déroulé et ses résultats. Evidemment, le joueur doit ressentir une implication personnelle et émotionnelle de la part du joueur, conditionnée par l’attitude ludique dans laquelle il se place et qui le lie implicitement au jeu. Une fois impliqué, le joueur attache une émotion positive à une réussite et négative à un échec. Un joueur pour qui toutes les issues ont une valeur émotionnelle égale brisé le système de jeu. Enfin, la dernière condition est celle des conditions négociables : les résultats et conséquences d’un jeu, peu importe leur importance dans la diégèse, n’ont pas le même poids dans la vie quotidienne des joueurs. Se casser une jambe en jouant du théâtre a des conséquences sur la vie du comédien ; tandis que mourir dans un endless runner, en dehors d’une perte de temps et d’énergie fournies par le joueur à interagir via les contrôles du jeu, est supposé être inoffensif. Juul considère donc que cet ensemble de critères, en se concentrant sur la posture ludique et non pas sur l’objet, permet de proposer une définition englobante et complète.

L’objet livre

Intégrer un objet dans une expérience de jeu

Maintenant que nous avons précisé notre vision du jeu, revenons à la notion d’espaces et de lieu de manipulation du jeu. Intégrer un objet physique dans le cadre d’une expérience vidéoludique peut-être une réponse à la question de la réintégration du tangible dans l’espace de jeu. Ce n’est en revanche pas un choix de design anodin et il est important d’avoir une vision claire des caractéristiques et actions induites par un objet pour pouvoir l’intégrer avec le plus de justesse et de recul critique dans l’expérience voulue. L’objet physique est particulier puisqu’il permet de stimuler des sens habituellement peu sollicités dans les jeux vidéo classiques comme le toucher ou l’odorat. Un objet se soupèse, possède une texture, une présence : autant de paramètres qui peuvent jouent sur sa valeur et peuvent s’intégrer dans le cadre d’un dispositif utilisant ces caractéristiques. Au delà d’être le portail vers les sens et la sensorialité, nous pouvons voir qu’il est également un portail vers son propre sens. En plus de ses caractéristiques physiques et tangibles, l’objet vient accompagné de sa fonction, son histoire et de l’ensemble de références qu’il évoque. Ces deux systèmes de présence définissent de fait tout un système d’affordance propre à l’objet : un livre, par exemple, invite à la consultation page par page, comme une boîte invite à être ouverte et manipulée en trois dimensions dans l’espace. De ce système naissent donc des comportements de références que l’on peut utiliser en design afin de construire une expériences orientée autour d’une interaction alors dite “naturelle”. La question des affordances est bien cruciale dans la conception d’une expérience intégrant un objet tangible puisque ce sont elles qui servent à comprendre les interactions possibles. Quand un joueur fait face à un objet, il fait également face à son système de références propre et aux comportements possibles qu’il peut en extraire. Il est alors intéressant de penser les interactions possibles de jeu en fonction des affordances.

Pourquoi le livre ?

Prenons par exemple un grimoire. En plus d’avoir accès aux odeurs, textures, couleurs, encres et bruissements du papier et de la couverture, l’objet nous vient accompagné d’une présence symbolique forte : mystères, secrets oubliés, univers ancien ... L’objet fait donc naître, par évocation, tout un imaginaire et un ensemble de références. Présence physique et sémantiques se mêlent ensemble, donnant à la fois à sentir mais aussi à suggérer. Notre travail se concentre sur le livre en raison de toute cette puissance symbolique que nous avons voulu mettre en scène et canaliser dans le cadre d’une expérience de jeu augmentée. Notre objectif est donc d’avoir un dispositif mêlant à la fois tangibilité physique du livre papier et technologie afin de créer un espace hybride dont l’augmentation permet la transformation en espace ludique plastique. Cependant, n’oublions pas qu’en soit, cette tangibilité si particulière fait déjà du livre un objet consultable et interactif. En plus d’une interaction physique, c’est tout un système d’interaction cognitive basée sur l’imagination du lecteur qui fait du livre un objet si particulier et porteur d’évocation. N’imaginons donc pas que l’introduction du numérique ou autre technique révolutionne le système même du livre : au contraire, il est capital de garder au centre du processus de conception l’objet même que l'on veut utiliser avec toutes ses potentialités existantes.

L’AR comme solution

La réalité augmenté apparaît comme une technologie séduisante pour unir espaces tangible et numérique : l’informatique ubiquitaire (permettant des fonctionnalités comme géolocalisation ou la reconnaissance d’image/profondeur) autorisent des expériences de jeu pervasives riches de contenu numérique investis dans un espace local micro (pièce) ou macro (ville). Est-ce une solution efficiente à notre questionnement ? Quelles sont les critères de réussites liés à ce type d’expérience ?

En brouillant le spectre de la réalité mixte, c’est dans cette optique que Codex a été pensé. Chaque page était reconnu dans la reconnaissance d’image du software de RA Vuforia, créant une expérience ludique de type puzzle/énigme se déroulant à la fois sur papier (support de la reconnaissance d’image, des textes et illustrations) et sur smartphone (support de l’interaction/gameplay, contenus augmentés, feedbacks et récompenses). Un autre avantage non-négligeable est celui de la récupération de données de jeu dans le cadre où on fait intervenir un dispositif numérique. Une validation en AR permet d’enregistrer des informations sur l’état de jeu et les comportements du joueur, ce qui est précieux dans un processus itératif. Sans cela, difficile d'acquérir des données précises sur la progression du joueur à un moment T. L’AR a l’avantage d’engager le corps et de tendre plus facilement vers un interaction dite “naturelle”. Les dispositifs numériques de réalité augmentée classiques (tablette, smartphone ...) engageant le corps du joueur dans des interactions qui dépasse le cadre du jeu puisqu’elles mobilise des gestes utilisés dans son environnement quotidien (effleurer, frotter, tapoter) et propose de les mettre en scène à travers une imitation. Ainsi, le joueur puise dans ses compétences existantes pour réaliser une action en manipulant.

Le projet TouchSpace (2002, David Cheok et al.) est une expérimentation ludique s’intéressant à la question de la réalité mixte lié à l’informatique ubiquitaire, sociale et tangible. L’expérience, en multijoueurs, se déroule en trois phases, chacune faisant partie d’un cadre différent : la première et la seconde parties sont des phases d’exploration et de collecte dans une salle conçue pour l’occasion, où la position des mains et de la tête des utilisateurs est suivie alors qu’ils se déplacent physiquement dans l’espace. La troisième se résout grâce à un casque VR et propose un système de combat. Ce travail nous intéresse puisqu’il dépasse la frontière classique (et sujette à controverses) d’une réalité absolue opposée à une virtualité totale. Tangible et virtuel sont davantage considérés en tant que spectre dont ils sont les deux extrêmes. Cette configuration inclut en son centre deux pôles : la réalité augmentée, dotée d’une couche de contenu supplémentaire rendue accessible par l’utilisation d’un dispositif numérique ou électronique ; et la virtualité augmentée, où un espace fictionnel dans le cadre du jeu s’enrichit de données ou d’informations basées sur le monde physique (données météorologiques, actualités, fréquences radios, etc.) pour augmenter la profondeur de son contenu. Là où TouchSpace se distingue, c’est qu’il propose une expérience dynamique qui évolue sur ce spectre au fur et à mesure de l’aventure, commençant de la réalité augmentée jusqu’à l’utilisation d’un casque VR.

Se placer dans cette partie du spectre implique une complexité en matière d’interaction, notamment en ce qui concerne les inputs. Dans le cadre d’une expérience de jeu faisant intervenir des contrôleurs non-conventionnels, il est fondamental de pouvoir proposer un système au joueur lui permettant de réaliser des actions simples : le pointage et la sélection, mais également le tracé et la saisi d’information.

Codex : étude de cas d’un livre augmenté

Présentation

Dans le cadre du projet de première année réalisé à l’ENJMIN, nous avons développé le projet de jeu Codex : un jeu de puzzle et d’exploration en réalité augmentée qui fait intervenir un grimoire et un smartphone. Le joueur incarne un chercheur tentant de chercher des informations sur une civilisation disparue dont le grimoire est l’unique vestige. Le jeu-livre se compose de cinq chapitres dont le joueur peut extraire des informations en résolvant des énigmes en utilisant le dispositif numérique et le support tangible. L’expérience hybride se déroulait sur un stand spécialement mis en scène pour l’occasion, et proposait une expérience d’une quinzaine de minutes sur Galaxy S7. Le livre a été entièrement écrit, illustré, réalisé et relié à la main. Le stand final de Codex avec le grimoire à gauche

Chaque chapitre est ainsi composé de pages, intégrées dans le système de reconnaissance d’image de la technologie en AR “Vuforia”. Quand le joueur passe son téléphone sur une page, le smartphone va “augmenter” son contenu en invitant le joueur à manipuler l’écran afin de résoudre une énigme, débloquer un contenu et poursuivre sa progression. Le joueur était confronté à plusieurs systèmes d’interactions et de mécaniques en scannant différentes pages :
-Interagir avec des symboles-boutons pour déverrouiller des obstacles (avec ou sans ordre)
-Faire apparaître des objets en AR (objets 3D interactif via inputs tactiles, ou dessins et textes en 2Ddonnant des informations sur le monde)
-Faire apparaître à l’écran des verrous circulaire nécessitant la bonne combinaison de symbole pour poursuivre dans le jeu.
-Accéder à des scènes 3D en profondeur représentant des éléments du monde et les explorer à loisir.
-Placer son smartphone dans la bonne perspective pour pouvoir activer des symboles par anamorphose.

Le challenge reposait sur le fait d’avoir une énigme, de trouver la suite d’action pour la résoudre avant d’avoir accès à une forte récompense finale dévoilant une partie du mystère environnant cet objet. En raison de l’objet livre et de la forme éclatée de nos énigmes, nous avons décidé d’opter pour une narration fragmentée (leixa) pour ne pas avoir de rupture entre le texte et le propos. Ainsi, notre livre prends la forme d’un corpus de texte antiques qui, dans la diégèse, ont été compilés à la hâte après la destruction d’une civilisation centrée autour des mots et de l’écrit. Ainsi, textes saints, pièces de théâtre, recettes de cuisine, poèmes, édits officiels et lettres personnelles se mêlent ensemble, donnant autant de voix, mémoires et traces aidant à faire renaître cette société dans l’imaginaire du joueur par le biais de cette narration archéologique. En suivant un principe de suggestion, le jeu proposait des points d’intérêts forts et saisissant pour évoquer beaucoup de choses et nous comptions sur le joueur pour recréer les liens et connexions entre chaque éléments

Observations et enseignements

Si les retours ont été enthousiastes et que le jeu a été salué pour son atmosphère et sa dimension magique et mystérieuse, nous avons cependant eu conscience de plusieurs difficultés concernant l’utilisation de la réalité augmenté sur téléphone dans le cadre d’une expérience hybride faisant intervenir un livre physique.

Premièrement, la capacité d’attention des joueurs. Par attention, nous nous référerons au “processus cognitif d’interprétation de manière sélective des ensembles et sous ensemble d’informations” , mais le plus problématique vient surtout du type d’attention sollicité sur l’un et l’autre de ces supports. D’après Nicholas Carr, dans son article “Is Google Making Us Stupid ?” paru dans The Atlantic Monthly (2008), il en existerait deux :

1) L’attention profonde, la première est celle de la séquentialité, de la concentration longue et de l’intensité. C’est un processus cognitif linéaire où l’individu est capable de se plonger dans une seule action sur le long terme en étant moins sensible aux distractions extérieurs. D’après Nicholas Carr, c’est celle qui est notamment le plus sollicitée lors de la lecture sur papier.

2) La seconde, l’hyper-attention, est une attention multitâche. Particulièrement stimulée à l’ère de l’informatique ubiquitaire, c’est une attention plus proche du butinage que de l’absorption lente. L’individu est plus à même de se concentrer sur plusieurs points à la fois en passant de l’un à l’autre, étant plus dans la vigilance et sensibles aux sollicitations (et de fait, au distractions). Un joueur intégré dans un système d’interactions et de feedbacks place de fait son attention dans ce type de cadre, en position d’attente alerte face aux stimulations du jeu.

La principale difficulté que rencontrait notre dispositif était qu’il demandait à la fois au joueur de se placer dans la posture d’une attention profonde (par la lecture progressive des textes du livre) mais aussi dans une hyper-attention induite par le gameplay et le support numérique. Sans le savoir, nous demandions au joueur d’alterner entre deux systèmes d’attention sans faciliter la transition entre les deux. Résultat : les joueurs ne lisaient quasiment pas les textes, coupés dans leur attention profonde par l’exigence du multitasking et des interactions via la réalité augmenté. Vu que la coupure n’était pas facilitée entre les deux, l’attention profonde, plus exigeante et demandeuse d’efforts et de concentration lente, disparaissait au profit d’une hyper-attention amplifiées par les feedbacks et interfaces digitales. Cela est également dû au fait que l’interaction impliquée dans le cadre de la lecture est essentiellement cognitive : au contraire, les interactions de gameplay implique une action directe et une manipulation physique. Un second point de tension concerne les bornes de l’expérience : le choix de la narration fragmenté et du gameplay non-linéaire était né du constat que le livre pouvait être feuilleté dans tous les sens et qu’il fallait que la lecture suive cette même progression. Cependant, alors qu’une passage peut-être verrouillée dans un jeu vidéo d’aventure ou de puzzle, impossible d'empêcher le joueur à tourner les pages. La liberté d’action sur un livre est totale et il est crucial de penser la progression du joueur au sein d’un espace sans bornes. Mais cet équilibre est ténu : comment éviter la saturation d’informations données par le dispositif, en risquant de briser l’attention profonde des joueurs, tout en donnant suffisamment d’éléments de compréhension et d’orientation ? Difficile de faire comprendre au joueur qu’il faut revenir en arrière quand le téléphone n’est pas capable de comprendre l’action qu’est en train de faire le joueur. Cette rupture dans la validation est clivante, parce que le joueur peut se sentir perdu et laissé à l’abandon au milieu d’un dispositif n’étant pas forcément capable de le guider au sein de l’expérience. C’est le serpent qui se mord la queue : notre technologie fonctionne avec de la reconnaissance d’image. Pour donner des feedbacks valides, il faut que le téléphone puisse reconnaître la page concernée. Mais si le joueur ne scanne pas la page ou qu’une page n’est pas reconnu, impossible de contrôler l’expérience. Ce qui nous amène à notre troisième point : l’apprentissage​. Envisager une expérience linéaire facilite le design de la courbe d’apprentissage et de l’appropriation des mécaniques par le joueur. En revanche, quand l’expérience est éclatée, comment maintenir une courbe d’apprentissage solide et cohérente ? Un des points les plus problématique est l’absence de feedback sur le dispositif physique. La simple reconnaissance d’image n’a pas l’immédiateté et la fluidité des retours possible sur des expériences plus conventionnelles, aussi il est difficile de faire comprendre au joueur ce qu’il peut faire ou sa direction. Une des complexité vient aussi du dispositif : pour un public qui a déjà utilisé une manette, le contrôleur s’accompagne d’un ensemble de références standardisées. En ce qui concerne les contrôleurs alternatifs et dispositif originaux, impossible de se reposer sur ces références : il faut apprendre également au joueur le système dans lequel se passe le jeu et les moyens d’actions qu’il possède.

Dans Codex, chaque énigme faisait intervenir une mécanique particulière (boutons à appuyer dans l’ordre par exemple, ou manipulation d’objets 3D), souvent répétée trois fois pour que le joueur puisse arriver au bout de sa résolution, et toutes les mécaniques faisaient intervenir les mêmes inputs : appuyer, faire pivoter et bouger le téléphone. Ainsi, une cohérence était préservées dans les interactions et nous avons pensé à introduire chaque nouvelle action avec une aide au niveau de l’interface. Cependant, là encore, multiplier les focalisations de l’attention du joueur sur le device lui faisait perdre de vue les enjeux de lecture. De plus, ce n’est pas parce que les inputs sont similaires que la compréhension de l’action à réaliser l’était aussi : autant de facteurs de confusion qui brouille l’appropriation du jeu par le joueur. Utiliser l’AR dans le cadre d’une augmentation ludique de livre physique équivaut donc à faire face à plusieurs problématiques : gérer l’équilibre délicat entre deux types d’attention contradictoires créant des conflictualités dans la focalisation du joueur, impliqué dans la lecture d’une part et le gameplay de l’autre, tout en arrivant à borner correctement l’expérience pour guider le joueur de manière fine et cohérente malgré l’absence de feedback et de contrôle concernant les interactions sur support physique.

Propriétés d’interactions

Analyser le rôle de l’AR dans ce type d’expérience et les enjeux qui accompagne un tel dispositif nous a permis de prendre du recul et de définir des propriétés d’interaction qu’il est important de considérer dans une expérience ludique mettant un scène un livre augmenté et qu’il est intéressant de garder en mémoire pour penser son produit final. Ces propriétés sont au nombre de cinq : dans ce travail de recherche, nous les avons défini sous les termes de mimétisme​, espace​ de jeu, validation​, révélations​ et réusabilité​.

Mimétisme. Sous le terme mimétisme, comprenons la manière dont le jeu va utiliser les système de référence du lecteur dans le cadre de son expérience de jeu pour pouvoir faire comprendre au joueur de manière instinctive dans quel système il se place et quelles sont les règles du monde. Prenons par exemple « the Ship of Theseus », un livre d’énigme qui nous invite à plonger dans la lecture d’un livre singulier, mêlant à la fois le récit initial de l’auteur, les notes de bas de page du traducteur et les échanges manuscripts de deux personnages qui s’échangent l’ouvrage, l’ensemble tissé dans une énigme policière dont le lecteur-joueur tente de décrypter les mystères. En utilisant des procédés propres à l’univers du livre et de l’impression (notes écrites et de bas de page, griffonnages ...) comme porteurs de voix diverses, l’objet joue avec le lecteur et propose une forme de narration alternative, s’éloignant de la linéarité uniforme classique pour se pencher plus vers une polyphonie multidimensionnelle. Le procédé, élégant, repose donc en très grande partie sur ce mimétisme : toutes les informations de jeu sont contenues dans des éléments qui parlent au joueur, existant déjà dans son système de référence en tant que lecteur.

Espaces​. Où se passe le jeu ? C’est la question soulevée par les espaces. Tout le but de la démarche du livre augmenté est de faire du livre physique un espace de jeu et d’y insuffler une interaction. Cependant, travailler sur Codex nous a permis de prendre conscience de certaines problématiques. Tout d’abord, il est important de distinguer espace de vision de l’information et espace de la manipulation véritable. Dans un jeu qui se déroule sur un seul écran, la question ne se pose pas puisque les deux sont généralement le même espace. En revanche, dans un livre augmenté, c’est différent. Dans Codex, alors que nous voulions créer l’expérience d’un livre augmenté manipulable, il se trouve que l’espace d’interaction était surtout celui du téléphone. Le livre était plus un support déclencheur permettant d’activer des mécaniques, mais le jeu en tant que tel se déroulent surtout en AR : pas de nécessité de lire le livre pour avancer, ou de le toucher. Aussi faut il définir ce qui est livre, et ce qui n’est pas livre, et comment les espaces de jeu et d’informations s’organisent dans la structure de l’expérience.

Validation​. Nous avons parlé des feedbacks, qui posent problème dans un livre connecté dans le sens où il est difficile de contrôler la progression du joueur. Il semble y avoir deux manière de considérer la chose. Premièrement, ce que nous avons expérimenté avec Codex : l’AR a ici un rôle de validation. Le joueur est invité à interagir avec le dispositif où support du livre est surtout un déclencheur, amenant à son tour de nouvelle interactions se passant sur l’écran. Le jeu demande au joueur de certifier sa présence à chaque page et chaque énigme, par scan ou manipulation d’objets. La validation est alors systématique et exigée. Cependant, certaines expériences sont beaucoup plus libres et font tout simplement confiance au joueur. Prenons par exemple Book Ritual (Alistair Aitcheson, 2018). Le jeu invite le joueur à se munir d’un livre aléatoire qu’il veut bien abîmer et consiste en une suite de consignes (déchirer une page, entourer des lettres, raturer, dessiner dans le livre ...) intégrées dans un dialogue avec un personnage représentant le livre qu’on aurait entre ses mains. Ici, le joueur est libre de mentir et de passer à une autre consigne sans avoir réalisé la précédente. Pourtant, s’il triche, alors il rompt le contrat entre le jeu et lui-même (car là se tient le coeur du jeu). Ce qui finalement peut se produire dans tous les autres jeux : une validation permanente est-elle donc nécessaire ? L’absence de feedback rends la résolution de cette question cruciale pour tout designer désireux de travailler sur ce genre de projet. La validation est pertinente dans le cadre où c’est un feedback indiquant sur la réussite ou l’échec du joueur. Mais peut-être que ce dispositif amène à une certaine humilité face au fait qu’il est difficile de ne pas pouvoir contrôler toute l’expérience du joueur comme dans un RPG console classique pour accepter, et canaliser en tant que concepteur d’expérience, un certain lâcher-prise ?

Révélations. ​Le quatrième critère majeur est celui de la révélation : que révéler dans le jeu-livre, comment et à quel moment ? Une expérience interactive se veut dynamique : cela implique qu’il vaut que l’objet dans les mains du joueur se transforme au fur et à mesure des actions du joueur, sans quoi les conséquences desdites actions sont insignifiantes et la progression, s’il en est une, est réduite à être statique. En surfant sur le mimétisme, le livre offre un potentiel de révélation fort : tout pourrait très bien être écrit, mais il est possible de puiser dans les caractéristiques de l’objet pour jouer avec le joueur. Le livre pour enfant “Pinceau magique” (Jean-Sébastien Deheeger, 2017), par exemple, propose un livre doté d’un pinceau “magique”. Chaque page imprimée est recouverte d’une fine couche de papier blanc, créant des pages blanches. Une fois le pinceau mouillé dans de l’eau, “peindre” sur les pages permet de rendre le papier, très fin, transparent et d’accéder au contenu de la page qui était caché. Ainsi, la révélation se faire par l’interaction directe en utilisant un comportement référentiel connu (peindre/crayonner). L’encre également est possède des potentialités intéressantes, en particulier les encres thermiques. En utilisant le même principe que le pinceau magique, mais avec une source de chaleur suffisante cette fois, il serait possible de faire disparaître ou apparaître des informations grâce à ces encres. Enfin, dans le cadre d’une installation, on peut jouer sur la révélation dans le fait de pouvoir lire ou non un élément. D’un point de vue plus global, en nous intéressant à la capacité de lecture même, on pourrait aussi avoir un élément agissant sur la variable de possibilité de lecture et imaginer une salle noire où une manipulation permet de faire ou non de la lumière pour pouvoir lire le contenu sur une page et jouer sur les leds, leur intensité, leur puissance ou leur nombre, et ainsi avoir une expérience où le texte lui même est un objectif et induire une courbe de difficulté par rapport à ça.

Réusabilité. Le dernier élément que nous avons extrait de cette étude est celui de la réusabilité du livre. Utiliser un objet physique demande de se poser la question si l’expérience autorise le recommencement ou si elle unique dans la vie du joueur. Un jeu en escape game ou pour des jeux comme Unlock sont considérés comme des one shot car le joueur connaît la solution, mais théoriquement il est toujours possible de rejouer. Qu’en est il d’un objet physique qui peut potentiellement se détériorer ou voire même, est détruit dans le cadre de l’expérience de jeu ? Les Éditions Volumique en 2012 on sorti le “Livre qui disparaît” : un prototype de livre imprimé sur papier thermique. L’ouverture active une résistance cachée dans la tranche et la chaleur progressive noircit les pages. Au bout d’une vingtaine de minute, le livre est complètement illisible. Le fait même d’avoir un objet destructible dans l’expérience est fort et induit une grande pression : une fois l’objet détruit, il n’est plus possible de revenir en arrière. Cela permet d’instaurer une relation privilégiée, car éphémère, entre le joueur et son objet soumis à être perdu. Dans le même sens, “Book Ritual” demande explicitement de détruire le livre en le râturant, en déchirant les pages etc. Même si l’expérience peut être recommencée avec un autre livre, un objet a été perdu dans le processus de jeu. Quel valeur cela lui donne-t-il ? L’objet concerné devient il plus précieux, prends-il de la valeur ? Comment cela peut il être canalisé dans le cadre d’une expérience de jeu ? Poser la question de la réusabilité revient à poser la question de la rejouabilité et de la valeur que prends l’objet physique dans le processus de jeu.

Conclusion

Après avoir précisé ce que nous entendions par un jeu, le but de ce travail était de s’intéresser à la manière dont un livre physique pouvait être un espace de manipulation interactif dans le cadre d’une expérience ludique. Nous avons d’abord vu les potentialités d’une telle démarche : l’objet physique, par sa tangibilité, stimule un panel varié de sens tout en ayant une présence sémantique forte qu’il est intéressant de canalisé. Mais surtout, il vient avec sa propre affordance sur laquelle il est possible de baser un système d’interaction dites “naturelles”, servant de base solide pour établir un langage entre le designer et le joueur. Dans le cadre du livre, c’est donc tout le champs sémantique du manuscrit, du papier et l’univers de la lecture qui est évoqué en plus de toutes les références du lecteur qui peuvent être mobilisées dans l’expérience interactive du joueur (feuilleter les pages, lire le texte ou les notes de bas de page, utiliser un objet supplémentaire ...).

Ainsi, l’idée d’utiliser les possibilités offertes par l’informatique ubiquitaire pour magnifier tout cet ensemble de particularités tangibles, notamment grâce à la réalité augmentée est séduisante. Pourtant, il est important de prendre conscience de plusieurs problématiques dans ce genre de cas : la gestion de l’attention du joueur, entre hyperattention multitâche et attention profonde propre à la lecture ; la gestion du contrôle sur l’expérience totale et sur les bornes de la progression d’un joueur libre de feuilleter le livre comme il lui plaît et enfin, la gestion de la courbe de difficulté et d’apprentissage dans un espace aussi ouvert et accessible que celui du livre physique.

Aussi, après avoir analysé ces écueils dans lesquels peuvent tomber les expériences en réalité augmentés, nous sommes arrivés à distinguer cinq grandes propriétés d’interactions propres à ce genre de dispositif et qui peuvent servir d’aides méthodologiques et conceptuelle pour le designer, afin de l’amener à se poser les bonnes questions quant à ses spécificités dans son processus de conception. Nous avons donc le mimétisme, ou la manière dont le jeu épouse l’objet livre et à quelle point les interactions peuvent se fondre dans les références existantes du lecteur ; les espaces de jeu, et la question d’où se déroule réellement l’interaction et dans quelle mesure les espaces multiples sont utilisés ; la validation, et le choix de voir quel rôle cette validation prends dans le jeu et dans la position dans laquelle on se place par rapport au joueur (exigence du feedback joueur ou confiance non-supervisée ?) ; la révélation et la manière dont le livre lui-même peut s’installer dans une dynamique interactive et répondre aux actions définies du joueur, et enfin la réusabilité mettant en jeu à la fois la rejouabilité de l’expérience et la valeur de l’objet dans le temps. Nous avons donc pu voir que se rapprocher du livre en tant que tel, ses matériaux et ses éléments pouvaient être une solution et que l’augmentation n’était pas que numérique, mais pouvait se trouver dans les papiers, capteurs ou encre.

Si nous devions refaire Codex, nous prendrions évidemment toutes ces considérations en compte. En revanche, nous sommes persuadé que cette étude de cas pourra faire prendre conscience de certaines problématiques aux futurs designers désireux de faire un projet avec le même type de dispositif. L’augmentation au sein d’un livre est fascinante et une fois ces questions résolues, l’expérience peut être d’une richesse sensorielle très forte et possède résolument un très fort potentiel aux frontières de la magie pour le joueur-lecteur. Puisqu’une des approche de l’augmentation est de se rapprocher de l’objet livre et des éléments qui le compose, il peut-être également particulièrement intéressant de s’intéresser aux avancées dans le domaines du textile, avec le développement de capteurs de chaleur, de flux électriques ou de lumière intégrés aux matériaux (comme le fait la pionnière Marga Weimans), autorisant de très nombreuses fantaisies.

Bibliographie :

-BARONOFF D.M. “Augmented reality gaming experience” (2010)
-CARR N. “Is Google Making Us Stupid ?” (2008)
-CHEOK D. et al. “Touch-Space: Mixed Reality Game Space Based on Ubiquitous, Tangible, and Social Computing” (2002)
-DI LORETO I. et al “Repenser les jeux de sociétés à l’ère de l’Ubiquitous computing” (2015)
-ENSLIN A. “Literary gaming” (2014)
-HENDERSON S & S. FEINER S. “Opportunistic Tangible User Interfaces for Augmented Reality” (2010)
-JUUL J. “The Game, the Player, the World: Looking for a Heart of Gameness” (2003)
-KREVELEN R. & POELMAN R. “A survey of augmented reality technologies, applications and limitations” (2010)
-MALLA OSMAN Z. L’attention comme vecteur d’ajustement de difficultés dans un jeu” (2015)
-OHTA T. & TAMURA H. “Mixed Reality: Merging Real and Virtual Worlds” (2014)
-PINCHBECK D. “An affordance based model on gameplay” (2009)
-PILLIAS C. & ROBERT-BOUCHARD R. & LEVIEUX G. “Designing Tangible Video Games: Lessons Learned from the Sifteo Cubes” (2014)
-SWINK S. “Game feel” (2008)
-TENENBAUM J. K. & ANTLE A. “The Reading Glove : designing interaction for object-based tangible storytelling” (2010)
-ARTE - “Les objets connectés, avenir du jeu vidéo ? - BiTS - #174” (2018)

Références :

-Ambiant litterature - https://ambientlit.com/
-Book Ritual (A. Acheston - 2018) - https://agaitcheson.itch.io/the-book-ritual
-Codex (ENJMIN - 2018)
-Les Editions Volumiques - https://volumique.com/v2/
-Pinceau magique - (J. S. Deheeger, 2017)
-The Ship of Theseus (J. J. Abrams - 2013)