Réalité virtuelle, immersion et interactivité
Une fructueuse tension interne à l'interface du littéraire et du numérique

Séminaire du 29 janvier 2009

As a literary theorist, I am primarily interested in the two components of the VR experience as a novel way to describe the types of reader response that may be elicited by a literary text. I propose therefore to transfer the notions of immersion and interactivity from the technological to the literary domain and to discuss the conditions of their textual implementation. While interactivity has been extolled by postmodern theory as the triumph of its own aesthetic ideals of a creative reader, an open text, and a ludic relation to language, immersion has been either ignored or dismissed as the holdover of a now-discredited aesthetics of illusion that subordinates language to its referent, and ignores its power of configuration over the reality it is supposed to represent. Through this comparative study of the immersive and interactive potential of literature and VR technology, I hope to pave the way for a more critical investigation of the concept of interactivity in literary theory, a rehabilitation of the experience of immersion, and a greater awareness of the expressive properties of the medium that supports literature.

ryan_immersion.pdf — Marie-Laure Ryan, Immersion vs. Interactivity: Virtual Reality and Literary Theory, SubStance 28.2 (1999), pp. 110-137. Dans le dossier Réalité virtuelle.

Je me propose de parcourir en sens inverse le chemin indiqué en exergue de l'informatique à la littérature, en revenant de la littérature à l'informatique sur le thème de la Réalité virtuelle.

L'objet de ce séminaire est de définir «la réalité virtuelle» que nous construisons avec les outils de l'informatique, en expliquant les deux types fondamentaux de relations psychophysiques que nous entretenons avec cette réalité virtuelle: c'est un environnement, réel ou simulé, dans lequel [1] nous sommes immergés et que [2] nous pouvons modifier. J'emprunte cette définition et cette analyse à Marie-Laure Ryan: To apprehend a world as real is to feel surrounded by it, to be able to interact physically with it, and to have the power to modify this environment. The conjunction of immersion and interactivity leads to an effect known as telepresence.

Cette «téléprésence» est le produit psychophysique d'une mise en scène. Cette «téléprésence» est la sensation psychophysique d'être immédiatement présent dans un «milieu médiat» (mediated environment) qui est le produit d'une scénographie. Ce milieu médiat, en effet, peut être soit un environnement réel mais distant dans l'espace ou dans le temps, soit un monde virtuel, animé mais non existant, synthétisé par ordinateur. Soulignons la double dialectique, le double jeu de présence—absence entre d'une part le Réel et le Virtuel, d'autre part l'Immédiat et le Médiat. Ou pour le dire plus simplement, la Réalité Virtuelle, c'est une illusion d'Immédiateté dans le Médiat. Deux types de processus sont mis en œuvre pour créer cette illusion: l'immersion et l'interactivité.

 

Dangers de l'immersion

Je remets à plus tard l'étude des techniques d'animation en 3D et des technologies futuristes avec lesquelles on fait disparaître écrans et claviers pour plonger le visiteur dans une forêt d'illusions peuplant un monde faussement immédiat. Je m'intéresse ici à la structure de cette immersion et c'est dans la littérature de fiction et dans la théorie littéraire postmoderne qu'elle est le mieux décrite:

The theme of the danger of immersion has not awaited the advent of the electronic age to be thematized in Western literature. Its most celebrated victim is probably Don Quixote. As Cervantes writes: "In short, he so immersed himself in those romances that he spent whole days and nights over his books; and thus with little sleeping and much reading, his brains dried up to such a degree that he lost the use of his reason." More recently, in Julio Cortázar's short story "Continuity of Parks," a reader immersed in a thriller becomes the victim of the narrated murder, thus paying with his life the disappearance of the boundary between fiction and reality.

Ces exemples qu'invoque Marie-Laure Ryan pour illustrer le processus de l'immersion poussé jusqu'aux limites de l'absurde et de la folie, sont de même nature que ceux que nous avons nous-mêmes étudiés — voir la rubrique Métalepse narrative sur le site Viva Voce — en y décelant une transgression des frontières de la diégèse.

Theories of fiction emphasizing participation in fictional worlds represent a somewhat reactionary trend on the contemporary cultural scene. Immersion in a virtual world is viewed by most theorists of postmodernism as a passive subjection to the authority of the world-designer, a subjection exemplified by the entrapment of tourists in the self-enclosed virtual realities of theme parks or vacation resorts. […]

The hostility of contemporary literary theory toward immersion is due in large part to the dependency of the phenomenon on the disappearance of signs. The VR ideal of a transparent medium is heretic in an age that regards signs as the substance of all realities.

Les postmodernes, pour lesquels cette «cécité sémiotique» — notre incapacité à déchiffrer les signes — est le pire danger d'une immersion dans des fictions trop parfaites, opposent à l'esthétique de la Réalité virtuelle une esthétique de la Textualité. Nous voici donc renvoyés aux débats des années 1960-1970 autour de la polarité entre Texte et Performance. Mais la Performance et la Réalité Virtuelle sont sorties vainqueurs de ces débats. Nous nous situons consciemment dans une période de déclin du paradigme postmoderne de la Textualité; c'est là pour nous un paradigme périmé.

 

L'interactivité contrebalance les dangers de l'immersion

Pour décrire l'interactivité en informatique, on peut comparer la situation de l'utilisateur de jeux vidéo sur internet à un spectateur au théâtre qui, se levant de son fauteuil d'orchestre, ferait irruption sur scène pour donner la réplique et modifier le scénario dans le cours même de la représentation. Il y a interactivité d'un système de Réalité virtuelle dans la mesure où il y a intrusion plus improvisation. Tant que la représentation, sur la scène d'un théâtre, se déroule conformément à un scénario écrit d'avance sans que le spectateur n'intervienne, nous restons dans un environnement statique sans interactivité. De la même façon, tant que les pages d'un site internet s'affichent sur l'écran de notre ordinateur conformément au code écrit d'avance sans être recalculées, nous restons sur un site web statique sans interactivité. L'interactivité, au théâtre comme en informatique, commence à partir du moment où le spectateur ou l'utilisateur fait intrusion dans le spectacle en cours, au théâtre, pour modifier et compléter le scénario en temps réel, ou dans le calcul précédant l'affichage d'une page, sur un site web dynamique, pour en modifier le thème (graphisme) ou la structure (template) en temps réel.

L'interactivité est donc l'intrusion du destinataire en temps réel — et donc une improvisation — dans le déroulement de la performance pour la modifier, l'orienter, la terminer ou même l'inventer. Cette intrusion contrebalance la passivité de l'immersion; le spectateur ou l'utilisateur, quelle que soit la force psychophysique de sa fascination pour le spectacle qui lui est offert, quel que soit l'effet illocutoire de ce qui se joue sur scène ou sur l'écran d'ordinateur, garde la liberté de recréer, réorienter ou se réapproprier à tout moment la performance en temps réel.

 

L'équilibre introuvable entre Immersion, Interactivité et Design

Dès qu'il y a scénario, script ou tout simplement écriture d'une page web, quel que soit le code, les procédures produisant une Interactivité entrent en conflit avec les conditions psychophysiques d'une Immersion, avec les exigences esthétiques du Design ou avec les deux à la fois. Je partirai du tableau croisé que propose Marie-Laure Ryan pour inventorier les différents cas possibles d'interactivité au théâtre, dans les jeux vidéo et dans la littérature de fiction:

 

	figurée	littérale
faible	Récit classique	Hypertexte
forte	Textes postmodernes	Théâtre interactif et Jeux vidéo

 

Pour être plus précis, les systèmes interactifs de Réalité virtuelle partagée entre de multiples utilisateurs, dont les jeux vidéo, les jeux de rôles sur ordinateur et les jeux sérieux ne sont que des cas particuliers, constituent la famille des MOO. A MOO (MUD, object oriented, Multi-User Dimension Object Oriented) is a text-based online virtual reality system to which multiple users (players) are connected at the same time:

http://en.wikipedia.org/wiki/MOO

C'est à partir de cette distinction entre deux registres — le Littéral et le Figuré (métaphorique) — qui n'est pas sans ressemblance avec la distinction entre code-switching situationnel et code-switching métaphorique selon Gumperz (voir le site Viva Voce à l'adresse indiquée ci-dessous), que l'on peut apprécier les mérites respectifs des différents processus mis en œuvre dans la production d'une Réalité virtuelle:

If we compare traditional narrative, hypertext fiction and MOO-type role-playing games in terms of interactivity, immersivity, and global design, no form scores highest on all three counts. I rank them in the following order:

Immersivity: 1. Traditional narrative. 2. Role-playing games. 3. Hypertext.
Interactivity: 1. Role-playing games. 2. Hypertext. 3. Traditional narrative.
Design: 1. Traditional narrative 2. Hypertext. 3. Role-playing games.

The strong forms of interactivity run most blatantly into the problem of design: how can the contributions of the reader-turned-author be monitored by the system, so that the text as a whole will maintain narrative coherence and aesthetic appeal? It could be objected that literature does not guarantee pleasure either. There are good and bad novels and poems just as there are enjoyable and disappointing MOO sessions. In this respect MOOs are only quantitatively different from literary works. But the greater ability of literary texts to kindle the aesthetic experience is due to a large extent to their use of time-tested composition devices, such as plot, theme, symbol, and tropes.

In the weaker forms of interactivity, design is easier to control, but immersion remains problematic. The various attempts by contemporary literature to emulate the interactivity of VR create a loss of involvement in the fictional world, a weakening of the imaginative experience and a momentary breakup of make-believe. The texts that come the closest to combining both immersion and interactivity are those that orchestrate them in round-robin fashion through a game of in-and-out.

The textual incompatibility of the two types of experience can be traced back to several factors. While immersion in a textual world depends on the forward movement of a linear plot, interactivity involves (and creates) a spatial organization. While immersion presupposes pretended belief in a solid extratextual reference world, interactivity thrives in a fluid environment of changing relations. While immersion looks through the signs toward the reference world, interactivity exploits the materiality of the medium. Textual representation behaves in one respect like holographic pictures: you cannot see the worlds and the signs at the same time. Readers and spectators must focus beyond the signs to witness the emergence of a three-dimensional life-like reality. (ryan_immersion.pdf)

Ce n'est là seulement qu'un début d'analyse que nous poursuivrons sur le thème de la Réalité virtuelle. Sur la distinction entre Situationnel (Littéral) et Métaphorique (Figuré):

http://ehess.tessitures.org/vivavoce/enonciation/parlee/styles-de-parole.html

Premières lectures:

Marie-Laure Ryan, Narrative as Virtual Reality. Immersion and Interactivity in Literature and Electronic Media, Baltimore, The Johns Hopkins University Press, 2001.