Let’s make VR they said – it will be fun they said

Het begint met een gekidnapte printer. Het is 2014, de oorlog in het Donbass-gebied is net losgebarsten en een groep separatisten doet een agressieve raid in de artist hub IZOLYATSIA in Donetsk. De separatisten met hun kalasjnikovs verjagen de kunstenaars. Alleen de platte voorwerpen - lees: foto’s, schilderijen, prints - mogen door de makers worden meegenomen. De rest wordt geconfisqueerd. En zo reist een in beslag genomen printer, onder leiding van pro-Russische separatisten, van Donetsk naar de Krim.

Ik hoor dit verhaal als ik op bezoek ben in de nieuwe arthub van Izolyatsia, in februari 2016. De kunstenaars staan inmiddels allemaal op de zwarte lijst van de nieuwe leiders van de Donetsk People Republic en komen dat gebied niet meer binnen - of worden gekidnapt en gemarteld als ze dat wel doen. Hun printer resideert nog steeds op de Krim. Ze kunnen me de exacte locatie aanwijzen, omdat ze het spoor van de printer kunnen volgen: elke keer wanneer de machine op het internet wordt aangesloten, verschijnt het traceerbare serienummer online.

Het verhaal laat me niet los. Ik neem het mee naar huis en begin aan een non-fictie tekst, die maar niet lekker uit de verf komt, omdat de vorm en structuur te ingewikkeld zijn. Ik test en test met taal, maar kom er niet uit:

                    _3-06-2014

          _{47°57'53.1"N, 37°50'05.6"}

            _{IZOLYATSIA_1}

Nog voor de taalinstellingen worden gewijzigd, gaat mijn A4 papierlade open. Mijn deksel beschermt een moment niet tegen de lichtinval. De kleuren en het zwart verbinden. Mijn chips geven signalen af, ik knipper naar buiten toe, loop warm, maak nieuwe interne verbindingen. Ik duw de patronen van links naar rechts. Mijn bewegingen zijn nog wat stroef. De gleuven lijken bijna te smal; het ijzerwerk is nog nergens geschaafd. In mijn motor zit geen stof. Na een testprint zoekt een laptop verbinding. We wisselen codes uit. Ik wacht op een commando, maar begrijp de tekens niet, verwerk alleen enen en nullen. Er rolt een lange rij van rechthoekige hokken, cijfers, zwart omlijnde vraagtekens, sluitende haken en af en toe een muzieknoot uit. Ik herstart. Alles op zwart, alles op uit, alles weer aan.

                         _{menu >>}

                                         _{settings >>}

                                                           _{english >>  ukrainian>>}

                                         _{settings >>}

                             _{menu >>}

     _*

 
               _{Looking For Tatiana Novikova
Эдуард region: Ukraine Lugansk region 2014-08-30 | 22:55 |}

_{Good evening! People help to find in the city of Lugansk, may of course already and not in Lugansk NOVIKOVA TATIANA 05.08.1951 year live on street Pankov St. building 9 kV 1. Does not communicate over a month nope, no clues! Help to find the man let's do a repost! May God grant You all good health! Let any information}

Ik laat het verhaal lange tijd liggen, maar pitch het nog eens tijdens een hackathon weekend van Hackastory - geleid door Nienke Huitenga en o.a. bezocht door future studiocollega Frank Bosma - aan Hans van Arken, met wie ik in 48 uur het prototype voor een interactief desktopverhaal ontwerp. Al klikkend leert iemand over de gestolen printer en vermiste mensen in het Oekraïense oorlogsgebied. En daar ontspruit de liefde tussen ons vieren voor het interactief maken van verhalen. Hackathons is where the magic happens. Hier, tijdens dit weekend, zien wij (Nienke, Hans en Frank weten dit overigens al een tijd) wat je kan doen met tekst in combinatie met andere media, en vooral wat je samen kan doen: hoe meer minds op één verhaal, hoe sterker en beter dit verhaal.

Met de printer in ons achterhoofd schuiven Nienke, Hans, Frank en ik het nodige geld bij elkaar om een virtualrealityset aan te schaffen. Want hoe komt dat verhaal van die printer nu beter tot leven, dan in virtual reality? We zetten de virtualrealitybril op ons gezicht en beginnen te fantaseren en klooien en voorzichtig te bouwen in een grijs en leeg pantheon. We zoeken naar wat we kunnen en naar wat we willen.

In eerste instantie werken we toe naar een verhaal waarin iemand met een printer in zijn armen (zowel in de virtuele wereld als in de werkelijke fysieke wereld) mee op reis gaat tijdens de kidnapping. De manier om van scène naar scène te komen: een auto die van Donetsk naar de Krim reist. Je begint natuurlijk in een kelder in de arthub, waar de printer in beslag wordt genomen. We puzzelen met fysieke objecten in de virtual space, maar komen ook in dit medium niet helemaal uit het verhaal. We herzien het materiaal, bekijken wat we anders kunnen doen en stuiten op het door mij geschreven korte verhaal Indexen voor Verwijtbaarheid. Dat gaat over de oorlog in Oost-Oekraïne en het neerstorten van vlucht MH17 in dat gebied. We kiezen een mini-fragment om uit te werken: een oude vrouw die haar leven op de rails probeert te houden. Via dit kleine tekstfragment kunnen we onze fascinaties en vragen verder uitbouwen. Nienke wil op een andere manier een relevant mediaverhaal vertellen en kijken hoe dat op een meer duurzame en genuanceerde manier kan, ik wil diep in alle informatie duiken die met het oorlogsgebied te maken heeft, en Frank en Hans willen meer onderzoek doen naar hoe je fysieke objecten kan invoegen in een virtuele wereld en hoe je daarvoor een passend personage animeert en ontwerpt. Het is inmiddels het voorjaar van 2017. Er ligt een echt idee, we kunnen beginnen.

Een tekst is op alle mogelijk denkbare manieren een makkelijk medium, merken we naarmate we langer aan het project werken. Wat we ook al snel zien: te veel tekst is de stille moordenaar van goede VR, dus halen we weg en halen we weg en halen we nog meer weg. De tekst in het scenario krimpt, en alle additionele informatie dijt uit, tot er vijf strofen tekst over zijn. In plaats daarvan bouwen we een woonkamer, een kelder, een keuken, een zonnebloemveld en black box spaces met daarin enkele objecten en verder een eindeloos zwart overal om de kijker heen. We richten kamers en een huis in, we struinen het internet af op zoek naar de afbeelding van de juiste weckpot, het perfecte behang, het goede tuingereedschap. We kijken eindeloos veel video’s van bombardementen en de MH17-ramp, reportages over ouderen die in het oorlogsgebied in Oost-Oekraïne moeten achterblijven omdat ze nergens anders heen kunnen. We reizen naar het boerenland in Oekraïne, om tuinen en interieurs te fotograferen en gaten in de weg op beeld te krijgen. We richten een wereld in die een combinatie is van fictie en werkelijkheid.

Binnen deze ontworpen werkelijkheid zoeken we de grenzen op van virtual reality en reality: kan het rouwkransen regenen in een tuin - en hoe moet je dat programmeren? Hoe klinkt een bominslag en wie kan dat mooi vormgeven in audio? Hoe wissel je van scène zonder een toeschouwer misselijk te maken? Hoe zorgen we dat iemand bij het 3D-personage Nina aan tafel gaat zitten en dan de juiste stoel pakt en dan gelooft dat die stoel er in VR is, maar ook in de echte wereld. Hoe nemen we de exacte bewegingen van Nina op met een motioncapturepak en wie moet dat doen? Waar halen we zo’n pak vandaan en welke bewegingen moet ons personage dan precies maken? Hoe zorgen we dat het gezicht van ons personage de juiste bewegingen maakt wanneer ze praat met de virtualrealitygebruiker en hoe bouwen we zelf - DIY! - een helm met een camera erop, die opnames van de gezichtsbewegingen mogelijk maakt? Virtual reality maken met vier mensen is als een kort verhaal schrijven waarin werkelijk elke seconde aan informatie moet worden uitgedacht in beeld, beweging van het personage, geluid en interactie van de gebruiker die de virtualrealitybril opheeft.

Daarbij moet ik nog iets duidelijker zeggen: we zijn indiemakers, dus we hebben geen budget van honderdduizenden euro's. Onze studio telt vier mensen, we hebben twee jaar lang met de hulp van een tiental externen alle belangrijke elementen voor dit verhaal onderzocht en bekeken. Het budget van Studio ZZZAP is klein en we doen veel zelf en met de hand: denk daarbij aan het traceren van de gezichtsbewegingen van ons personage Nina, die we zelf opnamen met de eerder genoemde camera, en een gezicht beplakt met witte piepschuimbollen. De opgenomen video’s bewerkten we met de hand in een computerprogramma om zo de beweging van elke individuele piepschuimbol te kunnen traceren. Dat klinkt ten eerste superabstract en ten tweede als een soort knutselopdracht als je het zo leest, maar het duurde dagen. En om daar iets tegenover te stellen: er bestaat software waarmee je met een enkele klik op de knop hetzelfde werk kan doen. Deze software kost zo'n 10.000 euro.

Al het bovengenoemde (en meer) was nodig om de wereld te construeren en werkend in elkaar te zetten. Daarnaast mochten we ook het verhaal niet uit het oog verliezen. De belangrijkste vraag is en blijft namelijk: hoe staat de techniek in dienst van het verhaal en hoe zorgen we dat de gebruiker die de VR-bril opzet, dankzij al deze technische elementen overtuigd is van wat we willen vertellen. Want dat is waarom we ooit begonnen: we wilden een werk maken dat je wegtrekt van de bekende westerse beelden over dit vergeten oorlogsgebied en je laten zien dat er in Oost-Oekraïne niet alleen een vliegtuig vol Nederlanders neerstortte, maar dat er ook al maanden (en inmiddels jaren) een oorlog woedt, waar vooral individuen elke dag weer de dupe van zijn.

Nu is onze installatie ROZSYPNE er. Het werk duurt in totaal vijftien minuten. Dat klinkt belachelijk kort, maar is belachelijk lang, nu we weten hoe bizar veel werk elk stukje kost. Je kunt als gebruiker rondlopen in de verhaalwereld, een verhaal meemaken via Nina, interacteren met objecten en een wereld zien waar het nog steeds elke dag oorlog is. 

Het omzetten van een kort verhaal naar een scenario voor een blanco 3D-wereld, waar niets bestond toen we begonnen, waar elementen interactief zijn, een personage rondloopt en er zes scènewisselingen zijn, was een kluif. We liepen constant tegen muren op en hebben via eindeloze omwegen ons werk gedaan. Het waren noodzakelijke omwegen die ons een heel scala aan nieuwe kennis hebben verschaft, maar ons bij tijd en wijlen ook de das om leken te doen.

In maart 2019 krijgen we tijdens het festival van het internationaal literatuurhuis Passa Porta de kans om de eerste versie van onze installatie te testen. Drie dagen lang ontvangen we als team in totaal ongeveer 120 mensen op twee verdiepingen van het pand van deBuren, een organisatie vol literatuurliefhebbers en -kenners die deze try-out voor ons mogelijk maakt. Dankzij het festival en het netwerk van deBuren bezoekt een scala aan mensen onze installatie: jongeren en ouderen van allerlei achtergronden, uit allerlei taalgebieden en zelfs twee medewerkers van de Oekraïense ambassade. Dit is het mooiste publiek dat we ons kunnen wensen: het werk neemt andere vormen aan, afhankelijk van wie erin stapt. Een aantal Oekraïners, woonachtig in Brussel, komt met betraand gezicht uit de installatie; de ambassadeur van Oekraïne herkent de velden uit zijn jeugd. Wij van Studio ZZZAP prijzen ons gelukkig, zeker ook omdat alle objecten die zowel in de virtuele als in de fysieke ruimte aanwezig zijn, negen op de tien keer allemaal gezien worden, wat leidt tot fysieke interactie in de digitale wereld. Jonge schrijver en dichter Anneleen Van Offel vat het mooi samen: ‘Het verhaal overstijgt de technologie.’