Onze realiteit is complex. Beeld, geluid, beweging en technologie beheersen het alledaagse leven meer dan ooit tevoren. Lang hebben deze eigenschappen echter naast elkaar geleefd. Al een tijdje merken we een verschuiving op in het kunst- en architectuurlandschap die streeft naar een combinatie van deze elementen. Zij pogen de werkelijkheid uit te breiden, en putten daarbij uit de mogelijkheden van elk element an sich. Augmented Reality is de omvattende term, werd hier reeds in het verleden kort aangehaald, maar verdient het om in detail en met de nodige voorbeelden besproken te worden.

Technologie

De term Augmented Reality heeft betrekking op een live beeld van een fysieke omgeving dat uitgebreid wordt door computer-gegenereerd beeldmateriaal. Technologie wordt dus in dit geval mediator in de vervorming van onze realiteitsperceptie. De term en technologie acht men ingeburgerd sinds 1990, maar het is pas sinds de afgelopen twee jaar dat het ook op een relatief eenvoudige schaal beschikbaar wordt in de huiskamer. Geavanceerde technologie zoals visualisatie en object recognition worden sindsdien toegepast om informatie omtrent onze leefomgeving extra dimensies te bieden, interactief te maken, en bruikbaar in een digitale context.

Apple zet daartoe met hun iPhone ook zeer concrete stappen. Zij pogen om de door de camera geregistreerde beelden aan belang te doen winnen door commerciële en culturere informatie bovenop het beeld te projecteren. We zien hierbij niet enkel belangrijke toepassingen in de wereld van toerisme en cultuur, maar ook handel en advertising zouden er zeer zeker wel bij kunnen varen. Toeristische informatie zou over een beeld van een hotel kunnen geprojecteerd worden (aantal beschikbare kamers, gemiddelde prijs van een overnachting), terwijl het naastgelegen pand informatie zou kunnen weergeven over promoties die gelden op kleding. Zonder daarbij webbrowsers te moeten opstarten en via complexe zoekbewerkingen porties informatie te vergaren, zou dit min of meer geautomatiseerd tot bij jou als eindgebruiker gebracht kunnen worden.

Deze vaak nog tot de verbeelding sprekende woorden, zijn geen verre toekomst meer. Integendeel, dit alles is reeds vandaag geïmplementeerd in alle iPhones die op de markt komen. De technologie wordt echter niet danig gepromoot omdat menig mobiel draadloos netwerk niet voorzien is op de grote datastromen. Zeker Europa – en met stip België – laat op dit vlak steken vallen, en boycot het succes van draadloze technologie voor consumenten.

Augmented Map

Een basisimplementatie van Augmented Reality vinden we terug in het project dat momenteel uitgevoerd wordt in Graz. Op basis van het driedimensionale model van Stiermarken dat enkele weken geleden uitgefreesd werd, werken wij als studenten toe naar een realiteitsmanipulatie. Op basis van beschikbare informatie (databanken, statistieken, etc.) wordt een projectie gegenereerd die een extra bron van informatie is en de toeschouwer verder helpt bij het beantwoorden van een bepaalde kwestie. Het geheel wordt geprojecteerd op een reëel beeld, het hoogtemodel van de streek.

Hoewel het hier uiteraard gaat om een redelijk eenvoudige vorm van Augmented Reality zou het fout zijn om dit project niet te categoriseren onder de noemer. Alle elementen zijn immers aanwezig: het reëel karakter (de tafel als object), de interactie met de gebruiker, de projectie van beelden, data, statistieken en dergelijke meer die een meerwaarde bieden aan hetgeen reeds getoond wordt, en het geheel dat bestuurd wordt aan de hand van beweging, interactie, manipulatie, en zelfs object- en vormherkenning.

Hedendaagse kunst

Ook hedendaagse kunstenaars, ontwikkelaars en interactieve experts hebben het medium ontdekt. Met Augmented Reality bieden hun werken ontegensprekelijk een zeer uniek en – tot nu toe nog steeds – erg vernieuwend beeld. Gebruikers en toeschouwers worden zondermeer betrokken bij het werk, en het is hun input die het werk vorm geeft. Meer nog, interacties leiden vaak tot bepaalde verhalen die zich lijken af te spelen, of bevorderen sociale interactie tussen toeschouwers onderling.

Het is moeilijk om uit de gestage toevloed van nieuwe kunstwerken een selectie te maken die de definiëring van de term helpt te verklaren zonder daarbij te technisch en te onderzoekend van aard te zijn. Het moet immers gezegd worden; technologie is duur en uitwerking vergt steeds honderden manuren. De werken komen dus niet zelden tot stand in een universitaire context, waarbij heel wat aandacht wordt besteed aan research en documentatie.

Ruimtelijke interactie

Een van de werken die nog sterk balanceert op de grens tussen het reële en virtuele is Responsive Sculptures, een werk door het Britse Minivegas. Er is weinig realiteit mee gemoeid, ware het niet dat bewegingen gestuurd worden door onze handen, waargenomen door een camera. De visualisatie is niets meer dan muziek die in vormen gegoten wordt binnen een imaginaire kunstgallerij. Wij als bezoeker wandelen erdoor op een interactieve wijze. Het is slechts een weinig gerelateerd aan het hiervoor beschreven werd, doch ook dit is Augmented Reality, de beweging doorheen ruimte op basis van digitale technieken.

Een driedimensionale wandeling doorheen een gebouw is daarom niet noodzakelijk Augmented Reality. Input van gebruikers is daarbij immers niet essentieel omdat het een vooraf gedefinieerde en vooraf opgenomen wandeling omvat. Manipulatie van buitenaf komt er in geen geval aan te pas. Het is uiteraard dan weer wel te categoriseren als virtuele realiteit.

Een zeer tot de verbeelding sprekend project is ook Augmented Sound, een thesisproject aan het Rochester Institute of Technology voor de Masteropleiding Computer Graphic Design. Het werk bestaat enerzijds uit de interactieve creatie van objecten waaraan een geluidseffect wordt toegewezen. Hun onderlinge interactie op basis van ruimtelijke begrenzingen zorgt uiteindelijk voor de creatie van muziekstukken.

Het werk is uitgeprobeerd in verschillende omgeving, waarbij elke omgeving verschillende begrenzingen en mogelijkheden aan het licht bracht. Bovendien – wellicht mede doordat dit werk in een universitaire context tot stand is gekomen – is het geheel zeer uitgebreid gedocumenteerd. Het weblog bevat niet enkel beelden van tussenstappen, maar is ook doorspekt met de nodige broncode en voorbeelden die enthousiastelingen inzake openFrameworks zeker verder kunnen helpen. Hoewel onderstaande video slechts één omgeving weergeeft, kan je video’s van de andere ruimtes terugvinden op het Vimeo-kanaal van de ontwikkelaar.

Leuk weetje is ook dat dit project in grote mate gebaseerd is op hetgeen Graffiti Research Lab reeds verwezenlijkte in Rotterdam. Hoewel het hier gaat om illegale kunst met behulp van een bijzonder illegale laserpen, werd diezelfde techniek hier desondanks toegepast. Laser Tag is bovendien eveneens zeer goed gedocumenteerd. Het wordt hoopvol uitkijken naar gelijkaardige urbane interventies!

Interactie met gebruikers

Zoals reeds gesteld is Augmented Reality bovenal een hulpmiddel om interactie los te weken tussen mensen onderling, of tussen mens en technologie. Het kan ons helpen om digitale verhalen te vertellen, en kan bijstaan om op een interactieve wijze informatie te vergaren. Zonder meer kan het ongetwijfeld ook helpen om onze leefomgeving her en der bij te sturen, of – zoals één van onderstaande projecten – een kunstmatige aangename omgeving creëren.

Artificial Smile will op een interactieve wijze immers onze verzuurde maatschappij helpen oplossen. Ook dit is een studentenproject, verwezenlijkt aan de Universität der Kunste, Berlin voor Digitale Klasse. Het project maakt intensief gebruik van de aam-library om gezichten te herkennen enerzijds en de fysieke eigenschappen op een digitale manier aan te passen.

Met het project wil men de evolutie aantonen van wat met een hulpmiddel als Photoshop – dat ontegensprekelijk zijn plaats heeft opgeëist in de journalistiek en fotografie – kan bereikt worden naar de toekomst toe. Deze camera speelt immers met begrippen als perfectie en automatische retouchering. De concrete toestand van een personage negerend, toont het een virtuele en mooiere werkelijkheid; het personage met een betoverende glimlach. De zone rond de mond en lippen wordt overdekt met een glimlach die geselecteerd wordt uit een vooraf opgebouwde databank met glimlachen, die evenredig zijn aan de mate waarin de persoon ongelukkig kijkt. Op die manier wordt de ultieme graad van overdrijving bereikt.

Min of meer gelijkaardig aan wat momenteel in onze studio gebeurt en hoe Reactable werkt, probeert Augmented Shadow de digitale interactie met gebruikers en toeschouwers danig te stimuleren. Meer nog, Augmented Shadow toont een verhaal dat wij als gebruikers volledig kunnen manipuleren. Het einde is niet definitief vastgelegd zoals in een boek, maar ligt volledig in onze handen. Op basis van tastbare bouwblokken die geplaatst worden op een tafeloppervlak wordt een kunstmatig schaduweffect gevormd. Deze schaduw en de respectievelijke verlichte delen, bepalen het verhaal en nemen ons mee naar een fantasierijke wereld. De schaduwen transformeren in huizen, bewoond door individuen die opgebouwd werden als schaduw. Bovendien kan ook het ecosysteem beïnvloed worden door de schaduwen respectievelijk bouwblokken te bewegen over het tafeloppervlak.

Met het werk wil de ontwikkelaar, Joon Y. Moon voornamelijk de kleine zone tussen interactie, generatieve programmering en motion design verkennen. Op basis van zijn expertise in visuele communicatie poogt hij die zone uit te breiden en interessanter te maken voor toeschouwers. Dat hij daarin zeer zeker succesvol is, mag blijken uit de kracht van dit ontwerp.

Tenslotte wil ik ook Sniff vermelden. Dit project van Karolina Sobecka is eveneens Augmented Reality pur sang. Deze interactieve openbare projectie creëert een directe link met voorbijgangers. De geanimeerde hond reageert op het gedrag van mensen die voorbijlopen en al of niet interactie willen aangaan. De positie van elke toeschouwer wordt getraceerd met behulp van IR-cameras en hun gebaren worden digitaal geïnterpreteerd. Het gedrag van de hond is navenant: snelle beweging worden geinterpreteerd als bedreigend, terwijl een trage actie naar de hond toe beschouwd zal worden als een vriendelijk gebaar. De hond houdt deze gedragingen bij in zijn geheugen, en vormt een relatie gebaseerd op deze interacties.

Interactieve Façade

Het moet gezegd worden dat veel van de voorheen besproken interactieve façades in grote mate de principes van Augmented Reality hanteren. Velen van hen zijn immers rechtstreeks aanstuurbaar door toeschouwers (hetzij via SMS, via geluidsregistratie, of manipulatie van een intermediair apparaat) en wijzigen integraal de gebouwde en in principe onveranderbare architectonische realiteit.

Desondanks is ook in deze richting nog een belangrijke onaangesproken niche in de architectuur. De interactieve façade biedt een meerwaarde aan de architectuur langs de buitenste schil, maar een brede toepassing van Augmented Reality kan ook drastische wijzigingen opperen in het binnenklimaat. Interessante projecten hieromtrent zijn zeker mogelijk!