Helmen, interfaces, sensors en effectors


Na een algemeen beeld te hebben gegeven over wat VR inhoudt, is het nu tijd om dieper in te gaan op de techniek. De volgende hoofdstukken zijn misschien wat droog en technisch, maar het is nodig om een indruk te geven van de feitelijke stand van zaken rond de Virtual Reality technologie, voordat we verder gaan met de toepassingen en soms wilde projecties. We beginnen met wat in eerste instantie VR zo anders maakt, de interfaces, stappen dan over op de hardware die gebruikt wordt en dan volgt natuurlijk de software; daar draait het allemaal op en om.

De (hu)man-machine interface

Anders dan bij de computer, waar toetsenbord, muis en beeldscherm de communicatie tussen gebruiker en systeem domineren, is er bij VR een totaal andere situatie. De human-computer interface is veel breder geworden en omvat stereobeeldschermen, geavanceerde geluidsapparatuur, speciale sensors en controls en natuurlijk de VR-handschoen. Het hele systeem is erop gericht om een zo diep mogelijk contact te bereiken tussen gebruiker en de computer-generated reality. De karakteristieke elementen van VR zijn, we noemden ze al eerder:
  • hoge beeldkwaliteit in stereo;
  • immersion via zien, gevoel, geluid;
  • control;
  • feedback.

    Rondreizen in de virtuele ruimte is alleen mogelijk wanneer we onze aanwezigheid daar kunnen zien en horen en ook signalen kunnen geven. Het is intussen duidelijk dat het vooral de stereohelm en de handschoen zijn, die een computersysteem voor Virtual Reality onderscheiden van een computer voor bijvoorbeeld Computer Ondersteund Ontwerpen (CAD). Er zijn andere interfaces, zoals joysticks, spaceballs en `Orbs'. Ook geluid kan een grote rol spelen bij realistische VR-ervaringen, maar voor de gebruiker is het toch de stereohelm die gevoelsmatig het belangrijkst is. Die behandelen we na wat meer uitleg over `controls' eerst (met misschien voor de leek wat veel technische details), gaan dan over op de handschoenen en verdere bewegingssensors en komen aan het eind van dit hoofdstuk terug op de functie van geluid.


    Controls

    De communicatie tussen de VR-deelnemer en de virtuele wereld draait op dit moment nog om een beperkt aantal sensors en effectors; wat dat betreft is zowel de `control' als de `immersie' nog beperkt. Bij de computerinterface spreekt men graag over `controls' en bedoelt dan toetsenbord, joystick, muis en trackball. Bij VR gebruikt men een iets andere terminologie en dat hangt samen met het gezichtspunt: van waaruit denk je. De interface tussen gebruiker en computer is namelijk tweezijdig en dus moeten we even ingaan op sensors en effectors, zoals Walser die definieert en die we normaal gesproken als `controls' op een hoop gooien.

    Gezichtspunt vanuit de `actor'

    Het is volgens Randal Walser beter om van `sensors' en `effectors' te spreken, waarbij het gezichtspunt verplaatst wordt naar de virtuele ruimte, en de vroegere `input-devices' nu `sensors' voor de `pop' of de acteur in de virtuele ruimte worden. De joystick of handschoen, waarmee de VR-reiziger zijn commando's geeft, wordt dan vanuit de VR-ruimte een `sensor' en om informatie vanuit de virtuele wereld naar de man in de helm door te sturen zijn effectors nodig. Een display is dus een effector, net zoals geluiden vanuit de VR-ruimte via effector-luidsprekers worden overgedragen. Het werkt even ingewikkeld, maar het went. De stereohelm is in ieder geval een effector, net zoals het beeldscherm bij de `projectie-VR' zoals Myron Krueger die beschreef.

    HMD: Stereohelm

    Er zijn verschillende namen voor de VR-beeldhelm, men spreekt van Visor en de min of meer offici‰le naam is HMD voor Head Mounted Display. Het is in het algemeen een speciale helm of bril met een dubbel display waarmee een stereoscopisch beeld kan worden gezien. Onze hersenen maken daar dan vanzelf een soort ruimte van, we kunnen het bij voldoende scherpte, detail en beeldhoek gaan ervaren als een `echte' wereld. Het woord `Stereohelm' of `VR-helm' is niet helemaal dekkend, maar andere benamingen, zoals het `EyePhone' van het inmiddels min of meer verdwenen bedrijf VPL van Jaron Lanier waren ook geen duidelijk begrip en bovendien zijn er rond dit soort benamingen altijd allerlei trademark-verhalen. VPL was in zekere zin wel de commercieele vader van de VR-helm, al waren er al eerder door researchers van met name de NASA zelf helmen ontwikkeld. VPL verkocht in de beginperiode ook de meeste stereohelmen aan onder meer AutoDesk en NASA. De VPL beeldhelm was een handige combinatie van LCD-schermpjes uit miniatuur TV's met natuurlijk extra electronica voor de aansturing en met een positie-sensor bovenop. De optische onderdelen om met name de beeldhoek te vergroten kwamen van het bedrijf LEEP (Large Expanse Extra Perspective). De VPL EyePhone werkte met twee NTSC-ingangen voor (kleur)- videosignalen, twee audio-ingangen, een microfoonuitgang, en RS232- en RS422-interfaces voor de Polhemus bewegingssensor bovenop. Na VPL ontwikkelden ook andere bedrijven helmen, zoals Sense8 en VRontier en vooral VR Research leverde in de eerste VR-jaren vrij veel helmen aan de toen nog voornamelijk universitaire laboratoria en ontwikkelaars van VR.

    De eerste generaties beeldhelmen of `goggles' was bepaald nog niet perfect, het ging om twee Liquid Crystal Display (LCD-)schermpjes van matige kwaliteit, die het nog niet haalde bij wat we zelfs op een gewone computermonitor zien. Onze hersenen zijn echter vrij simpel te bedotten. Zelfs een eenvoudige stereohelm is toch al voldoende om effectief het gevoel te krijgen dat men ergens anders is. Jaron Lanier zegt daarover: -De reden dat het hele systeem werkt is omdat onze hersenen de hele tijd druk bezig zijn om ons te laten geloven dat de werkelijkheid waar we in rondlopen ook consistent is, en alles wat het tegendeel aangeeft te onderdrukken. Wat we feitelijk opvangen, ook in de echte wereld, is zeer fragmentarisch en VR maakt daar gebruik van om een eigen illusie te scheppen.þ


    Sneller en scherper

    Ondertussen is de techniek verder ontwikkeld, men gaat nu voor een beeldhelm meestal uit van VGA-kwaliteit en voor veeleisende toepassingen gaat de beeldkwaliteit al snel naar de 1054x768 pixels toe. Met speciale lenzen en filters wordt dat dan nog aangepast aan de manier waarop we kijken. Naast LCD-schermen wordt er ook gebruik gemaakt van echte beeldbuizen (CRT's) zoals die ook in een TV of monitor zitten, maar dan veel kleiner. Die worden dan meestal naast het hoofd gemonteerd en via een lenzensysteem wordt het beeld naar de ogen gebracht.

    De beeldkwaliteit is overigens niet alleen een kwestie van displays, ook de computer en dan vooral de graphics onderdelen daarvan moeten het allemaal aan kunnen. De beeldkwaliteit van computers is die van video en zelfs van HDTV al lang voorbijgestreefd en langzamerhand wordt het mogelijk dat ook allemaal in `real-time' te realiseren. Dat wil zeggen dat het beeld steeds opnieuw wordt uitgerekend en weergegeven met een frequentie van tenminste 20 of 30 keer per seconde en niet beeldje voor beeldje apart wordt gegenereerd en later wordt samengesteld en op video gezet zoals bij animatie-films.


    Mechanisch, optisch en elektronisch deel

    Een stereohelm bestaat uit het draagmechaniek, de feitelijke displays en een optisch gedeelte met lenzen en de sensor voor de bewegingen. Het draagmechaniek lijkt een eenvoudige zaak, maar om het gewicht van de voor het gezicht hangende schermpjes te compenseren zijn soms hele constructies nodig. Een constante kracht die aan de nek trekt wordt na een tijdje heel ongemakkelijk, dus is er een contragewicht nodig. Dat kan achterop de helm, maar er zijn ook oplossingen waarbij het contragewicht via een soort hefboom op de borst hangt. Je kunt de hele display ook ergens aan ophangen (head- coupled systems), dat doen Leep Systems met de Cyberface en Fakespace met de Boom displays. Alles bij elkaar wordt een stereohelm toch een zwaar en moeizaam te bewegen ding, je gaat er echt niet lekker mee joggen. Misschien is dit allemaal een kwestie van tijd, want de platte displays, men gebruikt meestal LCD-schermpjes of kleine beeldbuisjes, worden steeds lichter, kleuriger en scherper. De nieuwste LCD's van Kopin zijn 1280x1024 pixels, maar zijn behoorlijk duur. Meer kleur en meer pixels vragen echter ook snellere computers; het is nog vrijwel ondoenlijk om bijvoorbeeld een hele omgeving in hi-res (hoge resolutie) beeldkwaliteit te laten zien. Men lost dat dan zo op dat de normale rondkijk-beeldkwaliteit tamelijk grof is maar wanneer men geconcentreerd naar een object kijkt, wordt er automatisch overgeschakeld naar een betere beeldkwaliteit om meer details zichtbaar te maken.

    Positiebepaling: Tracker

    Bovenop de helm zit meestal de bewegingssensor, waarvan Polhemus de bekendste leverancier is. Een goed en snel beeld alleen is niet voldoende, je moet ook zien waar je naar kijkt en daar komt de vertragingstijd van de bewegingssensor het een beetje verpesten. Dan draai je je hoofd, maar het beeld blijft nog even achter, een verwarrend gevoel, waar je snel wat misselijk van wordt. Zelfs een heel geringe vertragingstijd van enige tientallen milliseconden van de verplaatsingssensor is zodanig, dat je sterk het gevoel hebt na te ijlen bij de hoofdbewegingen. Er zijn 3DOF (3 vrijheidsgraden) trackers, die alleen de bewegingen oppikken en 6DOF systemen, die ook de positie doorgeven (x,y,z,yaw,pitch,roll) Er is inmiddels een hele reeks bedrijven die stereohelmen maakt, die ook veel goedkoper zijn geworden en voor een deel zelfs geschikt zijn om te gebruiken met gewone PC's. De ontwikkeling gaat nog door, voor de eindgebruiker worden er budget-modellen uitgebracht en voor de wetenschappelijke en militaire toepassingen zijn er in laboratoria heel geavanceerde helmen.

    3-D schermen

    Als alternatief voor een helm kan men ook werken met andere stereoscopische display-technieken, waarbij bijvoorbeeld een LCD-shutter (sluiter) wordt gebruikt zoals in de CrystalEyes van StereoGraphics en Imax PSE van Sonics Assoc. of een eenvoudige bril met gekleurde glaasjes, zoals we die uit 3D-stereobioscoopfilms kennen. Ook bij de film en de TV en zelfs bij vrij eenvoudige spelcomputers heeft men vanaf het begin met stereo ge‰xperimenteerd, en er zijn heel wat 3D-films en zelfs TV-programma's gemaakt, die je met een groen/rood brilletje kan bekijken. Met een bril met LCD- elementen kun je ook beurtelings het linker- en rechteroog blinderen en zo met ‚‚n beeldscherm en afwisselende beelden toch een ruimtelijk effect bereiken, zoals o.m. Sega nu doet met haar VR videogames. Een van de problemen van VR-helmen is dat het blikveld tamelijk beperkt is, je kunt de schermpjes niet dicht genoeg bij de ogen plaatsen en je zit dus met een beeldhoek van 60 of 70 graden. Daar is met wat optische trucs en lenzen echter wel wat aan te doen. Het is van belang om een relatief zo groot mogelijk schermpje te hebben, zodat de beeldhoek die gevuld wordt door het computerbeeld zo groot mogelijk is. In de cinematografie had men ook al snel door dat een groter beeldoppervlak en dus meer gevuld blikveld meer indruk maakte en kwam men met grotere projectieschermen en bijvoorbeeld de Emax-grootbeeldcinema. Het bedrijf LEEP heeft zich gespecialiseerd in de optimalisatie van de ruimtelijke effecten en levert een stereobrilsysteem, waarbij men de gezichtshoek groter gemaakt heeft voor een beter ruimtelijk gevoel. Zijn Cyberface HMD (head-mounted display) is vooral optisch gezien interessant. Omdat schermpjes voor de ogen de bruikbare gezichtshoek beperken heeft het bedrijf een soort compressie uitgevonden om toch een bredere gezichtshoek op de schermpjes af te beelden. Dit `Wide Angle' systeem met extra perspectief-werking is ook weer door andere makers en gebruikers van stereohelmen overgenomen. De grotere gezichtshoek versterkt de ruimtelijke illusie, men denkt een beeld van 90 tot wel 270 graden te zien in plaats van de 50 tot 70 graden van normale displays en de 35 graden van de eerste VR-helmen.

    Microsharp

    Een van de problemen bij schermpjes die heel dicht voor de ogen zitten is dat je de pixels al snel als afzonderlijke puntjes ziet. Er zijn nu kunststof filters ontwikkeld, die dit effect beperken, zogenaamde depixellation polymeren met een soort microlensjes die de overgangen van de ene pixel naar een andere afvlakken. Daarmee neemt de beeldkwaliteit toe zonder dat men veel meer hoeft te doen dan een laag aanbrengen. De uitvinder van deze Microsharp-techniek is William Johnson .

    Sequential RGB video

    Je kunt op de traditionele manier kleurenbeeldjes maken met drie verschillende aansturingen voor de RGB-kleuren, maar je kunt de verschillende kleuren ook achter elkaar zetten, en dan met een LCD- shutter de kleur veranderen. Zeker wanneer er wordt gewerkt met CRT's (beeldbuizen) is dat eenvoudiger, sneller en met minder storingen. Tektronix heeft bijvoorbeeld zo'n `field sequential RGB video'- systeem, waarmee je met opzij gemonteerde beeldbuizen (geen LCD's) heel hoge scherptes kunt bereiken, tot 1280x960 pixels bij 30-Hz beeldfrequentie.

    Visortron

    Er zijn allerlei helmen op de markt gebracht, zoals de CrystalEyes-VR van StereoGraphics en helmsystemen van de Virtuality, Virtual Research, Kaiser Electro-Optics en de VR Group . Dit soort helmen met speciale technieken en schermpjes zijn echter vrij duur, het gaat al gauw om tienduizenden guldens. Wat dat betreft is de aanpak om de 3D-bril voor de Sega- spelcomputer om te bouwen voor VR wat simpeler. Er zijn ook leveranciers zoals Forte en VictorMaxx, die zich meer op de PC-markt richten met betaalbare helmen. Omdat een aantal elektronicaconcerns bezig is met de ontwikkeling van TV-brillen zit het er in, dat er binnenkort nog veel betere en goedkope helmen beschikbaar komen. De Visortron TV-bril van Sony is bedoeld voor de gewone consument die TV wil kijken, maar is vrij eenvoudig voor VR aan te passen. Matsushita en Olympus zijn andere bedrijven die reeds werkende modellen van beeldbrillen hebben getoond, het Olympus-model weegt maar 360 gram en gebruikt LCD's met 96000 pixels. Sega heeft al een betaalbare 3D-bril uitgebracht als uitbreiding van haar spelconsole en ook voor de Amiga en de PC zijn er helmen op de markt, die echter geen hoge beeldkwaliteit bieden. Het zou overigens wel eens zo kunnen zijn dat de beschikbaarheid van stereo voor de huiskamer-TV en de ontwikkeling van VR parallel lopen.

    Geluid

    Het lijkt heel eenvoudig om spraak- of geluidseffecten aan een VR-omgeving toe te voegen. Net als bij een computerspel verhogen geluiden en misschien een stem de betrokkenheid van de VR-reiziger. In de praktijk blijkt het echter niet zo eenvoudig om driedimensionaal geluid te maken, dat wil zeggen geluiden waarvan de bron net als bij het visuele signaal op dezelfde plaats blijft wanneer men het hoofd draait. Een van de doorbraken bij het gebruik van geluid bij VR kwam van de NASA-researchgroep die het Virtual Environment Workstation (VIEW-)project uitvoert en waarbij Elisabeth Wenzel en Scott Fisher betrokken waren. De VIEW-groep heeft al veel ge‰xperimenteerd met ruimtelijk geluid. Men heeft meetopstellingen gemaakt waarbij er tenminste vijf luidsprekers en microfoons nodig zijn om realistisch ruimtelijke geluidseffecten te kunnen meten en vastleggen. Door daarmee speciale overdrachtsfuncties per individu te bepalen en die met de computer om te zetten, kan men dan in tweede instantie de ruimtelijke geluiden toch door een stereokoptelefoon laten horen. De gebruiker krijgt dan inderdaad de indruk dat de geluidsbronnen op een bepaalde plaats blijven, ook wanneer hij het hoofd draait of zelf beweegt. Op die manier kan men richtingsgevoelige signalen maken; een extra element in de VR-wereld met allerlei voordelen. Men is nu bezig om wiskundige modellen te ontwikkelen die minder persoonsgebonden zijn, zodat dit soort effecten niet per persoon behoeven te worden aangepast. Audio-aanwijzingen, zowel spraak als geluiden, kunnen in VR erg belangrijk zijn. In de praktijk gebruiken we ons gehoor heel vaak voordat we ons bewegen; zoals naar iemand toe draaien zodra die iets tegen ons zegt. Het gehoor is heel goed in staat om uit achtergrondruis toch `cues' te filteren; een telefoon op de achtergrond halen we er altijd heel snel uit.

    Er is al een commerci‰le toepassing van de NASA-technologie, die door het bedrijf Crystal River Engineering van Scott Foster als PC-kaart onder de naam Convolvotron wordt uitgebracht. Daarmee kan kunstmatig 3D-geluid worden gesimuleerd in een stereokoptelefoon. Door filtering krijgt de luisteraar het gevoel dat de geluidsbron op ‚‚n plek blijft wanneer hij zelf beweegt. Dergelijke bewerkingen vragen veel computerkracht, daarom wordt er gebruik gemaakt van 128 parallelle processors voor 320 MIPS real-time audiobewerking. Voor het zelf maken van geluidseffecten wordt er een bibliotheek met C-programma's bijgeleverd.


    Geluidsiconen

    Het is even een gedachtenstapje maar bij VIEW werkt men ook hard aan het ontwikkelen van iconen voor geluid (Earcons in analogie met Icons). Net als bij beeldiconen die we bij de moderne computerinterfaces tegenkomen, zijn dat gestandaardiseerde geluiden met een specifieke functie. De telefoonbel is voor iedereen duidelijk herkenbaar, maar ook het dichtvallen van de brievenbus en de drietonige hoorn als alarmsignaal kunnen we als icoon gebruiken. Nieuwe iconen kunnen we zelf maken, bijvoorbeeld een piepje voor aanraken, twee piepjes voor loslaten en dan is ook meteen duidelijk dat geluid kan worden gebruikt als alternatief voor de tactiele feedback. Wanneer we iets proberen aan te raken of op willen pakken kunnen geluidssignalen daarbij helpen en deze zijn relatief eenvoudig te genereren. Ook de interactie tussen objecten in een VR-omgeving kan met geluid soms beter worden begrepen, we kennen allemaal het Doppler-effect waarbij het lawaai van een auto die naar ons toekomt iets hoger klinkt dan wanneer hij van ons af rijdt. Dit soort effecten staat nog in de kinderschoenen maar geluid (en spraak) is een zeer krachtig medium en binnen de VR-techniek zal het dan ook zeker een belangrijke plaats gaan innemen.

    Feedback

    Wat de gebruiker dus ziet of voelt, de effectors, is onder meer van belang voor de terugkoppeling, de feedback. Dat heeft te maken met de optische lus: kijken hoe het systeem reageert op veranderingen die men doorgeeft aan de sensors door een ander beeld te genereren, maar er zijn natuurlijk nog andere terugkoppellussen. De handschoen is daarbij van belang, maar we hebben ook te maken met wat de gebruiker nu voelt. Dat is niet eenvoudig, de tactiele of haptische feedback staat nog in de kinderschoenen.

    Tactiele feedback

    Sommige mensen zijn gevoeliger voor aanraking dan anderen, maar allemaal ervaren we het voelen als een belangrijk zintuig; voor veel primaire reacties zelfs essentieel. Wanneer je je brandt, voel je dat veel sneller dan dat je ogen waarnemen wat er aan de hand is. Het `kinestetische' aspect, dus het aanraken, het voelen van luchtstromen, warmte en koude, het herkennen van oppervlakten en ook het evenwichtsgevoel spelen een belangrijke rol in het `immersion'-effect, het helemaal onderdompelen in de ervaring. Wie ogen en oren afsluit voor externe signalen gaat veel intenser reageren op zijn lichaam. Wie wel eens in een zogenaamde isolatietank heeft gelegen, weet hoe sterk dat werkt. Een isolatietank of `sensory deprivation'-tank is een bad met zout water zodat je er gemakkelijk in blijft drijven en afgeschermd van licht en geluid geeft het je een gevoel alsof je drijft in een onbepaalde ruimte. Je geest gaat dat na een tijdje overigens weer invullen en als het ware de heel schaarse signalen zoals je hartslag en de minieme bewegingen in het water toch weer `opvullen' met soms hallucinatieve beelden. In ieder geval besefte men ook voor Virtual Reality al snel dat je het gevoel en vooral de lichamelijke sensaties bij bewegen niet helemaal kon negeren, al was het maar omdat anders de simulatorziekte sneller optrad. Dus bouwde men al snel fietsen, waar je echt op kon fietsen door een virtuele stad (Jeffrey Shaw en AutoCAD), wandeltredmolens en bewegende of draaiende stoelen. De meeste VR-toepassingen zijn echter nog niet zover en men behelpt zich dan met vrij primitieve middelen voor de tactiele ervaringen. Vooral in de feedback is het grijpen en oppakken van voorwerpen van belang; bij experimenten met Telepresence blijkt dat je anders snel door muren heengaat of dingen kapotknijpt. Je kunt die feedback regelen met kleine motortjes of opblaasdingen in de handschoen, maar je kunt ook een soort constructie maken, die de noodzakelijke tegenkracht geeft.

    Voelbare terugkoppeling

    Zelfs wanneer we kunnen zien en horen, zijn er toch situaties waarin het gevoel een grote rol speelt. Vorm, structuur, temperatuur, je weet pas dat je iets aanraakt wanneer het jou terug aanraakt; voelen is heel complex. Buiten in de kou in een sneeuwbui rondlopen wordt pas levensecht wanneer je de kou ook echt voelt. Dingen oppakken en bijvoorbeeld weer monteren, schroeven aandraaien, hoe kun je dat doen zonder gevoel. De handen of het hoofd bewegen is ‚‚n ding, maar hoe merken we of dat effect heeft, hoe kunnen we bijvoorbeeld iets pakken als we geen weerstand voelen? Hoe kunnen we in de ruimte een moer aandraaien, als we niet weten hoe vast die al zit? Dergelijke problemen komen in de praktijk van de Telepresence al voor. Hoe voorkom je dat de robotarm alle buisjes bij een laboratoriumproef met afstandsbediening kapot knijpt? Daarvoor is een soort terugkoppeling nodig, als automatisme bij bijvoorbeeld mechanisatie, en in VR omdat we moeten zien en voelen wat we doen. Visuele terugkoppeling, zien wat we doen, werkt een beetje, maar is niet erg precies. We kunnen iets doen met elektrische pulsjes of met geluid, maar het beste is tactiele (haptic) terugkoppeling, een soort gevoel dat we een weerstand ondervinden. Ook als we ergens tegenaan lopen: hoe kan dat worden doorgegeven? Op dit moment zweef je in VR nog dwars door muren en obstakels heen. Dat is niet zo eenvoudig op te lossen, er wordt gewerkt aan hele skeletachtige dingen (exoskelet) die een weerstand geven bij het buigen van onze handen of ledematen en aan apparaten met een soort haartjes, die naar buiten schuiven, maar een goede techniek is hier nog niet voor. Het gaat om een soort tegenkracht, die reageert op onze `greep' en om de eigenschappen van het materiaal dat we in de VR-omgeving aanraken. In eerste instantie richt men zich daarbij op de handen, maar ook andere lichaamsdelen spelen een rol, al was het maar vanwege de fascinatie met Virtual Sex, die we bespeuren. Je kunt met kleine vibrerende piezo-elektrische kristalletjes wel signalen doorgeven aan een handschoen, maar er zijn vele andere methoden beproefd. Myron Krueger heeft een feedback joystick ontwikkeld en Margaret Minsky van UNC/MIT MediaLab (Marvin Minsky's dochter) heeft een tactiele joystick ontworpen, waarmee je de oppervlakte en de textuur van oppervlakken kunt aanvoelen. TiNi Alloy Company uit Emeryville heeft een tactiele feedback unit met voelertjes, een soort interactief schuurpapier, ontwikkeld dat via een matrix van kleine pennetjes weergeeft hoe een oppervlak aanvoelt. Het werkt met shape-memory legeringen, die terugspringen in de vorm. Het Advanced Robotics Research Lab (ARRL) van Robert Stone ontwikkelde de TeleTact, een handschoen met minuscule kleine luchtkussentjes die waren gekoppeld aan een pompsysteempje. Omdat we zowel voelen door de spanning van onze spieren en pezen (proprioception), als door kleine mechanoreceptors in verschillende vormen en zelfs door de haartjes in onze huid, is een universele manier om een `tactiele' interface te ontwikkelen niet eenvoudig. Het belang ervan is echter wel heel duidelijk aanwezig, veel van de zogenaamde Telepresence-applicaties draaien om een juiste tactiele feedback om bijvoorbeeld werkzaamheden op afstand in de ruimte, kerncentrales etc, te kunnen uitvoeren. Daar wil je niet onwillekeurig de werktuigen of voorwerpen in de echte omgeving beschadigen of kapot knijpen. Voorbeelden van dit soort interfaces zijn de Argonne Remote Manipulator en de voor handbewegingen wat preciezere Portable Dextrous Master in combinatie met een DataGlove om `force feedback'-signalen terug te voeren naar de hand. Dat is een van de uitdagingen, en VR biedt er nog wel een paar. Hoe kun je bijvoorbeeld geuren genereren en wat doe je om de zwaartekracht voelbaar te elimineren: gaat de VR-gebruiker dan in een zwembad drijven?

    Sensors

    Voor het oppikken van signalen uit de echte wereld, dus over wat de bestuurder, speler of bewoner doet, zijn sensors nodig. Naast de helm als belangrijkste effector in de terugkoppellus, kunnen we een handschoen met sensors als de DataGloveþ, een joystick of een ander besturingsapparaat als sensor gebruiken. Er zijn heel wat ontwerpen gemaakt en hoewel de handschoen en in het verlengde daarvan de complete `Datapakken' op dit moment de meeste aandacht krijgen, zijn er wel degelijk goed werkende alternatieven. Daarbij kan met name de weerstandskracht, die essentieel is voor grijpfuncties, beter worden overgedragen. Sense8 heeft een soort bolvormige joystick/controller met 6 vrijheidsgraden, die `Orb' wordt genoemd. Er zijn ondertussen hele reeksen datahandschoenen, waarmee we VR-omgevingen kunnen benaderen, ontwikkeld. Meestal is er ook een afbeelding van die hand(schoen) in de VR-omgeving, die dient als referentiepunt. Ze worden steeds beter; er wordt gewerkt aan tactiele feedback, zodat je het ook voelt wanneer je iets aanraakt, toch vindt niet iedereen zo'n handschoen ideaal. We bespreken een paar modellen.

    DataGlove

    De al eerder beschreven DataGlove van VPL is de grote doorbraak op het `sensor'-gebied geweest en is ontwikkeld door Tom Zimmerman en Young Harvill. Het is een handschoen met sensors die bewegingen, zoals het buigen van vingers, oppikken en doorgeven. Er wordt gebruik gemaakt van glasvezelkabels en de vervorming van het licht van een LED door het buigen van de glasvezel. Bovenop zit een Polhemus-sensor voor de bewegingen in de ruimte, de plaatsbepaling van de hand. De interface bestaat uit een RS232- of 422-serieverbinding. Het werken met bewegingen van een enkele of zelfs beide handen is nog maar beperkt; een natuurlijke overdracht van signalen is mogelijk, wanneer we sensoren (voelers) gebruiken die zijn aangebracht op onze kleren, en meestal werken door verandering van elektrische eigenschappen door uitrekking of vervorming. VPL had een aantal octrooien (patenten) op het gebruik van glasfiber als sensors in een `DataSuit', terwijl Zimmerman patent op de handschoen had, maar dat was erg conceptueel en moeilijk te verdedigen. Mattel heeft op basis van de VPL DataGlove een handschoen voor de populaire Nintendo-spelcomputer laten ontwikkelen door AGE Industries uit New York, die PowerGlove heet.
    In de PowerGloveþ maakt men gebruik van een eenvoudiger techniek, namelijk ultrasone plaatsbepaling en elektrisch-geleidende coatings op de handschoen. Het vreemde is dat de eerste grootschalige commerci‰le toepassing, die met VR te maken heeft, met een toch relatief eenvoudige videospelcomputer als die van Nintendo werkt. Met de Nintendo-computer is het driedimensionale effect nog wel erg beperkt, maar kan men met de handschoen bijvoorbeeld allerlei balspelen en ook actiegames toch een heel nieuwe dimensie geven. Een spelletje voor deze handschoen is Super Glove Ball. In plaats van het werken met een enigszins kunstmatige joystick, worden nu de bewegingen van de hand direct doorgegeven naar de spelcomputer, die dat weer vertaalt naar de gebeurtenissen op het scherm.
    Een leuke toepassing van de DataGlove is ontwikkeld door Greenleaf Medical uit Palo Alto. Dit bedrijf past de DataGlove aan voor gebruik door gehandicapten. Zo is er de `Glove Talker', waarbij mensen die niet goed kunnen praten de handschoen gebruiken om gebarentaal om te zetten in hoorbare spraak.

    Bewegen en positiebepalen

    We noemden de trackers al eerder, de ruimtelijke bewegingen van de VR-deelnemer bij de meest grote VR-systemen, zoals die van VPL en AutoDesk, worden overgebracht door zogenaamde trackers of verplaatsingssensors van o.m. Polhemus. Die werken op basis van elektromagnetische velden; de sensor op zich is vrij klein maar er is wel een vrij duur meet- en interfacekastje nodig. Het probleem is dat er een zekere vertraging is tussen het oppikken van de beweging van het hoofd, en de vertaling is een voor de computer hanteerbaar model. Dat duurt niet lang, maar zelfs 50 milliseconde blijkt voor bijvoorbeeld verkeerssimulaties al onacceptabel. De beste trackers komen nu onder de 5 milliseconde latency (vertraging).
    Magnetische velden zijn niet de enige manier om bewegingen over te dragen; radar, ultrasoon geluid en infrarood licht bieden een alternatief. Jaren geleden waren er al zogenaamde driedimensionale joysticks die gebruikt werden voor videospelletjes. Voor de Nintendo is er de U- Force controller, waarmee zonder direct fysiek contact handbewegingen, zoals bij een boksspelletje, kunnen worden overgedragen aan de computer. Dat gebeurt doordat er een soort driedimensionaal infrarood raster van lichtstralen is, het onderbreken daarvan geeft de informatie door. Niet alleen de verplaatsing, maar ook de snelheid van de verplaatsing kan worden opgenomen.
    Een relatief eenvoudig te construeren interface is een (stilstaande) fiets, waarvan de trap- en stuurbewegingen worden opgenomen, of een tredmolen waarop men kan lopen. Dat soort dingen is in ruwe vorm te koop, dergelijke wandelbaantjes zijn er al voor bewegingstherapie en kunnen redelijk simpel worden uitgerust met sensors. Jeffrey Shaw maakte er gebruik van in zijn `leesbare stad', maar ook AutoDesk gebruikte dergelijke sensors om een golfbaan te construeren en in het `Hicycle'-project.
    In de eerste generatie VR-systemen was men erg gericht op het gebruik van de handschoen als interface, maar ondertussen zijn er hele reeksen 3D-joysticks, spaceballs en andere `controls' bijgekomen. De handschoen is relatief kwetsbaar, ingewikkeld en er zijn ook hygi‰nische bezwaren. Een van de diepere problemen die door het gebruik van de handschoen wel naar voren zijn gekomen is, hoe we commando's kunnen geven aan het systeem. Voor een deel is dat een kwestie van software, maar we gaan er hier al op in om te illustreren dat je er niet bent met alleen maar leuke spullen, je moet ook goed begrijpen hoe je in de virtuele omgeving moet opereren.

    Aanwijzen, menu's, commando's

    Hoe geef je in een virtuele omgeving aan waar je naar toe wilt, wat je wilt doen en waarmee? De eerste pogingen op dit gebied waren terug te voeren op een soort gebarentaal, zoals het uitsteken van de wijsvinger, en dergelijke. Dat was erg leuk en creatief en men heeft heel wat aardige vondsten gedaan. Het gebruik van de hand als metafoor is op zich heel toepasselijk, de menselijke hand is bij uitstek de link tussen wat er zich van binnen afspeelt en de wereld buiten, tussen geest en materie.
    Maar ondertussen is dit hele onderwerp wat serieuzer bestudeerd en weet men ook meer over gebaren en hoe we die interpreteren. Het blijkt dat `gestures', behalve een paar hele duidelijke, toch non-intu‹tief zijn. Het is niet voor iedere gebruiker logisch dat een bepaalde vinger uitsteken of krommen dit of dat betekent. Nu kun je dat wel gaan trainen en tot een soort nieuwe gebarentaal komen, maar eigenlijk wil men dat niet, het moet `intu‹tief' werken.
    Door het toevoegen van nieuwe concepten en metaforen, zoals bij beweging de hand vervangen door een vliegtuigbeeldje of een pijlpunt kun je al verder komen, maar men werkt ook veel met een soort driedimenionale menu's, waaruit je dan kunt kiezen.
    In de combinatie van handbewegingen, gesproken commando's en menu's kan men al heel werkbare interfaces construeren. Het is nog een creatieve warboel; men probeert van alles, zoals menubalken, knoppen en omgevingsvreemde objecten zoals in adventures of juist gewone zaken als deurknoppen, bellen, postbussen en telefoons in de VR-omgeving. Maar het is er nog lang niet; het zit er niet in dat er een soort standaard komt met iconen, die dan aansluiten bij Windows of zoiets. De user-interface is bij VR nog volop in ontwikkeling.

    Op een ander spoor

    Men begint hier en daar te beseffen dat de technieken uit de beginjaren van de VR, en dan met name de handschoen-interface, helemaal niet zo geschikt zijn. De VPL DataGlove was in de praktijk een onding, kwetsbaar en moeilijk te calibreren. Men stapt steeds meer over op zgn. spaceballs en andere joystick-achtige bedieningsinstrumenten. Ook bij de helmen komen vragen op, zoals hoeveel stralingsbelasting van CRT's (buizen) men eigenlijk zo dicht bij het hoofd mag accepteren. De eerste generatie helmen werkte met LCD's, maar die zijn niet snel en niet scherp genoeg, dus werkt men nu voor de 1280x1024 helmen weer met CRT-projecties en een lenzenstelsel. Daarbij zitten de stralingsbronnen vlak naast de oren en gezien allerlei processen rond straling van mobiele telefoons en de Nintendo/epilepsi-problemen moet men dus oppassen. Zijn voorlopig schermen niet handiger, goedkoper en praktischer, vooral wanneer men meerdere gebruikers tegelijk een `wereld' wil laten zien?

    Gezondheidsproblemen

    Er zijn ook wel wat problemen met deze hele `onderdompelings- techniek', omdat er nog onzekerheid is over de gevolgen voor de gezondheid. Al een paar jaar beloven fabrikanten van consumenten- electronica en dan met name uit de hoek van de spelcomputers (Sega, Nintendo, Atari) dat nu toch snel een consumenten-VR systeem zal worden uitgebracht. Maar iedere keer blijkt dat men het weer heeft uitgesteld. Er zijn wel bedrijfjes die leuke helmen aanbieden, maar de voor massa-produktie en een acceptabele prijs benodigde aantallen kunnen alleen gehaald worden, wanneer een groot bedrijf erachter gaat staan. En die aarzelen met name, omdat de gezondheidsaspecten van immersion-VR en beeldhelmen onduidelijk blijven. Zeker in de Ameriakaanse situatie kan men zich niet permitteren, dat kinderen bijvoorbeeld epileptische aanvallen zouden kunnen krijgen bij gebruik van een helm. Zoiets wordt direct voor de rechter gebracht en zelfs een club als Nintendo zou snel onderuit gaan aan de schadeclaims. En VR brengt zekere gevaren met zich mee, niet alleen vanwege de flikkerende lichtjes, maar in een breder kader vanwege de simulator- ziekte verschijnselen. Ook is het de vraag of het gebruik van CRT (beeldbuizen) die recht in het oog stralen of naast het hoofd zijn gemonteerd, wel verantwoord is.
    -macro