Virtuele mens maakt vlees en bloed straks overbodig

Hoe onecht acteurs en andere mensen soms op televisie lijken, ze blijven wel van vlees en bloed. Over een aantal jaren kunnen we daar weemoedig aan terugdenken, terwijl we kijken naar virtuele mensen, die in elk opzicht echt lijken.

Poppy is een vriendelijke, opgewekte jonge vrouw die over van alles en nog wat met je babbelt. Ze luistert begripvol naar je zorgen en beurt je op. Met Griet, het dienstmeisje van de schilder Johannes Vermeer, kun je een informatief gesprek hebben over Delft en de Gouden Eeuw. Welke vraag je ook stelt, zij reageert adequaat, ook als ze het antwoord niet weet. Maar hoe goed je ook met ze kunt praten, Poppy en Griet bestaan niet echt. Net als de virtuele dirigent, fitnesstrainer, sportverslaggever en nieuwslezer waaraan wordt gewerkt, zijn ze gemaakt met de computer. Een omvangrijk project van een groep Europese universiteiten, met als doel het scheppen van een virtuele mens die niet van echt te onderscheiden is. In Nederland wordt daaraan meegewerkt door de Human Media Interaction onderzoeksgroep van professor Anton Nijholt van de Universiteit Twente. ‘In speelfilms zoals Avatar kan de regisseur alles naar zijn hand zetten', zegt Nijholt. ‘Wij proberen autonome figuren te creëren. Met een eigen persoonlijkheid, eigen intelligentie, eigen emoties, eigen gedrag. Ze moeten real time kunnen reageren op wat er in hun omgeving gebeurt, wat dat ook is, ongescript.'

Lerend

Om een virtuele mens te maken, moeten de onderzoekers echte mensen in echte interacties nauwkeurig observeren. Daarvoor worden laboratoriumsituaties opgezet, bijvoorbeeld discussies tussen twee mensen, die gedetailleerd worden vastgelegd met camera's en microfoons. ‘Van het knipperen van de ogen tot de intonatie waarmee wordt gesproken', vertelt Nijholt.. ‘Vervolgens bekijkt iemand van ons de opnamen en annoteert alles volgens een bepaald voorschrift. Zo kunnen we patronen ontdekken en een model opstellen dat beschrijft wat er tijdens zo'n interactie gebeurt. Maar je kunt niet alles formeel modelleren, hoeveel situaties je ook bestudeert. Daarom gebruiken we ook een lerende algoritme: hoe meer je met het systeem, de virtuele mens, communiceert, hoe beter het kan reageren.'

Dat klinkt behoorlijk geavanceerd, maar Nijholt is de eerste om het te relativeren. ‘Eigenlijk kunnen we nog niet zo veel hoor. Als je goed kijkt naar één van onze beste prestaties tot nu toe, een virtuele vrouw die een gesprek met je voert, dan zie je dat ze zich veel te veel herhaalt en dat ze bijvoorbeeld de toonhoogte van de feedback die ze geeft niet varieert. Dat komt doordat ze nog niet volledig begrijpt wat je tegen haar zegt en non-verbaal uitdrukt. Het is dus nog vrij primitief. Het duurt nog wel even voordat we echte mensen volledig begrijpen, als we dat al ooit kunnen.'

Ook houding en beweging van de geanimeerde menselijke figuren waarmee Nijholt werkt, komen nog niet erg levensecht over. Een kwestie van geld. ‘Wij kopen die poppetjes, maar moeten ze zelf ‘aankleden' qua bewegingen en uiterlijk. Wij hebben niet het geld om dat heel mooi te doen, dat zouden jullie bij de omroep veel beter kunnen.' De avatars laten bewegen is overigens een probleem op zichzelf. Een animatietechniek zoals motion capture, waarbij de bewegingen van menselijke acteurs met behulp van sensoren worden geregistreerd en overgebracht op een animatiefiguur, is niet bruikbaar. ‘Je virtuele mens zou dan alleen die bewegingen kunnen maken, maar niet zelf autonoom bewegen en reageren op nieuwe situaties.'

Nieuwslezer

Maar ook al is de virtuele mens nog ‘primitief' zoals Nijholt zegt, sommige toepassingen zijn wel degelijk indrukwekkend. Kijk bijvoorbeeld naar de virtuele dirigent, die vanaf een beeldscherm echte musici live dirigeert. Nijholt: ‘Wat zij spelen, krijgt hij binnen via de microfoon. Hij vergelijkt dat met de muziekfile die hij heeft, en als de musici bijvoorbeeld te snel of te langzaam spelen, reageert de dirigent meteen.' Nauwelijks nog van echt te onderscheiden. Dat geldt ook voor de virtuele gids, die je de weg wijst in een gebouw. Of het virtuele dienstmeisje van Vermeer, Griet, ontworpen voor het Nationaal Historisch Museum, dat op internet al van start is gegaan terwijl de eerste steen voor het uiteindelijke gebouw nog moet worden gelegd. Of de verslaggever bij een paardenrace. ‘Net als Hans Eijsvogel vroeger', grapt Nijholt. En de digitale storyteller, die een verhaal vertelt of zou kunnen optreden als nieuwslezer die zonder mankeren bulletins presenteert. Zelfs berichten die hij niet van tevoren heeft gezien kan de storyteller voorlezen, al blijkt dan nu nog wel uit z'n monotone intonatie dat hij in feite niet begrijpt wat er staat.

Interactief

Rob Trip en Sacha de Boer zullen zo gauw niet worden vervangen door een virtuele collega. Maar wat kun je als omroep wel met virtuele mensen? ‘Als je naar de huidige televisie kijkt, is dat toch iets wat je als kijker passief ondergaat', vindt Nijholt. ‘Maar als je naar interactieve televisie gaat, krijg je meer mogelijkheden. Je zou bijvoorbeeld de acteurs in een dramaproductie kunnen vervangen door virtuele mensen, die op jou als kijker reageren. Of je zou zelf via je eigen avatar kunnen meespelen, of  jezelf in het publiek plaatsen bij een quiz.'

Het onderzoek van Nijholt levert ook heel andere, praktische toepassingen op, zoals het beter doorzoekbaar maken van audiovisueel materiaal. Dat gebeurt onder meer met behulp van spraakherkenning. ‘Je tikt een paar keywords in, en op grond daarvan kom je bij een bepaald fragment van een radio- of televisie-uitzending, het Acht Uur Journaal of een interview of wat dan ook. Carice van Houten heeft het dagboek van Anne Frank voorgelezen. Dat kun je op deze manier ook doorzoeken, en dan krijg je naast het juiste fragment te horen ook het bijbehorende deel van het dagboek te zien. Beeld en Geluid is hier natuurlijk erg mee bezig, vanwege de ontsluiting van het archiefmateriaal.'

Omgeving

‘Deze technieken zijn ook bruikbaar als je je eigen tv-avond wilt samentellen', merkt Nijholt op. ‘Non-lineair, uitgesteld kijken, neemt toe. Je kunt het materiaal bewerken nog voordat je het hebt bekeken, zodat je er intelligenter mee om kunt gaan.' Je hoeft dan bijvoorbeeld niet meer het hele Journaal te bekijken, maar kunt er de nieuwtjes uitpikken die jou specifiek interesseren. ‘Je kunt er dan ook een virtuele presentator tussenzetten', gaat Nijholt door. ‘Die jouw avond aankondigt en er eventueel extra dingen aan toevoegt. Hij laat je bijvoorbeeld weten dat er ander, gerelateerd materiaal is op bijvoorbeeld Youtube. Op een soort Amazon-achtige manier: mensen die dit zagen, keken ook naar dat. Je kunt er nog veel meer aan koppelen, zoals het beïnvloeden van je omgeving. Zodat je bijvoorbeeld bij beelden van een aardbeving de bank waarop je zit voelt trillen. Wij zijn bezig met allerlei toepassingen, gericht op het ondersteunen van mensen. Stel je voor dat je bijvoorbeeld thuis met iemand zit te praten, en op de juiste momenten verschijnen er relevante beelden op de muur, of een bejaarde valt en sensoren in de omgeving nemen dat waar en waarschuwen automatisch een hulpdienst. Of je dat altijd wilt, zo'n omgeving die waarneemt wat je doet en daarop reageert, weet ik niet. Soms wil je misschien wel de boel bedriegen. Maar het komt er zeker aan.'

Bas Nieuwenhuijsen

Illustratie: TU Twente, virtuele dirigent