Spreekbuis.nl sprak met Hildebrand Bijleveld, onderzoeksleider bij de EO. Hij onthult, de ins en outs van de zogenaamde Wie-Wat-Waar-Machine, een innovatieve tool die de contentanalyse binnen de omroep radicaal verandert. Bijlveld presenteerde recent zijn tool tijdens een onderzoeksoverleg van de Publieke Omroepen.
Hildebrand Bijleveld: “In deze machine kunnen redacteuren zoeken naar personen, onderwerpen en locaties waarover ze een verhaal willen schrijven. Als ze een zoekterm invullen, krijgen ze alle EO.nl-artikelen uit het verleden te zien waarin de persoon, het onderwerp of de locatie voorkwam. Daarbij staat vermeld hoeveel lezers (bereik) de artikelen trokken. De redacteur kan zo bepalen hoe populair iets in het verleden was en welke invalshoeken aanslaan.”
Een use case van de Wie-Wat-Waar-Machine die Bijleveld gebruikte tijdens de presentatie bij de NPO ging over een EO-redacteur die een serie artikelen wilde schrijven over de adventstijd. Er waren zoveel opties om over te schrijven, dat de redacteur niet goed wist waar ze moest beginnen. De Wie-Wat-Waar-Machine toonde dat in het verleden drie typen artikelen over advent het goed hadden gedaan: artikelen die uitleg gaven over de inhoud en historische context van advent, artikelen met Bijbelteksten voor de adventstijd en artikelen met liederen die bij de adventstijd pasten. Ook onderwerpen als staatsbezoeken (programma Blauw Bloed), advent, kinderwens en kinderloos (artikel over dit onderwerp uit 2 februari 2023 binnen het EO-merk EVA had met 11.793 bezoekers het meeste bereik, red.) zijn doorzoekbaar, zo laat Hildebrand Bijleveld zien in het systeem.
Hildebrand Bijleveld deelt aan Spreekbuis.nl een (screenprint) voorbeeld van onderzoek in Wie-Wat-Waar-Machine op het onderwerp Advent.
Bijleveld vertelt verder: “Ik denk dat grote bedrijven ook een soort van productanalyses maken van wat werkt goed en wat niet. Dit project is geboren uit de behoefte om verder te kijken dan de traditionele, handmatige analyses van artikelprestaties. Waar redacteuren voorheen ‘gewoon een dataset van de afgelopen jaar van alle artikelen’ handmatig labelden, biedt de ‘Wie-Wat-Waar-Machine nu een geautomatiseerde oplossing.” Voor de komst van de Wie-Wat-Waar-Machine kregen de redacties binnen de EO maandoverzichten over bereikcijfers. Bijleveld: “Een jaar of zelfs een drie jaar overzicht, zoals de Wie-Wat-Waar-Machine biedt, hangt af van de geheugen van de afdeling. Dat bepaalt soms of een onderwerp al gedaan is, nu relevant is of niet.”
Wie-Wat-Waar-Machine is gebouwd Llama 3.1
Om de Wie-Wat-Waar-Machine te kunnen bouwen, zijn door Bijleveld en zijn EO-collega’s verschillende large language models getest in Azure AI. Met Llama 3.1 zijn uiteindelijk alle personen, onderwerpen en locaties uit 33.528 EO-artikelen (momenteel) beschikbaar in de Wie-Wat-Waar-Machine database. “Deze artikelen worden geanalyseerd op onderwerpen, personen en locaties, waardoor veel fijnere labels ontstaan en veel grotere datasets kunnen worden verwerkt. De focus ligt niet alleen op bereik, maar ook op leestijd, om een gedetailleerder beeld te krijgen van de impact van de content.”
Bijleveld duidt: “Het is niet alleen een kwestie van cijfers. De machine helpt ons echt te begrijpen welke onderwerpen resoneren bij ons publiek en waarom. Dit niveau van inzicht hadden we eerder gewoon niet.”
Zorgt de Wie-Wat-Waar-Machine ook voor meer journalistieke verdieping en om herhaling van berichtgeving te voorkomen?
“Ja,” zegt Bijleveld. “Zonder deze tool is de kans dat iedereen weer hetzelfde idee over mode heeft groot is, en resulteert in heel veel mode artikelen over de jurken van Maxima. De Wie-Wat-Waar-Machine biedt een helder overzicht van wat al geschreven is, waardoor redacteuren beter zien dit hebben we al een keer gedaan en dat hebben we nog niet gedaan. Zo kan men onderwerpen vanuit nieuwe invalshoeken benaderen.”
Een ander onderwerp die Hildebrand Bijleveld in ons gesprek aanhaalt, toont dit treffend aan: “Een redacteur die bezig was met een serie over advent vond dankzij de machine nieuwe inspiratie. De tool liet zien dat artikelen over de historische context, Bijbelteksten en liederen rond advent altijd goed scoorden. Maar tegelijkertijd zagen we dat er weinig gepubliceerd was over adventstradities wereldwijd. Dat opende nieuwe mogelijkheden.”
De Missie van de EO als Moreel Kompas in de Wie-Wat-Waar-Machine
Gaan artikelen met de hoogste bereikcijfers niet boventoon voeren? Deze staan bovenaan de Wie-Wat-Waar-Machine.
“Dat is inderdaad een risico, daar ben ik eerlijk over. Bij het bouwen was dit het eerste waaraan we dachten.” Ondanks misschien de nadruk op data, benadrukt Bijleveld dat de missie van de EO altijd centraal staat. De tool is ontworpen om ervoor te zorgen dat journalisten “eerst vanuit de missie bedenken waar ze over willen schrijven”, voordat ze kijken naar wat goed scoort. “Bereikcijfers bij de EO zijn nooit leidend,” stelt Bijleveld. “Dit zet de missie altijd voorop en daarna zeg maar het bereik,” voegt hij toe. De ‘Wie-Wat-Waar-Machine’ helpt bij het vinden van verdieping en alternatieve invalshoeken binnen de relevante thema’s. Bijleveld benadrukt verder: “Het gaat ons niet alleen om meer clicks, maar om meer impact. Wat draagt echt bij aan onze missie en hoe kunnen we dat versterken?”
Hoewel de Wie-Wat-Waar-Machine momenteel is gebaseerd op artikelen van de EO-website, wordt er gewerkt aan het uitbreiden naar EO radio- en televisieprogramma’s. Dit brengt uitdagingen met zich mee zoals beelderkenning. “Maar er wordt aan gewerkt,” zegt Bijleveld.
De tool heeft al interesse gewekt bij andere omroepen binnen de NPO, en er is potentieel voor bredere toepassing. Bijleveld is van plan de impact van de machine te analyseren.
De naam Wie-Wat-Waar-Machine blijft behouden, ondanks dat – de journalistieke vraag Waarom het niet gehaald heeft, omdat dit deel te moeilijk bleek te distilleren door de AI. “Maar wie weet, in de toekomst kunnen we misschien zelfs de waarom-vraag beantwoorden,” zegt Bijleveld met een glimlach.
Geef als eerste een reactie