3D Gaussian Splatting: nieuwe techniek kan tv- en videoproductie flink veranderen

Een relatief nieuwe AI-gedreven beeldtechniek lijkt hard op weg om de wereld van televisie, streaming en videoproductie te veranderen. De technologie heet 3D Gaussian Splatting en maakt het mogelijk om complete ruimtes en locaties uiterst realistisch digitaal vast te leggen op basis van gewone foto’s of videobeelden.

Waar traditionele 3D-modellen vaak veel handmatig werk vereisen, reconstrueert Gaussian Splatting een omgeving automatisch als miljoenen kleine lichtpunten. Daardoor blijven reflecties, diepte, belichting en texturen opvallend natuurgetrouw behouden. Vooral glas, water, lichtinval en complexe oppervlakken ogen realistischer dan bij klassieke CGI-technieken.

De techniek wordt momenteel vooral onderzocht binnen de AI-, gaming- en XR-sector, maar ook voor broadcasters en streamingdiensten ontstaan steeds meer toepassingen.

Virtuele studio’s en reportages

Voor televisiemakers kan de technologie interessant zijn bij virtuele studio’s, nieuwsreportages en documentaires. Een presentator zou bijvoorbeeld in een realtime gereconstrueerde omgeving kunnen staan zonder dat een volledige 3D-wereld handmatig hoeft te worden gebouwd.

Ook nieuwsorganisaties zouden locaties kunnen “bevriezen” in 3D. Denk aan reconstructies van rampgebieden, sportlocaties, festivals of historische plekken waarbij de camera zich later vrij door de opname kan bewegen. Daarnaast kan de techniek interessant zijn voor media-archieven. Organisaties als Nederlands Instituut voor Beeld & Geluid zouden studio’s, decors en media-erfgoed ruimtelijk kunnen digitaliseren voor toekomstige generaties.

Goedkoper dan traditionele CGI

Een belangrijk voordeel is dat Gaussian Splatting veel sneller en goedkoper kan zijn dan traditionele CGI-producties. De techniek werkt bovendien goed met drones, smartphones en reguliere videocamera’s. Vooral de combinatie met realtime rendering en krachtige GPU’s maakt de ontwikkeling interessant voor liveproducties en interactieve mediatoepassingen. Tegelijkertijd zijn er nog beperkingen. Bewegende mensen en objecten blijven lastig, de bestanden kunnen groot worden en live broadcast-workflows staan nog in de kinderschoenen.

Techbedrijven experimenteren volop

Onder meer NVIDIA Research, Meta Reality Labs en ontwikkelaars rond Unreal Engine experimenteren inmiddels met de technologie. Binnen de mediasector wordt vooral gekeken naar toepassingen rond interactieve storytelling, volumetrische video, AI-presentatoren en virtuele producties. De techniek laat zich het best omschrijven als een kruising tussen video, fotografie en game-engine rendering: een soort “vrij beweegbare video-opname” waarbij kijkers of makers later alsnog nieuwe camerastandpunten kunnen kiezen.