Er is een compleet nieuwe AI-tool van Microsoft in ontwikkeling: VASA-1. Deze tool belooft een toekomst waarin je slechts een enkele foto en een voorbeeld van je stem hoeft te uploaden. Om zo een live, geanimeerd pratend hoofd van je eigen gezicht te creëren!
VASA-1 gebruikt hiervoor een enkele portretfoto en een audiobestand. Deze AI-tool transformeert deze bestanden vervolgens in een hyperrealistische video met een pratend gezicht, compleet met lipsynchronisatie, realistische gelaatstrekken en hoofdbewegingen.
Deze AI-tool is momenteel nog in een onderzoeksfase en kan (helaas) door niemand buiten het Microsoft Research team worden geprobeerd. De demo video’s zien er echter bijzonder indrukwekkend uit!
Een soortgelijke lipsynchronisatie en hoofdbeweging technologie is nu al beschikbaar bij Runway en Nvidia, maar de VASA-1 AI-tool lijkt van een veel hogere kwaliteit en realisme te zijn.
Hoe werkt VASA-1?
Microsoft zegt dat VASA-1 een compleet nieuwe mogelijkheid biedt voor het creëren van levensechte pratende gezichten en specifiek voor het animeren van virtuele karakters. Alle mensen in de voorbeelden die Microsoft aanlevert zijn artificieel, ofwel met DALL-E gemaakt. Maar als het een realistisch AI-beeld kan animeren, dan kan het natuurlijk ook een echte foto animeren.
In de demo’s zijn er mensen te zien die praten alsof ze gefilmd worden, voorzien van licht schokkerige maar verder natuurlijk ogende bewegingen. De lipsynchronisatie is hierbij zeer indrukwekkend te noemen, met natuurlijke beweging en geen artefacten rond de boven- en onderkant van de mond zoals bij andere AI-tools.
Eén van de meest indrukwekkende dingen van VASA-1 lijkt het feit te zijn dat er geen portretstijl met het gezicht naar voren nodig is om het te laten werken. Er zijn immers videobeelden met opnames in verschillende richtingen. VASA-1 lijkt ook een hoge mate van controle te hebben, in staat om de blikrichting, de hoofdafstand en zelfs emotie als input te gebruiken om de beeldgeneratie aan te sturen.
VASA-1 kan AI-video’s van 512 x 512 pixels maken met 45 frames per seconde en kan dit in ongeveer 2 minuten genereren met behulp van een Nvidia RTX 4090 desktop-pc GPU.
Wat is het nut van VASA-1?
Eén van de meest voor de hand liggende toepassingen van VASA-1 is een geavanceerde lipsynchronisatie in videogames. Het kunnen creëren van AI-aangedreven NPC’s met natuurlijke lipbewegingen zou een game-changer kunnen zijn voor een uiterst realistische gaming ervaring.
Het kan daarnaast worden gebruikt om virtuele avatars voor video’s op social media te maken. Iets wat al te zien is bij bedrijven zoals HeyGen en Synthesia. Een andere interessant toepassingsgebied betreft het maken van films op basis van AI. Je zou bijvoorbeeld een realistischere muziekvideo kunnen maken als je een AI-zanger kunt gebruiken die eruitziet alsof hij of zij echt zingt!
Dat gezegd hebbende, zegt het Microsoft-team dat dit slechts een onderzoeksdemonstratie is, zonder enige plannen voor een publieke release of zelfs het beschikbaar stellen ervan aan developers om het in softwareproducten te gebruiken.
Microsoft VASA-1 AI-tool: cool of een deepfake nachtmerrie conclusie
Hoewel Microsoft zegt dat VASA-1 alleen voor intern onderzoek is, zou het zonde zijn als dit niet in het publieke domein terechtkomt, al was het maar voor ontwikkelaars. Als je weet dat Microsoft een groot belang in OpenAI (ChatGPT) heeft, dan zou dit in de toekomst misschien zelfs een onderdeel van een toekomstige Copilot Sora-integratie kunnen zijn.
Wat er ook gebeurd: het is zeker dat Microsoft met VASA-1 een krachtig AI-hulpmiddel heeft geïntroduceerd, dat wellicht wel de meest indrukwekkende (en angstaanjagende) AI-tool is die velen tot nu toe hebben gezien. Het is immers in staat om op basis van een enkele afbeelding deepfake video’s te maken
Dat kan ook de reden zijn dat Microsoft volhoudt dat de tool enkel een onderzoeksdemonstratie is en dat er geen product of API release plan is. Microsoft suggereert daarmee dat VASA-1 niet snel in de handen van eindgebruikers terecht zal komen. Het doet dit blijkbaar in een poging om de angst omtrent deze AI technologie weg te nemen…
