DeepFakes og kunstig intelligens i filmproduksjon

KUNNSKAP FRA KRISTIANIA: Deepfake og filmproduksjon 

Deepfakes er et begrep som stadig oftere dukker opp i medier.

Generelt handler dette om videoklipp som viser noe som ikke har skjedd og som er laget ved hjelp av kunstig intelligens (AI) og en teknologi som heter deep learning.

Slik dyplæring går ut på at datamaskiner blir  «trent opp» til å tilegne seg kunnskap om noe den ikke vet eller kan fra før.

Den første gangen begrepet deepfakes ble brukt, var i 2017 av en Reddit-bruker med brukernavn Deepfakes, som hadde laget videoer der en persons ansikt var satt på kroppen til en annen person.

Teknikken har blitt brukt for eksempel til filmer der Obama fremstilles som om han sier noe han egentlig ikke har sagt.

I denne videoen stopper Keanu Reeves et ran:   

Men det er «fake».

Kan påvirke valgresultater

Teknologien som brukes er deepfake-programmer hvor man mater et AI-system med store mengder av bilder av – i dette tilfellet – Keanu Reeves.

Systemet «lærer» hvordan han ser ut i forskjellige situasjoner og kan deretter automatisk generere ansiktet hans slik at det passer inn på et videoklipp av en annen person.  

Det finnes deepfake-videoer som er laget for å sverte mennesker eller påvirke valg.

I eksempelet med Keanu Reeves er dette gjort som en spøk. Men det finnes også deepfake-videoer som er laget for å sverte mennesker eller påvirke valg.

I slike sammenhenger vil videoen kunne gjøre stor skade, og det pågår mye forskning for å finne måter å avsløre deepfakes på, for eksempel forskningsprosjektet PhotoFake på Kristiania.

Visuelle effekter tar tid 

Visuelle effekter (VFX) i filmproduksjon handler om å endre filmbildet i etterarbeidet etter at scenene har blitt filmet. I hovedsak gjøres dette ved å legge til nye elementer.

Eksempler kan være romskip og dinosaurer, men også bygninger som ikke finnes. Eller man kan gjøre om utseendet på Oslo til slik byen så ut under 2. verdenskrig.  

Denne typen visuelle effekter innebærer mye manuelt arbeid.

En storfilm kan ha over 1000 VFX-ansatte som bruker måneder og år på å få filmen ferdig.

VFX-artister bruker datamaskiner til å lage detaljerte digitale modeller av for eksempel et troll som blir til et videoelement som kan settes inn i filmen.

Dette er arbeids- og tidkrevende prosesser. En storfilm med mye VFX kan ha godt over 1000 VFX-ansatte og bruke måneder og år på å få alt ferdig. Det er en dyr prosess. 

Kan gjøre deg yngre

En type VFX som av og til brukes, er å bytte ut ansiktet på en skuespiller med et annet ansikt.

I filmen The Irishman ble Robert de Niro, Al Pacino og Joe Pesci gjort om til yngre versjoner av seg selv i en del scener.

Filmen hadde et VFX-crew på litt over 300 mennesker, og flere titalls millioner dollar gikk med til jobben. 

Kan enkle apper gjøre jobben?

Men er ikke dette det samme som deepfakes? Eller appen FaceApp, som mange har på telefonen?

Kan man ikke bruke deepfake-teknologi til mer eller mindre automatisk å produsere slike scener på kino- eller tv-film i stedet for å bruke hundrevis av mennesker, lang tid og store pengebeløp?

Nei. Ikke ennå. 

I 2020 la YouTube-brukeren Shamook ut en video der han hadde brukt deepfake-teknologi til å forynge de samme skuespillerne fra filmen The Irishman. Klippene ble presentert side ved side.  

Kommentarene på YouTube-siden viser at mange mente at hans versjoner var bedre enn originalklippene som var produsert av VFX-firmaet Industrial Light and Magic (ILM).

Alle var riktignok ikke enige. Noen synes for eksempel at øynene på deepfake-versjonen har mistet noe av livet som er i originalen.

Men jevnt over var responsen at dette er minst like bra, og det er gjort av én person på mye kortere tid.  

VFX er dyrt, deepfake billig  

Hvorfor har ILM brukt så mye penger og ressurser når det tilsynelatende kan gjøres mye raskere og billigere? Har Hollywood sovet i timen? Kaster de bort tid og penger?

Filmindustrien og VFX-industrien er veldig konkurranseutsatt og er alltid ute etter å spare penger.

Hvis de hadde kunnet kjøre disse scenene gjennom et deepfake-program og fått det de ville, så hadde de gjort det.

Man mister den menneskelige faktoren.

Deepfake funker ikke til storfilm

Problemet er at det foreløpig er for store begrensninger. Kvaliteten er for dårlig. Det som ser greit ut på YouTube på en pc, ville ikke funket på Colosseum – på et stort lerret blir unøyaktighetene lett å se.

Alt vi ser på YouTube er komprimert. Det er defor lett å overse kvalitetsproblemene i deepfake. 

Hvis vi ser nærmere på deepfake-videoer, vil vi se at ansiktet stort sett ser rett på kamera. Profilbilder og for store hodebevegelser er fortsatt problematisk.

Lyset bør være relativt flatt uten vanskelige skygger, og det bør heller ikke forandre seg mye.

I tillegg blir deepfake-videoene laget av datamaskiner. Man mister den menneskelige faktoren. En regissør kan instruere skuespillerens ansiktsuttrykk i detalj – en datamaskin kan ikke gjøre det samme. 

Filmproduksjon i fremtiden 

Selv om AI ikke brukes til å lage ferdige filmbilder, er det i bruk som støttesystemer. I The Irishman kunne et AI-drevet system gå gjennom et stort bibliotek av bilder av en yngre Robert De Niro for å finne referanser av ham i tilsvarende situasjoner.

Deretter kunne VFX-artisten produsere det ferdige bildet.  

På den norske filmen Nordsjøen lagde Bergens-firmaet Rebel Unit alle undervanns-scenene. De var 100% digitale. I en scene under vann går en dør opp og vi ser en arbeider som har druknet og flyter i vannet.

Den digitale modellen ble produsert av et AI-system basert på et stillbilde. Men det ferdige bildet i filmen ble laget på tradisjonelt VFX-vis.  

Hva med fremtiden?

Vil vi noen gang se deler av filmbildet eller kanskje hele bildet laget av et deepfake-system? Mye tyder på det. Utviklingen stopper ikke.

Men enn så lenge må dyktige VFX-artister fortsatt bidra med sitt krevende håndverk. 

Denne saken ble publisert på forskning.no 16. november 2022 under tittelen "Fremtiden for filmproduksjon kan ligge i deepfakes og kunstig intelligens" .

Referanser: 

Verdoliva, L. (2020) Media Forensics and DeepFakes: An Overview 

Forskningsprosjektet Photofake 

Naruniec, J., Helminger, L., Schroers, C., Weber, R. M., (2020) «High-Resolution Neural Face Swapping for Visual Effects», Disney Research Studios. 

How The Irishman’s Groundbreaking VFX Took Anti-Aging To the Next Level, Youtube 

How We Faked Keanu Reeves Stopping a Robbery, Youtube

Vi vil gjerne høre fra deg!    
Send spørsmål og kommentarer til artikkelen på E-post til kunnskap@kristiania.no.