AI en de toekomst van entertainment.

Gamewereld is boos op Nvidia: jongste update maakt van personages een soort instagrammodellen

Ligt het aan mij of ziet dat er allemaal gewoon veel ... beter uit? Ik begrijp het probleem niet zo goed.
dit is meer dan belichting he, dit past wel degelijk de omgeving aan. vbn:

a: het past het werk van de artiest aan, dus die zijn werk wordt niet echt geapprecieerd
b: devs hebben een bepaalde stijl voor ogen, dit past dit aan. kijk bijv. naar het gebouw op de achtergrond waar de kleur gewoon flets wordt.
c: het past aan naar wat het ziet: dus uw personage kan in de ene scene een litteken hebben en dan in de volgende kan die dat weg gewerkt hebben. grote kans dus op inconsistente aanpassingen
c: het maakt nog fouten: zo zijn er foto's waarop schaduw aan de neus ineens aangepast is naar een extra brede neusvleugel.


hier hebt ge dat vb van RE met een slider. Het personage wordt misschien beter weergegeven, maar kijk eens naar de achtergrond: de plassen zijn slechter, het licht van de lantaarnpaal is dof. Dus devs doen moeite voor belichting, stijl, personages, een bepaalde wereld en de AI doet daar gewoon zijn goesting mee. Voegt littekens toe als het wil, haalt schaduwen weg (zie zorah tech demo)

Dit is ook geen foto he, waar ge misschien ook AI voor kunt gebruiken voor belichting en scherpte, etc. Allez, als fotograaf begrijpt ge toch ook dat een 1 preset zelfs niet voor een heel album gebruikt kan worden. Nu gaat een AI gewoon een hele game aanpassen.
 
Veel gezichten zien er ook uit alsof er een shitty AI snapchat filter over ligt. Devs zijn dan maanden en maanden bezig met die characters vorm te geven
 
Het heeft toch vooral te maken met het feit dat de originele beelden eigenlijk vervangen worden door AI beelden die dus ergens 'anders' vandaan komen. Het gevolg is dan ook dat sommige beelden er niet echt meer uitzien zoals de makers het origineel bedoeld hadden. Kijk gewoon naar Grace, die nu precies make-up aan heeft. Ik denk echter ook dat het overdreven is, omdat het bij mijn weten nog altijd ook de devs zijn die die AI kunnen manipuleren en nog altijd controle hebben over hoe iets er ook echt gaat uitzien. Het wordt nu gewoon gedemod met games waar die AI achteraf op toegepast is.
Het is natuurlijk ook een filosofisch probleem. Als ik een goed verhaal heb en dat in een crappy tekst maakt, en dan AI die laat opsmukken waardoor het ineens niveau literatuur wordt, is het dan nog eigenlijk mijn tekst ?
 
Gamewereld is boos op Nvidia: jongste update maakt van personages een soort instagrammodellen

Ligt het aan mij of ziet dat er allemaal gewoon veel ... beter uit? Ik begrijp het probleem niet zo goed.
In de voorbeelden die gegeven worden in het fragment vind ik het er ook allemaal beter uit zien, behalve dan het laatste fragment uit Fifa (of hoe dat nu ook heet). Zonder dlss5 lijkt het personage effectief op Virgil van Dijck, met Dlss5 aan is het weliswaar iemand "echter", maar dan wel iemand die helemaal niet op van Dijck lijkt.
De issues die hierboven aangehaald worden zijn ook echte problemen.
 
ksnap het ook niet. Ik heb wat renders gezien van oudere games en dat lijkt toch allemaal veel beter. Die DLSS wordt ook gebruikt voor van die ai-frames bazaar, dus ik denk gewoon dat het een opstand is tegen elke verbetering aan die tech zelf.
DLSS is een geweldige technologie met spatial upscaling, frame generation en path tracing. Het grote verschil is dat DLSS 5 eigenlijk de eerste keer is dat de artistieke insteek volledig gewijzigd wordt. Niet enkel een hogere resolutie of geïnterpoleerde frames maar het personage zelf dat er volledig anders uitziet. Vandaar vind ik het niet onlogisch dat game developers zo overweldigend negatief reageren.
 
DLSS is een geweldige technologie met spatial upscaling, frame generation en path tracing. Het grote verschil is dat DLSS 5 eigenlijk de eerste keer is dat de artistieke insteek volledig gewijzigd wordt. Niet enkel een hogere resolutie of geïnterpoleerde frames maar het personage zelf dat er volledig anders uitziet. Vandaar vind ik het niet onlogisch dat game developers zo overweldigend negatief reageren.
Wel ja. De artiest moet altijd het laatste woord hebben over zijn eigen creaties.
 
Het gaat ook gewoon resulteren in de AAA studio's die minder tijd en geld gaat steken in models en textures, want nvidia lost het wel op.
"Je moet het niet aanzetten" gaat dan voor de consument gewoon een slechtere ervaring geven. Alles gaat er oftewel slechter uitzien zonder dlss5, oftewel meer en meer als de gemiddelde generische youtube AI tumbnail. Gewoon weeral een oplossing voor een probleem dat er niet is.
 
Zonder dat het iets af doet aan de argumenten om er echt niet mee gediend te zijn: het houdt ook een stevig kostenplaatje in. Wat je daar te zien krijgt is gerendered door middel van 2 5090's. Kben eens gaan zien op alternate en de goedkoopste is 3599€. Ze zeggen wel dat ene ook gaat werken.
Technisch gezien misschien voor Nvidia een mijlpaal (en een triestige voor de devs en gamers), maar wie gaat er 3600€ (of dubbele voor full force) neertellen voor dit? Allez, 't is duidelijk momenteel gewoon een paradepaardje, en het geeft de richting aan dat ze gamers naartoe gaan pushen maar de gemiddelde gamer is er nog niks mee (niet dat ik het dus zou willen: het heeft meer nadelen dan voordelen)

Vraag me nu trouwens af of elke playthrough of zelfs reload dezelfde resultaten gaat geven. Wat ze laten zien is ook maar wat ze u willen laten zien en waarschijnlijk het beste van wat ze hadden. (en zoals gezegd mag je zeker niet op de achtergrond kijken van de beelden, want dat is dus dikwijls juist een downgrade qua scherpte, kleur en belichting. Ik heb die video gezien en ja, gezichten zien er meestal beter uit, maar voor de rest heb ik bij verschillende games die ze laten zien eigenlijk liever de off-setting.)
Blijft dus ook dat het dingen tovert die er niet zijn en nee, dat is dus geen goede evolutie: het is de zoveelste stab in de rug van creativiteit en vakkennis.
 
Sorry, maar hier kan je toch op geen enkel vlak enthousiast over worden? In alle demo's wordt de diepgang van het beeld vernield omdat het contrast omhoog geknald wordt alsof Jensen persoonlijk uw oogbollen wilt uitbranden. Elk personage krijgt dezelfde AI-prompt filter "Make this realistic" over zich gegoten, of het nu steek houdt voor dat moment niet. Want zoals in het geval van Grace in Resident Evil, wilt niet elke vrouw de perfecte makup ophebben wanneer ze met tegenzin op een plaats delict zijn? Specifiek dezelfde plaats waar hun moeder enkele jaren eerder vermoord is.

Dit ziet er helemaal niet goed uit. Het ziet er knal hetzelfde uit als elke AI slop video en foto die je de laatste 2 jaar op Instagram en Facebook tegenkomt. Want dat AI-model probeert gewoon perfectie na te streven, want daar is het op gebouwd. Er zijn ook plaatsen waar het zaken halucineert zoals bij het voorbeeld in Starfield waar het personage plots wat extra haar krijgt. Het ziet er ook gewoon niet goed uit, elk frame krijgt gewoon dezelfde plastic overperfectionistisch filter over zich heen gegoten.

Het is niet meer of niet minder dan een filter. nVidia zelf zegt dat DLSS 5 enkel een 2D frame + motion vectors gebruikt om het eindresultaat te bekomen. Oftewel, een screenshot van het beeld + de bewegingsinformatie voor de volgende frames. Het krijgt geen info van de game engine over welke textures gebruikt wordt, wat de belichtingsbron is, etc. Het is het equivalent van een screenshot maken en door een AI-filter te knallen, maar dan real time met alle artifacts die erbij horen. Want uiteindelijk zijn alle voorbeelden nu vrijwel volledig statisch of minimale beweging.

Hun bewering dat dit tegen eind dit jaar op 1 GPU kan draaien mag je ook met een strooiwagen vol zout nemen. Ja, het zal technisch gezien werken. Net zoals de RTX 2070 technisch gezien ook ray tracing ondersteunde zolang je niet hoger dan 20 fps op 720p wou. Afgaande op RTX zou je dit dus ten vroegste tegen de 70 of 80 series deftig zien draaien. Als je tegen dan überhaupt nog een GPU vast kan krijgen.

Blijkbaar was gaming op hardware niveau kapot maken niet voldoende. Nu moet het artistieke liefst ook 2,5 meter onder de grond gestoken worden zodat alles 1 homogeen slopfestijn wordt.
 
Laatst bewerkt:
Dit zijn natuurlijk weer maar de eerste technische prototypes. In de toekomst zal je als je dat wenst eender wat van stijl, inhoud, belichting, personages, volledig naar je hand kunnen zetten in eender welk medium. Ik ken zo tonnen boeken die fantastische films zouden opleveren die Hollywood nog lang niet durft aanraken. Nee wetende dat dit het slechtste is dat het ooit zal zijn zie ik er echt wel een enorm potentieel in. Niet alleen voor een ontploffing in creativiteit en een stortvloed aan indies maar ook omdat neural rendering het toelaat om op zo'n hoge visuele fidelieit op het scherm te toveren op zo'n zwakke hardware.
 
Dit zijn natuurlijk weer maar de eerste technische prototypes. In de toekomst zal je als je dat wenst eender wat van stijl, inhoud, belichting, personages, volledig naar je hand kunnen zetten in eender welk medium. Ik ken zo tonnen boeken die fantastische films zouden opleveren die Hollywood nog lang niet durft aanraken. Nee wetende dat dit het slechtste is dat het ooit zal zijn zie ik er echt wel een enorm potentieel in. Niet alleen voor een ontploffing in creativiteit en een stortvloed aan indies maar ook omdat neural rendering het toelaat om op zo'n hoge visuele fidelieit op het scherm te toveren op zo'n zwakke hardware.
Dit is een technologie die ze in de herfst gaan releasen. Dus dit gaat zeer kort tegen het uiteindelijk eindproduct aanleunen hoor. Tussen nu en 6 maanden gaat er aan dergelijke complexe technologie niets fundamenteel meer veranderen. En zelfs als je het als prototype zou aanschouwen doet dat nog niets af aan de kritiek. Als je als bedrijf naar buitenkomt met iets heb je zelf de keuze gemaakt dat dit voor u goed is, en dan is eender welke kritiek valide.

Uw ander argument ben je hier ondertussen ook al 2 jaar aan het neerschrijven zonder dit echt te onderbouwen. Tot nu toe spreekt de realiteit u compleet tegen. Hardware om dergelijke modellen thuis te draaien bestaat nog niet en de beschikbare hardware wordt hoe langer hoe meer onbetaalbaar en ontoegankelijker. De prijs voor die modellen gaat ook enkel maar omhooggaan want zelfs met de bestaande premium abonnementen bloeden die bedrijven geld langs alle kanten en blijven ze enkel en alleen recht door de miljarden aan VC investeringen en door incestueus in elkaar te blijven investeren met onzichtbaar geld.

En dan hebben we het nog niet eens over de massale auteursrechtenschending die daarmee gepaard zou gaan. Of denk jij echt dat jij als consument het recht zou krijgen om eender welk boek door een AI model te knallen en daar zogezegd een film van te maken?

En hoe jij, iemand die zichzelf als filmliefhebber aanschouwt, dergelijke zaken okay vindt snap ik al helemaal niet. Waar blijft de impact van een Schindler's List als je heel de film plots in kleur zou zetten, de donkere schaduwen weghaalt, of de acteerprestatie van een Liam Neeson weghaalt? Wat jij aanhaalt zijn geen verbeteringen maar fundamentele veranderingen waardoor die zaken hun eigenheid en identiteit verliezen.

En hoge visuele fideliteit op zwakke hardware? Je hebt 2 van de krachtigste GPU's van het moment nodig om een visuele filter toe te passen op een vrijwel stilstaand beeld. Gebruik makend van een model dat geen enkele rekening houdt met het effectieve 3D model, de textures, belichtingsinformatie of wat dan ook. Het is niet meer dan een AI-model dat aan de hand van een screenshot gokt/bepaald hoe iets eruit zou moeten zien en dan het contrast en saturatie de hoogte in knalt als iemand die voor de eerste keer een foto bewerkt in Photoshop en waar de Devs vrijwel geen enkele invloed hebben buiten hoe hard de filter wordt toegepast.
 
Je mag hier gerust kritiek op uiten, ik zal er zelf wel eens mee spelen maar ga het prolly ook aan me voorbij laten gaan want in deze prille vorm is het idd gewoon nog te janky voor meerwaarde te kunnen bieden.

Voor echt fotorealisme heb je serverfarms nodig dus deze workaround op 2 GPUs blijft indrukwekkend zelfs al valt er inderdaad nog bijzonder veel op aan te merken maar het staat dan ook in zn kinderschoenen. Vergeet niet dat je zelfs vandaag al vrij krachtige modellen lokaal kan draaien en dat binnen 10 jaar zelfs je gsm krachtiger zal zijn dan die 2 gpus.
1*uoz3IJGwNpCFapaVLALrsQ.jpeg

We zitten ondertussen echt al wel vrij diep in dat schaakbord van exponentiele groei. Er komen elke verdubbeling nu miljarden transistoren bij en naar verwachting zullen we rond 2030 de eerste triljard transistor chips zien met natuurlijk niet lang daarna 2 triljard en so on. AI compute scaled zelfs nog sneller dus ook de AI giganten gaan hun kost per compute gigantisch zien kelderen en alsmaar meer met minder kunnen doen. Over 10 jaar zullen we ongetwijfeld lachen met de prijs/token vandaag als dat tegen dan zelfs nog de gangbare currency zou zijn. Als je ziet hoe snel het vandaag gaat en wat Google bijvoorbeeld in 3D klaar speelt met Genie 3. Ongetwijfeld is Nvidia ook reeds volop bezig met zulke world models die de huidige 2d frame interpretatie zullen vervangen in een volgende versie.

ASML hun high-na EUV is in productie die de yields serieus gaat verhogen wat kosten enorm gaat drukken en het aanbod gaat vergroten maar los daarvan gaat er sowieso productiecapaciteit bijkomen van zowat alle grote spelers dus op termijn zou dat allemaal hopelijk toch wat moeten beteren. 🤞

En dan betreffende film; Schindler's List gaat blijven bestaan, ook nieuwe films zullen gemaakt worden, meer dan ooit. Dat iedereen vrij zal zijn om alles naar eigen wens on the fly aan te passen en zo bestaande of nieuwe werken voor zichzelf zal remixen is denk ik op zich geen probleem en zal ook wel tot indrukwekkende fusies leiden die dan op hun beurt misschien weer een eigen leven gaan leiden. Wat het grotere effect zal zijn op onze gedeelde cultuur die ongetwijfeld meer onder druk zal komen te staan is een goeie vraag. Ik zie zowel positieve als negatieve aspecten.
 
Laatst bewerkt:
Je mag hier gerust kritiek op uiten, ik zal er zelf wel eens mee spelen maar ga het prolly ook aan me voorbij laten gaan want in deze prille vorm is het idd gewoon nog te janky voor meerwaarde te kunnen bieden.

Voor echt fotorealisme heb je serverfarms nodig dus deze workaround op 2 GPUs blijft indrukwekkend zelfs al valt er inderdaad nog bijzonder veel op aan te merken maar het staat dan ook in zn kinderschoenen. Vergeet niet dat je zelfs vandaag al vrij krachtige modellen lokaal kan draaien en dat binnen 10 jaar zelfs je gsm krachtiger zal zijn dan die 2 gpus.
1*uoz3IJGwNpCFapaVLALrsQ.jpeg

We zitten ondertussen echt al wel vrij diep in dat schaakbord van exponentiele groei. Er komen elke verdubbeling nu miljarden transistoren bij en naar verwachting zullen we rond 2030 de eerste triljard transistor chips zien met natuurlijk niet lang daarna 2 triljard en so on. AI compute scaled zelfs nog sneller dus ook de AI giganten gaan hun kost per compute gigantisch zien kelderen en alsmaar meer met minder kunnen doen. Over 10 jaar zullen we ongetwijfeld lachen met de prijs/token vandaag als dat tegen dan zelfs nog de gangbare currency zou zijn. Als je ziet hoe snel het vandaag gaat en wat Google bijvoorbeeld in 3D klaar speelt met Genie 3. Ongetwijfeld is Nvidia ook reeds volop bezig met zulke world models die de huidige 2d frame interpretatie zullen vervangen in een volgende versie.

ASML hun high-na EUV is in productie die de yields serieus gaat verhogen wat kosten enorm gaat drukken en het aanbod gaat vergroten maar los daarvan gaat er sowieso productiecapaciteit bijkomen van zowat alle grote spelers dus op termijn zou dat allemaal hopelijk toch wat moeten beteren. 🤞

En dan betreffende film; Schindler's List gaat blijven bestaan, ook nieuwe films zullen gemaakt worden, meer dan ooit. Dat iedereen vrij zal zijn om alles naar eigen wens on the fly aan te passen en zo bestaande of nieuwe werken voor zichzelf zal remixen is denk ik op zich geen probleem en zal ook wel tot indrukwekkende fusies leiden die dan op hun beurt misschien weer een eigen leven gaan leiden. Wat het grotere effect zal zijn op onze gedeelde cultuur die ongetwijfeld meer onder druk zal komen te staan is een goeie vraag. Ik zie zowel positieve als negatieve aspecten.
Buitengewoon veel aannames wel.

Aantal transistoren gaat er nog op vooruit, maar dat zegt niets over eventuele performantiewinsten en de fysieke beperkingen waar men op dit moment constant tegenaan loopt.
Geen idee wat je bedoelt met 'vrij krachtig' en 'lokaal' . Lokaal als in thuis of een eigen datacenter en wat doen die lokale modellen dat ze zo indrukwekkend zijn ? Want ik zie de frontier modellen meer dan genoeg falen, en dat is dan zogezegd de creme-de-la-creme. Dus geen idee wat jij denkt dat fantastisch is aan die lokale modellen, behalve dat het eens leuk is om mee te spelen.

Dat AI compute nog sneller scaled ? Ja. Hele specifieke taken maar dat is niet gewoon puur door de hardware he. En dat de kost omlaag gaat: dat zal inderdaad wel zijn voor sommige modellen. Maar dat weet je niet met zekerheid, want als men verder wil, gaat men nog veel moeten bijbouwen en ik vrees dat dat de kosten per token ook wel serieus zullen opdrijven.
 
Moore's Law is al jaren niet meer relevant, er is een reden waarom vrijwel geen enkele chipmaker daar nog naar refereert. Verdubbeling van het aantal transistoren betekent geen verdubbeling van performance. Dat zie je vrij duidelijk als je de laatste paar generaties van Intel CPU's naast elkaar legt. Er is een reden waarom er naar een multi-core, 3d, multi-chiplet design wordt geevolueerd.

Die "Binnen 10 jaar is je smartphone krachtiger dan 2 RTX 5090" uitspraak is toch ook nergens echt op gebasseerd? Net zoals we ondertussen al 15 jaar op volledig zelfrijdende auto's aan het wachten zijn. Een smartphone nu lijkt me toch niet zoveel keer krachtiger dan een high end systeem van 10 jaar geleden. Al is die vergelijking vrijwel onmogelijk om te maken aangezien je over totaal verschillende architecturen bezig bent.

Die kosten van tokens wil ik binnen 10 jaar ook nog wel eens zien. Die is de laatste jaren inderdaad enorm gedaald, daar tegenover staat en steeds hoger wordende operationele kost. En uiteindelijk gaat iemand die miljaren moeten betalen.

Allez, ik zie in uw posts vooral een hoop wishful thinking en het soort uitspraken waar Sam Altman mee naar zijn VC's stapt om nog meer geld los te krijgen. Maar geen echt concrete bewijzen voor uw beweringen terwijl de huidige situatie vrijwel alles tegenspreekt.
 
Ik vind het best vreemd dat jullie lijken te denken dat hardware niet veel krachtiger zal worden. Dat die exponentiele groei na 60 jaar zomaar ineens zou stilvallen vind ik een veel straffere aanname en gaat ook in tegen wat de industrie zelf voorspelt. Waarom zou dat ook nu ineens allemaal stilvallen nu er zoveel ontwikkeling in bezig is? Van sneller switchende materialen en low energy use photonics tot neuromorphic hardware en quantum compute. Maar zelfs oude getrouwe silicon gaat ons met gemak tot triljard transistor chips voeren met nieuwe packaging technieken, 3d scaffolding, gate all around, ... Men roept al meer dan een decennia dat Moore's law op zn einde is maar daar blijkt toch nog niet direct veel van in huis te komen. En zelfs tegen dat we de gate niet meer kleiner krijgen zullen de verdubbelingen niet stoppen omdat we idd in 3d gaan werken, met meer dedicated chiplets.

En dat is dan inderdaad nog enkel hardware. Software improvements en nieuwe AI technieken maken alles ook veel sneller, goedkoper en ergiezuiniger en ook die trends zullen zich voortzetten dus ja dat ze met alsmaar minder meer gaan kunnen doen is nu toch ook echt geen straffe aanname, het tegenovergestelde zou straffer zijn.

Waar AI binnen 10 jaar zal staan kan momenteel niemand voorspellen maar dat die veel krachtiger zal zijn en kunnen helpen aan een veel lagere prijs en energie kost is gewoon een vastsaand gegeven.
 
zeker ook naar het filmke kijken.

enkele keypoints:
- de AI weet eigenlijk niet wat er gaande is in de game: het begrijpt niets van de 3D modellen en textures en hoe het licht daar op reageert. Het maakt eigenlijk een 2D screenshot en past een AI image generator toe met het commando 'enhance'.
- alhoewel het niet de bedoeling is voegt het elementen zoals haar, make-up, etc. aan gezichten toe, dus het houdt niet enkel rekening met het model in de game, maar gebruikt wat het kent van zijn trainingsmateriaal en voegt soms elementen toe.
- ze geven aan dat het de eigenschappen van PBR materials (zoals roughness, normal maps) versterkt. Ze geven nu toe dat het eigenlijk niets inleest van die eigenschappen, maar gewoon kijkt naar de output (het gerenderde beeld). Dus neen, ondanks dat ze het zo verwoorden, leest het niets in van de eigenschappen.
- buiten color-grading en de AI - intensiteit aanpassen (slidertje tussen 0 en 100%) heb je geen controle. Het kan momenteel niet verder gefinetuned worden. Bijv. bij Grace van RE voegt AI ineens make-up toe. Devs kunnen de AI niet vragen om dit aan te passen. Ze kunnen wel bijv. bepaalde delen van een beeld niet laten aanpassen (wat natuurlijk zinloos is bij je hoofdpersonage: je kan ze moeilijk in de ene scene wel enhanced hebben en dan voor andere stukken van de game weer niet)

dus ja, eigenlijk hetgeen waar mensen voor vreesden.

Het blijft natuurlijk een preview built, maar al bij al blijft het een veredelde foto-enhancer. Het snapt niets van wat er in de engine gebeurt, het 'manipuleert' enkel het gerenderde beeld. En daar heb je 2 5090's voor nodig.
Met hoe dat de wereld er momenteel voor staat, denk ik dat het nog even gaat duren eer dit tot de gemiddelde gamer doorsijpelt (en zoals het nu is, hoop ik dat het gewoon een stille dood sterft, want noch devs noch gamers hebben hier iets aan).

Edit: *noch
 
Laatst bewerkt:
Terug
Bovenaan