NVIDIA odhalila, jak DLSS 5 „dokončuje“ obrázek, opírajíc se pouze o 2D snímek a vektory pohybu.

Jak funguje DLSS 5: vysvětlení zaměstnance Nvidia

V nedávném rozhovoru Jacob Freeman z Nvidia objasnil princip fungování nové technologie škálování obrazu – DLSS 5, která využívá umělou inteligenci.

Co se podává do systému
* 2‑D snímek – běžný vykreslený obraz.

* Vektory pohybu – informace o tom, jak se objekty pohybují mezi snímky.

Nebudou použita žádná trojrozměrná data: model nečte geometrii scény, hloubku, materiály ani normálové mapy. To znamená, že DLSS 5 spoléhá zcela na 2‑D informace a pohyb.

Jak „pochopí“ scénu
* Semantika – AI rozpoznává objekty jako vlasy, látka, kůže a podmínky osvětlení.

* K tomu stačí jen jeden snímek; model nezohledňuje kovovost, šroubovitost nebo jiné vlastnosti materiálů.

Proto se někdy výsledky mohou jevit „nepředvídatelně“:
- u postavy se objeví vlasy tam, kde žádné nejsou;
- mění se rysy obličeje.

Nebyla provedena žádná změna v základní geometrii – jde jen o vizuální interpretaci AI.

Omezení a možnosti pro vývojáře
* Vývojáři mohou regulovat intenzitu efektu, barevnou korekci, kontrast, sytost, gamu.

* Můžete použít masky, aby se určité objekty vyřadily z úpravy.

* Nicméně nemohou přímo změnit korekci rysů obličeje nebo odstranit efekt „make-up“ – jediný způsob je snížit intenzitu, přidat masku nebo algoritmus úplně vypnout.

Výsledkem je, že obličej generuje AI, ale jeho vzhled lze upravovat pouze nepřímo.