I metodi esistenti di completamento dell'immagine del viso si basano su progetti di reti neurali per tenere conto implicitamente delle variazioni fotometriche e geometriche nell'aspetto dell'immagine. Tuttavia, i completamenti di immagini basati su oggetti da tali metodi spesso soffrono di scarso fotorealismo. Pertanto, un recente articolo propone un approccio di analisi per sintesi che tiene conto esplicitamente della struttura 3D dei volti, ovvero forma e albedo, e dei fattori di formazione dell'immagine, come posa e illuminazione. In primo luogo, l'immagine del volto mascherato viene districata nei suoi fattori geometrici e fotometrici costitutivi. Quindi, un autoencoder esegue il repainting sulla rappresentazione UV dell'albedo facciale. Infine, la faccia completata viene ri-sintetizzata da un renderer differenziabile. La valutazione sperimentale conferma che l'approccio suggerito produce completamenti del viso fotorealistici con grandi variazioni di posa, illuminazione, forma e aspetto. Le soluzioni esistenti per il completamento dei volti sono principalmente guidate da modelli end-to-end che generano direttamente completamenti 2D di volti mascherati 2D. Dovendo tener conto implicitamente delle variazioni geometriche e fotometriche nella forma e nell'aspetto del viso, tali approcci si traducono in completamenti non realistici, specialmente in presenza di grandi variazioni di posa, forma, illuminazione e dimensioni della maschera. Per alleviare queste limitazioni, introduciamo 3DFaceFill, un approccio di analisi per sintesi per il completamento del viso che considera esplicitamente il processo di formazione dell'immagine. Comprende tre componenti, (1) un codificatore che districa il viso nella sua mesh 3D costitutiva, posa 3D, fattori di illuminazione e albedo, (2) un codificatore automatico che ridipinge la rappresentazione UV dell'albedo facciale e (3) un renderer che risintetizza il volto completato. Operando sulla rappresentazione UV, 3DFaceFill offre il potere della corrispondenza e ci consente di applicare in modo naturale i precedenti geometrici (ad esempio la simmetria facciale) in modo più efficace. Dal punto di vista quantitativo, 3DFaceFill migliora lo stato dell'arte di un PSNR fino a 4dB superiore e di un LPIPS migliore del 25% per maschere di grandi dimensioni. E, qualitativamente, porta a completamenti del viso dimostrabilmente più fotorealistici su una gamma di maschere e occlusioni preservando la coerenza nella forma, nella posa, nell'illuminazione e nello sguardo globale e a livello di componenti. Documento di ricerca: Dey, R. e Boddeti, V., “3DFaceFill: An Analysis-By-Synthesis Approach to Face Completion”, 2021. Link: https://arxiv.org/abs/2110.10395

31 Views
(Visited 1 times, 1 visits today)

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *