La tecnologia attuale consente agli utenti di creare immagini fotorealistiche da semplici schizzi. Un recente studio su arXiv.org propone di estendere il rendering neurale a mondi a blocchi 3D etichettati semanticamente. Il metodo suggerito converte la traiettoria di una telecamera in Minecraft in una sequenza di immagini coerenti con la visualizzazione. Credito immagine: Zekun Hao et al, arXiv: 2104.07659 Poiché non sono disponibili dati di immagini reali 3D e ground truth accoppiati, il modello è addestrato su immagini fotorealistiche di verità pseudo-ground. Viene inoltre proposta una nuova architettura di rendering neurale che utilizza le perdite in contraddittorio. La perdita di ricostruzione consente all'utente di controllare la semantica della scena e l'immagine di stile di output con un'immagine di stile. Il metodo rappresenta in modo efficiente scene ampie e complesse e supera le attuali linee di base. Può anche essere utilizzato in altre rappresentazioni del mondo a blocchi 3D oltre a Minecraft, come i voxel. Queste capacità possono essere utilizzate in un'ampia gamma di applicazioni, come la prototipazione rapida per artisti. Presentiamo GANcraft, un framework di rendering neurale non supervisionato per la generazione di immagini fotorealistiche di grandi mondi a blocchi 3D come quelli creati in Minecraft. Il nostro metodo prende come input un mondo di blocchi semantici, in cui a ogni blocco viene assegnata un'etichetta semantica come terra, erba o acqua. Rappresentiamo il mondo come una funzione volumetrica continua e addestriamo il nostro modello a rendere immagini fotorealistiche coerenti con la visualizzazione per una fotocamera controllata dall'utente. In assenza di immagini reali accoppiate della verità del terreno per il mondo a blocchi, concepiamo una tecnica di allenamento basata sulla verità pseudo-fondante e sull'addestramento antagonistico. Ciò è in contrasto con il precedente lavoro sul rendering neurale per la sintesi della vista, che richiede immagini della verità del terreno per stimare la geometria della scena e l'aspetto dipendente dalla vista. Oltre alla traiettoria della telecamera, GANcraft consente il controllo dell'utente sia sulla semantica della scena che sullo stile di output. I risultati sperimentali confrontati con linee di base forti mostrano l'efficacia di GANcraft in questo nuovo compito di sintesi fotorealistica del mondo a blocchi 3D. Il sito web del progetto è disponibile a questo URL https. Documento di ricerca: Hao, Z., Mallya, A., Belongie, S. e Liu, M.-Y., “GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds”, 2021. Link: https://arxiv.org /abs/2104.07659v1

51 Views
(Visited 4 times, 1 visits today)

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *