NVIDIA’s NeRF AI verandert 2D-foto’s direct in 3D-objecten

NVIDIA heeft de NeRF-techniek aanzienlijk verbeterd voor het vrijwel direct maken van 3D-objecten van 2D-foto’s.

Een nieuwe technologie genaamd Neural Radiance Field (NeRF) gebruikt algoritmen voor het leren van kunstmatige intelligentie om 3D-objecten te maken van 2D-foto’s. NeRF heeft de mogelijkheid om de hiaten als het ware op te vullen door te interpoleren wat 2D-foto’s niet kunnen vastleggen. Dit is een zeer interessante prestatie die zou kunnen leiden tot aanzienlijke vooruitgang op gebieden die uiteenlopen van videogames tot autonoom rijden. Nu heeft NVIDIA een nieuwe technologie ontwikkeld, NeRF, waarvan het bedrijf zegt dat het de snelste tot nu toe is, en het kost slechts een paar seconden om te leren hoe je een 3D-scène kunt maken.

NVIDIA verbetert de NeRF-techniek aanzienlijk

Het duurt maar een paar seconden om het Instant NeRF-model te bestuderen met behulp van tientallen stilstaande beelden en camerahoeken. Daarna kan het systeem een ​​3D-scène genereren in “enkele tientallen milliseconden”. Zoals bij elke andere NeRF-methode, moet u foto’s maken in verschillende posities. En voor foto’s met meerdere scènes is het beter om beelden te hebben zonder onnodige beweging, anders wordt het resultaat wazig.

maak vrijwel direct 3D-objecten van 2D-foto’s

NVIDIA legt uit dat de eerste NeRF-modellen vrij snel resultaten opleveren. Het kost ze maar een paar minuten om een ​​3D-scène te maken, zelfs als het object in sommige afbeeldingen verborgen is door een kolom of meubel. De training duurt enkele uren. In de NVIDIA-versie duurt deze stap maar een paar seconden, omdat deze een technologie gebruikt die is ontwikkeld door het bedrijf genaamd “Multi-Resolution Hash Grid Encoding”, die is geoptimaliseerd voor optimale prestaties op de GPU’s van dit merk. Het systeem kan zelfs op een enkele GPU draaien, hoewel de snelste resultaten worden behaald op boards met Tensor Cores, die prestatieverbeteringen bieden voor alle AI-taken.

Het bedrijf is van mening dat Instant NeRF kan worden gebruikt om robots te trainen en autonome aandrijfsystemen te helpen de afmetingen en vormen van objecten in de echte wereld te begrijpen. NVIDIA ziet ook kansen voor technologieën in entertainment en architectuur. Dit kan worden gebruikt om 3D-modellen van echte omgevingen te maken die makers tijdens het planningsproces kunnen wijzigen.