NeRF AI от NVIDIA мгновенно превращает 2D-фотографии в 3D-объекты

NVIDIA значительно улучшила технику NeRF для почти мгновенного создания 3D-объектов из 2D-фотографий.

Новая технология под названием Neural Radiance Field (NeRF) использует алгоритмы обучения искусственного интеллекта для создания 3D-объектов из 2D-фотографий. NeRF имеет возможность, так сказать, заполнить пробелы, интерполируя то, что не могут запечатлеть 2D-фотографии. Это очень интересное достижение, которое может привести к значительному прогрессу в таких разных областях, как видеоигры или автономное вождение. Теперь NVIDIA разработала новую технологию NeRF, которая, по словам компании, является самой быстрой на сегодняшний день: для обучения созданию 3D-сцены требуется всего несколько секунд .

NVIDIA значительно улучшает технику NeRF

Чтобы изучить модель Instant NeRF, используя десятки стоп-кадров и ракурсов, требуется всего несколько секунд. После этого система способна сгенерировать 3D-сцену за «несколько десятков миллисекунд». Как и при любом другом методе NeRF, вам нужно делать снимки в разных положениях. А для фотографий с несколькими сценами лучше иметь изображения без лишнего движения, иначе результат будет смазанным.

почти мгновенно создавать 3D-объекты из 2D-фотографий

NVIDIA объясняет, что первые модели NeRF дают результаты довольно быстро. Им требуется всего несколько минут, чтобы создать 3D-сцену, даже если объект скрыт на некоторых изображениях колонной или мебелью. Обучение занимает несколько часов. В версии NVIDIA этот шаг длится всего несколько секунд, поскольку в нем используется разработанная компанией технология Multi-Resolution Hash Grid Encoding, оптимизированная для оптимальной производительности графических процессоров этого бренда. Система может работать даже на одном графическом процессоре, хотя самые быстрые результаты достигаются на платах с тензорными ядрами, обеспечивающими повышение производительности для всех задач ИИ.

Компания считает, что Instant NeRF можно использовать для обучения роботов и помощи автономным системам вождения в понимании размеров и форм объектов в реальном мире. NVIDIA также видит возможности технологий в сфере развлечений и архитектуры. Это можно использовать для создания 3D-моделей реальных сред, которые создатели могут изменять в процессе планирования.