温特大会2024Banner


创新

NeRF技术如何创建下一代媒体

NeRF技术如何创建下一代媒体

奥斯汀Pahl
架构师沉浸式媒体经验

8军2023

视觉媒体的创建和消费方式 持续演化, 允许我们体验地方和事物 仿佛我们身处环境今日, 多亏快速增长技术称为神经辐射场, 拥有固定相机者可以制作并分享真实世界的三维相片。自2020年发布NERFs表示场景神经辐射场最近的发展比任何时候都容易开始沉浸三维媒体

电子商业网站3D家游或3D家俱,你可能想知道:NeRF独有之处何在?答案是NeRF引入史无前例的摄影实战细节, 包括目视反射和互换能力前所未有网友TylerMcCormick制作

NeRF快速直觉生成高质量3D内容大发体育直播CableLabs沉浸式媒体经验团队关注NeRF和其他形式沉浸式媒体的发展以理解这些技术如何改变我们生活、学习、工作与游戏方式时间上沉浸式应用可能成为网络交通的主要驱动程序, 所以我们正在努力理解提供下一代经验所需的资源

并影响沉浸式媒体的未来。

NERF in a Nutshell:它如何工作

NeRF系统基本是一个机器学习系统,收集主题照片或视频并记住3D显示该主题NERF生成过程看起来类似 :

  1. 记录一例视频或拍一集主题照片手机用得上
  2. 取每张图片并找出彼此相对位置传感器固定相机或更容易使用AI管道等阴极图.
  3. 训练多层感知器(神经网络)行为像制造器,专门制作此题图像
  4. 现在,你有一个NERF可使用神经网络创建新图像和视频对象,如上例

NERF2020年首次发布时,创建过程耗时数小时今日NVIDIA之类进步即时神经图形素养时间顺序分分钟或偶数秒

之前我们叫NeRF三维相片时 我们是认真的基本地说,NeRF试图描述三维空间中每一点发射光的颜色和密度从各种角度看真对象的同点时,你可能会看到不同的颜色和密度。eRF复制此效果实现反射和互换,仿佛你正在查看实3D对象

内弗进程产生高度细节,但有一个漏洞:内弗模型假设你工作与静止不变场景光基特效指无法向场景添加新对象并看到它们投影或反射如果主体随时间移动或改变输入视频,NeRF输出会显得模糊或误差新的研究论文找出了解决这些限制的方法, 但这些解决办法尚未推广使用同时 任何人都想带回manequin挑战?

开始启动

很容易开始玩NERF举个例子路马AI开发iPhones应用网络自动从视频中构建NERFseRF开发后,你可以制作视频并导出到其他内容编译工具中,包括非真实游戏引擎Luma拥有由用户提交的不同NeRF内容库.

如果要对NERF创建多实践化方法神经元研究免费开源工具集创建NERFs并用新技术设计高级3D图形管道学习曲线越高,但电源用户和开发者可能享受这种方法提供的更大灵活性。

NeRF和NextEnation媒体

改进3D捕捉实战主题为多产业提供机遇举几个例子

数字制作公司和VFX艺人正在寻找方法将NeRF输入创用工作流内容创建中最明显的用法是将实战主体转换为3D表示式,可与合成内容合并使用,但NeRF也可以用于平滑相机运动或编译多摄像头相片成统一序列自己看吧 查查走廊机组视频YouTube和麦当劳商业关于中文新年(包括复文中附加幕后内容)

数字双生机模拟像NVIDIAOmniverse等平台描述的那样,为实战系统如工厂和自主车精确数字建模提出了令人信服的价值建议适当时,NERF可有效实现实战环境数字化供模型和模拟使用。大发体育直播野生例子之一是Wayve技术为自动机汽车模拟建设市级NERFsNVIDIA GTC 2023.

最后,元化倡议往往旨在增强用户建设和分享自身内容和经验的能力。Minecraft和Roblox等游戏提供方便用户内容制作工具,但光实化内容制作通常保留给接受专业工具培训或访问专用摄影测量软件的专家使用。云托管应用像Luma和Nerfstude

eRF加速沉浸式媒体

沉浸式媒体以多种形式出现,包括但不限于虚拟现实、增强现实、混合现实和光场显示大发体育直播单靠NeRF并不会生成或破损这些技术,因为它们继续成熟并进入市场,但它为创建者和开发者提供另一个工具以接近光真全息体验一步步

过去,我们曾请求读者 想象我们有方法捕捉像生命全息图大发体育直播多亏NERF和相关技术, 没有必要装模作样大发三快彩票官网下载订阅博客从沉浸式媒体团队和CableLabs其他活动获取更多更新

分支今日

Baidu
map