靠网上晒的景点照就能还原3D建模，东南大学团队这是要带我们云旅游？

梦晨 发自 凹非寺量子位 | 公众号 QbitAI

以NeRF为代表的中所枢神经系统渲染电子技术高速发展，学界已经不依赖于人工合成几个新视角让录像动起来了。

几周要挑战的是根据录像实际上负载3D静态，可以实际上导入到电影、单人游戏和VR等贴图生产线里的那种。

所用录像不是出自于高品质数据库，就是实际上从网上搜集游客摄制的各大旅游胜地，设备、天气、距离角度等都但会不恰当。

转化成的结果远看在结构上原始，左右看技术细节珍贵，如果你有VR设备也可以在Demo中所实际上预览3D版。

这项最新取得成功由华东师范大学和康奈尔大学团队合作顺利进行，登上贴图学顶但会SIGGRAPH 2022。

而在这之前，而今电子技术转化成的3D静态连形状原始都继续做至少。

注意到这里，网友都来这个领域的各个方面比人们想象的要快。

“慢点学，等等我”。

那么，这项研究成果靠什么取得了取得成功？

具体来说，这项研究成果的基本框架借鉴了NeurIPS 2021上的NeuS，一种把隐式中所枢神经系统标准和体积渲染结合起来的方法有。

但是NeuS用到基于圆盘的均值（Sphere-based sampling）方法有，对于左右景、小物体来说还算适合。

用于在结构上复杂的大型建筑内的话但会有大量均值点采在空白区域，减低大量不必要的计算压力。

为解决这个问题，研究成果人员提出体素引领（Voxel-guided）和表面引领（Surface-guided）混合的新均值方法有。

体素引领可以不致不必要的多余，培训时所需激光（Traning ray）可以减少30%。

再次结合表面引领减低真实曲面周围的均值密度，帮助中所枢神经系统网络更好二阶，不致丢失技术细节。

在消融测试中所可以注意到，仅用到体素引领方法有趋近的比基于圆盘的方法有快，但不如混合方法有技术细节珍贵。

与之前而今研究成果对比，新方法有转化成静态的原始性和技术细节各个方面更出色。

培训速度上也有微小优势，特别是在大型场景波哥大版画宫（PBA）。

△Ours为全然趋近结果，只见小人图标的是培训过程中所一个检查点

当然，新方法有也不是全然没有缺点。

一个分家自NeRF的局限是，如果相机左边校准有偏差但会冲击最终结果。

还有一个迎刃而解的问题，就是录像拍至少的建筑内背面和内部就难以精确重建了。

最后再次补足一点，中所山大学团队中所一些成员，之前还研究成果了中所枢神经系统3D人体重建。

可用到为体育比赛提供自由视角的视频接受者。

也是666了。

学术著作地址：

GitHub仓库：

参阅链接：[1]

— 完 —

量子位 QbitAI · 新闻号签订合同