三维计算机视觉的前沿技术

[humyna]

周六(2024.7.7)去清华大学听了一场智能三维视觉实验室的分享，分享主要介绍了目前三维计算机视觉的前沿技术。
以下整理笔记。

一、三维视觉表示

1.计算机视觉是各类智能系统的「眼睛」

二维视觉：在相机平面进行分析、处理
三维视觉：从三维视角看世界
应用场景：生产制造、自动驾驶、机器智能、遥感测绘

2.三维视觉表示

1）显示三维视觉表示
体素Voxel、面片Mesh、点云Point Cloud、高斯等：看得见摸得着口
易于表达，可能受限于存储空间、分辨率

2）隐式三维视觉表示
采用隐函数表示三维空间场
有向距离场(SDF）、神经辐射场(NeRF)等

3.表示方法

1）点云场景目标检测
提出了场景自适应点云目标检测方法HyperDet3D，针对不同场景自主调整网络参数，有效提升目标检测鲁棒性

2）点云场景分割
a.设计了“海市蜃楼“点云图像渲染方法，构建曲线光线传播模型，有效增加复杂场景点云曝光率，利用图像预训练模型提升三维场景分割准确性
b.针对点云场景分割标注代价大的问题，提出了基于信息敏感物体级别标注的弱监督学习方法，标注点数降至0.028%

3)通用点云-体素场景分割
提出了一种通用点云-体素场景分割模型，能够同时使用室内外数据集进行模型训练并进行应用部署

4)NeRF场景重建与分割
提出基于单目视频的可泛化神经辐射场MonoNeRF，实现单目移动相机的动态场景隐式重建与分割

5)Gaussian Splatting场景重建
提出基于高斯的表面重建方法GauSurf，设计代理喷溅增强高斯对物体表面的监督，重建出场景表面信息

二、三维视觉内容生成

1.什么是三维视觉内容生成

输入：给定的图像或文本提示
输出：高质量、高保真度、多视角一致的特定三维对象表示
应用：大规模高质量30资产合成，3D编辑与仿真，生成-鉴伪等

2.生成方法

1)文生几何结构方法Ditfusion-SDF，实现基于文本的几何结构生成、补全、操控
2)文生物体方法Sherpa3D，通过联合二维大模型和三维小模型，保证物体的真实性、多样性、几何结构一致性
3)图文定制化生成物体Make-Your-3D，定制化生成满足图文条件的三维物体
4)图生3D方法Unique3D，在30秒内依据单一输入图片生成高保真度、具有高质量纹理的三维模型
5)3D物理生成框架Physics3D，基于视频扩散模型与物理建模生成具有物理动态的3D高斯