Omnimatte是迄今为止最有前景的视频抠图办法。它运用单应性建模布景，因此只适用于布景为平面或仅有旋转运动的视频。D2NeRF经过独立建模场景的动态和静态成分，运用两个辐射场来解决这个问题。它在杂乱的大范围运动场景中体现微弱，不需要任何遮挡输入，完全自监督。可是如何融合视频中的2D guidance尚不清楚。
image.png
项目地址:https://github.com/facebookresearch/OmnimatteRF
马里兰大学和Meta AI的最新研讨提出一种集两者优点于一体的办法，运用3D布景模型与2D前景层。2D前景层表明难以用3D建模的物体、动作和作用。3D布景建模可以处理杂乱几许形状和非旋转摄像机运动，扩展适用的视频种类。该办法称为OmnimatteRF。(永久免费空间)在两个视频数据集上的实验表明，它在各种视频上都有出色体现，无需针对每个视频调参。
OmnimatteRF可以别离前景中的主体部分和布景场景。它运用二维层保留主体的细节，一起运用三维布景模型对杂乱场景进行重建。比较仅运用二维图像层表明视频布景的办法，三维建模极大地提升了对实在国际视频的适应能力。
该办法首先运用传统视频遮罩技能别离出动态的前景层。(免费个人网站申请)然后，运用这些遮罩成果和单目深度估计，训练一个表征布景的神经辐射场模型TensoRF。最后，将动态前景层和静态三维布景模型联合，重建杂乱的实在场景。
研讨者在各类实在视频上进行了大量实验，成果证明比较仅运用二维层的办法，OmnimatteRF可以得到更优质的重建作用。该技能对视频制造专业人员具有重要应用价值，可用于拍照的影片中添加有趣的作用。一起，它也可助力构建沉溺式的虚拟环境。