论文基本信息

论文创新点

文章fig1的caption We present InFusion, an innovative approach that delivers efficient, photorealistic inpainting for 3D scenes with 3D Gaussians. As demonstrated in (a), InFusion enables the seamless removal of 3D objects, along with user-friendly texture editing and object insertion.（无缝移除） Illustrated in (b), InFusion learns depth completion with diffusion prior, significantly enhancing the depth inpainting quality for general objects.（深度补全） We show the visualizations of the unprojected points, which exhibit substantial improvements over baseline models

论文方法部分

可以看到，depth inpainting部分就是普通的LDM思路，原文表述如下：把深度图和原始影像都通过encoder得到latent vector，$z^{(I)}$与$z^{(d')}$，然后$z^{(d')}$做随机mask得到$z^{(d')}_m$，做加噪得到$z^{(d')}_t$，最后拼接在一起$z_t = cat(z_t^{(d')},z_m^{(d′)},z^{(I)},m')$作为U-Net输入。 上面的inpaint部分，则是通过depth inpainting与image inpainting，得到移除之后的深度与颜色，然后在3dgs上finetune一会后，再重复渐进优化。

论文实验部分

这里一般是在文章的experiments部分，你需要找到以下信息

1. 使用的数据集

   SceneFlow，over 100,000 frames, each accompanied by ground truth depth, and rendered from a variety of synthetic sequences. We initialize the LDM with pre-trained depth prediction weights sourced from the Marigold.For scene masking, we used masks from SAM-Track.

2. 对比实验的合理性

   实验设计还是比较完备的

3. 训练使用的GPU资源与时间资源，推理速度

   Utilizing eight A100 GPUs, the training process is completed within one day.

4. 消融实验的合理性，若无消融实验，分析为什么不需要做

   做了对depth inpainting和progressive infusion的消融实验

5. 实验中有没有用到一些特殊的技巧

   对深度图渲染的处理，这部分没有直接使用3dgs渲染公式直接得到的深度图，而是再通过diffusion-based depth completion model（也就是图中下半部分这个模型），去对深度图做refine，同时还结合了相机姿态做了对inpaint后3dgs的优化。

总结

相当technical的工作，行文详细，思路也很棒，通过一个image和depth对齐的inpaint diffusion model，不仅实现了object removal，而且对深度图的refine也起到很大作用。这里面对深度的处理值得参考。