# 论文基本信息

| item | value |
| --- | --- |
| title | InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior |
| publication | arxiv temporary |
| group | 1 University of Science and Technology of China 2 The Hong Kong University of Science and Technology 3 Ant Group 4 Alibaba Group |
| link | https://arxiv.org/abs/2404.11613 |
| 1 sentence description |非常technical的工作，这里面对深度的处理值得参考|



# 论文创新点
文章fig1的caption
We present InFusion, an innovative approach that delivers efficient, photorealistic inpainting for 3D scenes with 3D Gaussians. As demonstrated in (a), InFusion enables the seamless removal of 3D objects, along with user-friendly texture editing and object insertion.（无缝移除） Illustrated in (b), InFusion learns depth completion with diffusion prior, significantly enhancing the depth inpainting quality for general objects.（深度补全） We show the visualizations of the unprojected points, which exhibit substantial improvements over baseline models
# 论文方法部分

![image.png](https://xuqi.space/static/img/34f93e94c3d255c6352b38b6a60ac39c.image.webp)
可以看到，depth inpainting部分就是普通的LDM思路，原文表述如下：把深度图和原始影像都通过encoder得到latent vector，$$z^{(I)}$$与$$z^{(d')}$$，然后$$z^{(d')}$$做随机mask得到$$z^{(d')}_m$$，做加噪得到$$z^{(d')}_t$$，最后拼接在一起$$z_t = cat(z_t^{(d')},z_m^{(d′)},z^{(I)},m')$$作为U-Net输入。
上面的inpaint部分，则是通过depth inpainting与image inpainting，得到移除之后的深度与颜色，然后在3dgs上finetune一会后，再重复渐进优化。
# 论文实验部分
这里一般是在文章的experiments部分，你需要找到以下信息
1. 使用的数据集 
    
    SceneFlow，over 100,000 frames, each accompanied by ground truth depth, and rendered from a variety of synthetic sequences. We initialize the LDM with pre-trained depth prediction weights sourced from the Marigold.For scene masking, we used masks from SAM-Track.
4. 对比实验的合理性
    
    实验设计还是比较完备的
6. 训练使用的GPU资源与时间资源，推理速度
    
    Utilizing eight A100 GPUs, the training process is completed within one day.
4. 消融实验的合理性，若无消融实验，分析为什么不需要做
    
    做了对depth inpainting和progressive infusion的消融实验
5. 实验中有没有用到一些特殊的技巧
    
    对深度图渲染的处理，这部分没有直接使用3dgs渲染公式直接得到的深度图，而是再通过diffusion-based depth completion model（也就是图中下半部分这个模型），去对深度图做refine，同时还结合了相机姿态做了对inpaint后3dgs的优化。
# 总结
相当technical的工作，行文详细，思路也很棒，通过一个image和depth对齐的inpaint diffusion model，不仅实现了object removal，而且对深度图的refine也起到很大作用。这里面对深度的处理值得参考。

paper notes——InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior

# 论文基本信息

| item | value |
| --- | --- |
| title | Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion |
| publication | CVPR 2024 |
| group | 1 ETH Z¨urich 2 The University of Tokyo 3 Zhejiang University 4 Microsoft 5 University of Amsterdam |
| link | https://arxiv.org/abs/2401.10786 |
| 1 sentence description | 写作很好，但是个人认为很难说是一个亮眼的工作 |



# 论文创新点
The contributions of this paper are three-fold:
1. We present a novel diffusion-based framework Sat2Scene for direct 3D scene generation, which is able to generate 3D urban scenes just from satellite images. （对做了什么的描述）
2. To ensure consistent image generation from any view, a novel diffusion model with sparse representations is proposed to generate scene features tightly associated with the geometry directly in 3D space. To the best of our knowledge, we are the first to combine diffusion models with 3D sparse representations. （第一个使用diffusion+sparse 3d representation）
3. Our model demonstrates the capability to produce photorealistic street-view image sequences with robust temporal consistency. Superior performance compared to state-of-the-art baselines validates this ability. The model exhibits proficiency when employed for cross-view urban scene generation from satellite images. （性能描述）
# 论文方法部分

![image.png](https://xuqi.space/static/img/a9720de89d8bf7a2a90045cba369618f.image.webp)

最上面的2D Background Generation比较好理解，使用了2D diffusion模型得到一张背景的全景图，文章中没有提及具体使用了什么diffusion模型。这里的satellite predictions文章中也没有提及具体方式，只是数据集中输入的数据就是“satellite-inferred geometries.”也就是没有颜色的点云。它的3D Sparse Diffusion Model只是给每个建筑外立面点和道路表面点生成了一个颜色（这方面具体公式细节论文也写的不是很清楚，我也没太看懂）。

值得一提的是，在后续的渲染pipeline中，没有直接用得到色彩的点云去做渲染，而是给点云做了个特征提取，将这个特征看做是nerf的编码。原文如下：Instead of fitting a radiance field during test-time optimization, the scene representation $$(P, F)$$ is obtained in a feed-forward way. 这个$$\mathcal{M}$$网络就很像nerf中的mlp，会得到渲染光线上采样点的颜色与体密度，最后对颜色与深度都做渲染并计算L1损失。

再次回顾一下这篇论文的方法部分，可以看出，这里的3D foreground generation以及feature extractor部分，个人理解其作用是一个二阶段的编码，相比于ingp的体素化的可学习特征编码，由于这篇文章的任务输入就已经有geometry了，所以直接通过3D diffusion给一个颜色初值，通过一阶段的损失构造得到一个合理的颜色初值（相当于已经有了一个coarse 3d representation了），然后再通过一个特征提取+渲染的方式做二阶段的nerf训练。
由此来看，其实感觉论文标题中的3d urban scene generation其实根本也没做generation（在下面的实验部分更能看出来），from satellite images其实也根本不是从卫星影像出发的，而是用的数据集里就已经有了城市的深度图、全景图、RGBD图像，至于with diffusion则更是有点蹭diffusion的感觉。

# 论文实验部分
1. 使用的数据集
HoliCity and OmniCity，其中HoliCity是6k+ real-world urban scenes in central London，每个场景有high-resolution panorama image, a depth (distance) map, and 8 posed RGB-D pinhole views.  其中OmniCity有satellite images associated with ground-view panoramas但没有street-level geometry。所以作者也没有在OmniCity数据集上做定量指标，而是在这上面跑了卫星图视角的demo去跟MVDiffusion比定性（这很离谱），只在HoliCity数据集上测试了指标，值得一提他的指标是FVD、KVD、FID、KID、PSNR、SSIM、LPIPS、User study，其中FVD、KVD是FID、KID的视频版本，User study是与其他三种方法比较的用户打分
2. 对比实验的合理性
个人觉得不太合理
3. 训练使用的GPU资源与时间资源，推理速度
不太关注
4. 消融实验的合理性，若无消融实验，分析为什么不需要做
  有消融实验，但说实话觉得他文章中的消融实验说明不了什么
5. 实验中有没有用到一些特殊的技巧
点云平均重采样，由于数据集中用来做geometry的点云分布不是很均匀，因此做了个重采样。
# 总结
学习一下他的文章行文思路，数据集的选用、baseline的选取、指标的选取、pipeline的设计，都很有技巧。

paper notes——Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion

# alpha-blending
下面是一段3dgs的原文

Specifically, the color $C$ is given by volumetric rendering along a ray:

$$
\begin{equation}C=\sum_{i=1}^NT_i(1-\exp(-\sigma_i\delta_i))\mathbf{c}_i\quad\mathrm{with}\quad T_i=\exp\left(-\sum_{j=1}^{i-1}\sigma_j\delta_j\right)
\end{equation}
$$

where samples of density $\sigma$, transmittance $T$, and color $c$ are taken along the ray with intervals $\delta_i$. This can be re-written as

$$
\begin{equation}C=\sum_{i=1}^NT_i\alpha_i\mathbf{c}_i,\end{equation}
$$

with

$$
\alpha_i=(1-\exp(-\sigma_i\delta_i))\mathrm{~and~}T_i=\prod_{j=1}^{i-1}(1-\alpha_i).
$$

这是标准nerf的渲染方程，注意$(2)$式的形式，这里$T$表示为透射率，$\alpha$是一个与采样间隔、体密度有关的值，$c$是点$i$处的颜色。




根据Volume Rendering Digest这篇文章中的推导
<iframe src="https://xuqi.space:7070/api/public/dl/zbjXSmcY?inline=true" width="100%" height="1000px">
  <p>Your browser does not support iframes.</p>
</iframe>

由于将$\sigma$视作表示射线击中粒子的微分可能性（即在行驶无穷小距离时击中粒子的概率)。解出微分方程的形式中就会带有$\exp{}$项，排除掉这些数学符号的干扰，其本质是一种alpha-blending或者叫 [alpha compositing](https://en.wikipedia.org/wiki/Alpha_compositing)


那么对于3dgs来说，其alpha-blending的形式，
$$
\begin{equation}C=\sum_{i\in N}c_i\alpha_i\prod_{j=1}^{i-1}(1-\alpha_j),\end{equation}
$$
也就很好理解了。

其中$c_i$是该splatting在渲染方向上的颜色，$\alpha_i$是一个学习到的透明度值。

# computeColorFromSH
其中$c_i$是与方向有关的颜色值，本质上是一组球谐函数的基，在3dgs的cuda源码中可以找到

```cpp
// Forward method for converting the input spherical harmonics
// coefficients of each Gaussian to a simple RGB color.
__device__ glm::vec3 computeColorFromSH(int idx, int deg, int max_coeffs, const glm::vec3* means, glm::vec3 campos, const float* shs, bool* clamped)
{
	// The implementation is loosely based on code for 
	// "Differentiable Point-Based Radiance Fields for 
	// Efficient View Synthesis" by Zhang et al. (2022)
	glm::vec3 pos = means[idx];
	glm::vec3 dir = pos - campos;
	dir = dir / glm::length(dir);

	glm::vec3* sh = ((glm::vec3*)shs) + idx * max_coeffs;
	glm::vec3 result = SH_C0 * sh[0];

	if (deg > 0)
	{
		float x = dir.x;
		float y = dir.y;
		float z = dir.z;
		result = result - SH_C1 * y * sh[1] + SH_C1 * z * sh[2] - SH_C1 * x * sh[3];

		if (deg > 1)
		{
			float xx = x * x, yy = y * y, zz = z * z;
			float xy = x * y, yz = y * z, xz = x * z;
			result = result +
				SH_C2[0] * xy * sh[4] +
				SH_C2[1] * yz * sh[5] +
				SH_C2[2] * (2.0f * zz - xx - yy) * sh[6] +
				SH_C2[3] * xz * sh[7] +
				SH_C2[4] * (xx - yy) * sh[8];

			if (deg > 2)
			{
				result = result +
					SH_C3[0] * y * (3.0f * xx - yy) * sh[9] +
					SH_C3[1] * xy * z * sh[10] +
					SH_C3[2] * y * (4.0f * zz - xx - yy) * sh[11] +
					SH_C3[3] * z * (2.0f * zz - 3.0f * xx - 3.0f * yy) * sh[12] +
					SH_C3[4] * x * (4.0f * zz - xx - yy) * sh[13] +
					SH_C3[5] * z * (xx - yy) * sh[14] +
					SH_C3[6] * x * (xx - 3.0f * yy) * sh[15];
			}
		}
	}
	result += 0.5f;

	// RGB colors are clamped to positive values. If values are
	// clamped, we need to keep track of this for the backward pass.
	clamped[3 * idx + 0] = (result.x < 0);
	clamped[3 * idx + 1] = (result.y < 0);
	clamped[3 * idx + 2] = (result.z < 0);
	return glm::max(result, 0.0f);
}
```
这段代码用gpt解释
```txt
这段代码是一个CUDA内核函数，用于将球谐系数（spherical harmonics coefficients）转换为简单的RGB颜色。这个函数是图形渲染中的一部分，特别是在计算光源对场景中物体颜色的影响时。球谐函数是拉普拉斯方程在球坐标系中的解，它们在描述光的散射和辐射传输中非常有用。

下面是对这段代码的逐行解释：

__device__ 关键字表明这个函数可以在GPU上作为CUDA内核运行。

glm::vec3 computeColorFromSH(...) 定义了一个函数，它接受球谐系数、球面谐波的阶数、最大系数数、高斯分布的均值、相机位置、球谐系数数组和是否被截断的标志数组作为输入，并返回一个glm::vec3类型的RGB颜色。

glm::vec3 pos = means[idx]; 获取当前高斯分布的均值位置。

glm::vec3 dir = pos - campos; 计算从相机位置到当前位置的方向向量。

dir = dir / glm::length(dir); 归一化方向向量。

glm::vec3* sh = ((glm::vec3*)shs) + idx * max_coeffs; 计算指向当前高斯分布球谐系数数组的指针。

glm::vec3 result = SH_C0 * sh[0]; 初始化结果颜色，使用阶数为0的球谐系数。

if (deg > 0) 开始一个条件块，用于计算阶数大于0的球谐系数对颜色的影响。

9-15. 在这个条件块内部，计算更高阶的球谐系数对颜色的贡献。SH_C1, SH_C2, SH_C3 应该是预定义的系数数组，用于计算不同阶数的球谐系数对最终颜色的影响。

result += 0.5f; 将一个小的偏移量加到结果颜色上，以避免颜色太暗。
17-19. clamped 数组用于跟踪RGB颜色分量是否被截断（即是否小于0）。如果某个分量小于0，相应的标志会被设置为true。

return glm::max(result, 0.0f); 确保所有颜色分量都是非负的，返回最终的RGB颜色。
这个函数的目的是将复杂的球谐分析转换为直观的RGB颜色，这在光线追踪和实时渲染算法中很常见。代码中提到的“Differentiable Point-Based Radiance Fields for Efficient View Synthesis”由Zhang等人在2022年提出，这是一种先进的视图合成技术，它允许在保持渲染效率的同时，对场景进行不同的光照和视角变化。
```
3dgs默认使用了3阶的球谐函数。

# semantic from gaussian?
于是我们会思考一个问题，我们可以使用3dgs渲染一个语义图么？

理论上也是可以的，只需要把$(3)$式中的$c$改成$s$，让$s$也是一组球谐函数的基，然后对应也要有另一组学习到的$\alpha$，这样就可以渲染出一张语义图了。但是该如何输入监督信息呢？

我们可以将输入的图像用语义分割网络进行处理，这样每一个view就也带有一张语义图真值了。

思考1：会不会造成语义空间上的不连续？由于仅仅使用2d的监督信息，可能会造成$s$只在有语义真值的渲染方向上表现较好，而在没见过的方向上，语义的表现较差，但是实际上语义随渲染方向的改变应该很小。（同一个物体的语义不随方向改变？）

思考2：如何引入3d信息对语义进行修正？在点云语义分割任务上，有很多可以参考的文章。

# other information from gaussian?

3dgs——rendering

# 摘要
本文简单介绍了如何在内网服务器上自建`overleaf`，使用`overleaf`官方开源的`overleaf toolkit`，并使用`frp`完成内网穿透到公网服务器上，实现公网访问。

# 背景
今天师弟开始写本科毕设论文，但是我给的模板太大了在`overleaf`传不上去，于是记起来利用`IEEE`会员白嫖`overleaf premium`的操作已经被`ban`了，那没办法只好自己建一个`overleaf`咯，以后自己写论文和写作业也方便一点。



# 安装overleaf toolkit
`overleaf toolkit`的官方仓库是https://github.com/overleaf/toolkit

按照指示`clone`下代码后，使用
```bash
sudo ./bin/init
```
生成配置文件，配置文件一共有两个，`overleaf/toolkit/config/overleaf.rc`与`overleaf/toolkit/config/variables.env`

在`overleaf/toolkit/config/overleaf.rc`中修改端口号
```bash
OVERLEAF_PORT=your_port
```
其余的不用修改

在`overleaf/toolkit/config/variables.env`中添加一行
```env
# language
OVERLEAF_SITE_LANGUAGE=zh-CN
```
将语言设置为简体中文
并修改`OVERLEAF_APP_NAME`、`OVERLEAF_NAV_TITLE`等字段

# 启动docker
`overleaf toolkit`在`bin`目录下内置了一系列管理容器的命令
执行
```bash
sudo ./bin/up
```
（其实是执行了docker-compose up）就会生成三个容器，分别是`sharelatex`、`mongo`、`redis`，直到`up`的log逐渐稳定。

之后就可以使用
```bash
sudo ./bin/start
```
以后台运行模式运行容器了

此时就可以访问`http://ip:port/launchpad`网站，设置管理员账号与添加账号了。
# 安装完整版texlive
默认安装的`overleaf toolkit`容器内的`texlive`并不是完整版的，在使用某些宏包时可能会发生一些错误。

使用
```bash
sudo ./bin/shell
```
进入容器内的终端，然后执行以下命令
```bash
cd /usr/local/texlive
# 下载并运行升级脚本
wget http://mirror.ctan.org/systems/texlive/tlnet/update-tlmgr-latest.sh
sh update-tlmgr-latest.sh -- --upgrade
# 更换texlive的下载源
tlmgr option repository https://mirrors.sustech.edu.cn/CTAN/systems/texlive/tlnet/
# 升级tlmgr
tlmgr update --self --all
# 安装完整版texlive（时间比较长，不要让shell断开）
tlmgr install scheme-full
exit
```
最后，重启容器
```bash
sudo ./bin/stop
sudo ./bin/start
```
# 一些注意事项
1. 由于没有配置`nginx`转发与`TLS`，是不能使用`https`访问的。
2. 由于没有配置`SMTP`邮件服务器，因此用户注册的时候是收不到邮件的（事实上我也不想让其他用户随便注册）。但可以让管理员账户在后台添加用户，后台会给出一个注册成功的修改密码的链接，把那个链接发给注册用户就好了。

自建overleaf——没有overleaf premium也能愉快使用

# 摘要
本文主要介绍了如何对卫星影像数据进行处理、构建huggingface diffuser格式的数据集并使用diffuser训练controlnet，从而实现使用全球语义图控制生成全球卫星图。



# 数据介绍
训练数据使用了MODIS数据集的xxxxx卫星图与xxxxx语义图。进行了一定的预处理后裁剪成512x512的小图，在SD1.5版本的controlnet上进行训练。(详细步骤还得等黄子扬同学回忆一下看看能不能加上来）

# 数据集的构建
从已经获取一系列source（控制图像）和target（目标图像）样本对开始记录。
需要的数据集结构如下：
```txt
dataset_name:
├─dataset_name.py
├─prompt.jsonl
├─source
│  ├─0_s.png
│  ├─1_s.png
│  ├─2_s.png
│  ├─3_s.png
│  └─...
└─target
   ├─0_t.png
   ├─1_t.png
   ├─2_t.png
   ├─3_t.png
   └─...
```

其中的prompt.jsonl的具体内容如下,每条记录对应一个样本对。

```
{"source": "数据集文件夹内的控制图像相对路径", "target": "数据集文件夹内的目标图像相对路径", "prompt": "{所需要生成的目标图像的描述提示}"}
{"source": "source/0_s.png", "target": "target/_t.png", "prompt": "a remote sensing image of earth. Containing Closed Shrublands,Open Shrublands,Savannas,Grasslands,Permanent Wetlands,Croplands,Urban and Built-up Lands,Barren,Water Bodies,"}
```

最后一个文件是和dataset文件夹同名的dataset_name.py,其主要作用是重写controlnet内的数据读取接口。

```python
--dataset_name.py:
import pandas as pd
import datasets
import os

_VERSION = datasets.Version("0.0.1")

_DESCRIPTION = "TODO"
_HOMEPAGE = "TODO"
_LICENSE = "TODO"
_CITATION = "TODO"

_FEATURES = datasets.Features(
    {
        "target": datasets.Image(),#!!首先需要改的是这三行，用来指定你的prompt中三个列分别对应的类型
        "source": datasets.Image(),#!!首先需要改的是这三行，用来指定你的prompt中三个列分别对应的类型
        "prompt": datasets.Value("string"),#!!首先需要改的是这三行，用来指定你的prompt中三个列分别对应的类型
    },
)

_DEFAULT_CONFIG = datasets.BuilderConfig(name="default", version=_VERSION)


class MyData(datasets.GeneratorBasedBuilder):
    BUILDER_CONFIGS = [_DEFAULT_CONFIG]
    DEFAULT_CONFIG_NAME = "default"

    def _info(self):
        return datasets.DatasetInfo(
            description=_DESCRIPTION,
            features=_FEATURES,
            supervised_keys=None,
            homepage=_HOMEPAGE,
            license=_LICENSE,
            citation=_CITATION,
        )

    def _split_generators(self, dl_manager):
        #！其次是下面三个路径，分别代表：
        # metadata_path -> prompt.jsonl的路径
        # images_dir -> target目标图像的路径，因为我们在prompt里已经记录了target/0.png， 所以这里只需要写上一级的dataset_name文件夹的路径
        # conditioning_images_dir -> source控制图像的路径，因为我们在prompt里已经记录了source/0.png， 所以这里只需要写上一级的dataset_name文件夹的路径
        metadata_path = "/home/disk/hzy/repos/diffusers/examples/controlnet/gpcvrs_small/small.jsonl"
        images_dir = "/home/disk/hzy/repos/diffusers/examples/controlnet/gpcvrs_small"
        conditioning_images_dir = "/home/disk/hzy/repos/diffusers/examples/controlnet/gpcvrs_small"
        dl_manager.download_and_extract
        return [
            datasets.SplitGenerator(
                name=datasets.Split.TRAIN,
                # These kwargs will be passed to _generate_examples
                gen_kwargs={
                    "metadata_path": metadata_path,
                    "images_dir": images_dir,
                    "conditioning_images_dir": conditioning_images_dir,
                },
            ),
        ]

    def _generate_examples(self, metadata_path, images_dir, conditioning_images_dir):
        metadata = pd.read_json(metadata_path, lines=True)

        for _, row in metadata.iterrows():
            text = row["prompt"]#！这里改为我们的提示词列名称，即"prompt"

            image_path = row["target"]#！这里改为我们的目标图像列名称，即"target"
            image_path = os.path.join(images_dir, image_path)
            image = open(image_path, "rb").read()

            conditioning_image_path = row["source"]#！这里改为我们的控制图像列名称，即"source"
            conditioning_image_path = os.path.join(
                conditioning_images_dir, row["source"]#！这里改为我们的控制图像列名称，即"source"
            )
            conditioning_image = open(conditioning_image_path, "rb").read()

            #最后迭代返回的是两个元素：
            # 1、该样本对目标文件路径（此处即为row["target"]）
            # 2、一个包含下列元素的字典，按照描述修改即可，返回的字典的键名对应开头（line45~47）指定的三个名字： 
            #       "prompt":prompt_str,
            #       "target":{
            #                "path": image_path,（目标图像路径）
            #                "bytes": image,（目标图像路径）
            #                 }
            #       "source":{
            #                "path": conditioning_image_path,（控制图像文件路径）
            #                "bytes": conditioning_image,（控制图像本身）
            #                 }
            yield row["target"], {
                "prompt": text,
                "target": {
                    "path": image_path,
                    "bytes": image,
                },
                "source": {
                    "path": conditioning_image_path,
                    "bytes": conditioning_image,
                },
            }
```

# 训练
在完成dataset_name.py的修改后，只需要修改huggingface 给出的controlnet的训练脚本即可：

```bash
#训练脚本train.sh修改示例：
export MODEL_DIR="runwayml/stable-diffusion-v1-5"
export OUTPUT_DIR="{输出的模型路径}"

accelerate launch --multi_gpu train_controlnet.py \
 --mixed_precision="fp16" \
 --pretrained_model_name_or_path=$MODEL_DIR \
 --output_dir=$OUTPUT_DIR \
 --train_data_dir="{你的dataset文件路径}" \
 --resolution=512 \
 --learning_rate=1e-5 \
 --train_batch_size=4 \
 --num_train_epochs=6 \
 --caption_column="prompt" \ #这里修改caption_column为提示词列名称prompt
 --image_column="target" \ #这里修改image_column为目标图像列名称target
 --conditioning_image_column="source" \ #这里修改conditioning_image_column为目标图像列名称source
```

在diffuser的example/controlnet目录下运行train.sh脚本可以直接开始训练。