## 前后端分离范式
这一节我想阐述现代前后端工程中，前后端分离范式的作用、常用做法以及工程实践。

当涉及现代前后端开发中的前后端分离范式时，它旨在将前端与后端的开发和部署过程解耦，以提高灵活性、可维护性和协作效率。在这种范式下，前端和后端可以独立开发，测试和部署，通过**API**进行通信。这样做的好处包括：

灵活性与独立部署：前后端可以独立进行开发和部署，不需要相互依赖。这意味着可以选择最适合项目需求的技术栈，并且容易进行横向扩展。

协作效率：团队可以并行开发，前端和后端开发人员可以专注于自己的领域，通过明确定义的API接口进行协作，提高开发效率。

技术栈灵活性：采用前后端分离范式，可以选择更适合特定需求的前端和后端技术，而不会受到对方技术栈的限制。



## 什么是API

参见知乎高赞文章：API是什么: 一篇讲透API - 吕攻城师的文章 - 知乎
https://zhuanlan.zhihu.com/p/347125981

总结一下，API = Application Programming Interface，是一种约定。编写API也就是通过编程语言（Java/Go/...）通过后端框架（Springboot/gin/...）向别的开发者（别的后端程序开发者或前端程序开发者）提供一组操作。

例如，win MFC提供了一组基于C++语言开发的操控windows界面的API，pytorch提供了一组基于python语言开发的操控GPU进行深度学习计算的API。这些都叫做API。

在上述API中，它们是通过源码/二进制进行分发的，也就是为了使用MFC提供的API，你必须有msvc相关的开发套件，为了使用pytorch提供的API，你必须在你的python环境中安装pytorch库。而通常在前后端开发的语境中，API指的是通过网络应用层协议**HTTP方法**（https://en.wikipedia.org/wiki/HTTP#Request_methods） 或**RPC**（https://en.wikipedia.org/wiki/Remote_procedure_call ）进行调用，而无需安装的应用程序接口。

接下来，我们将会以一个online todo list为例，使用Java SpringBoot框架完成后端API的构建。

## todo list：API设计

根据一般todolist的功能，我们可以做出以下设计：
```
1. 创建待办事项
端点： POST /api/todos
描述： 创建一个新的待办事项
请求体： 包含待办事项的描述、截止日期、优先级等信息
响应： 返回新创建的待办事项的信息
2. 获取所有待办事项
端点： GET /api/todos
描述： 获取所有待办事项列表
响应： 返回所有待办事项的列表
3. 获取单个待办事项
端点： GET /api/todos/:id
描述： 获取特定 ID 的待办事项
响应： 返回特定待办事项的信息
4. 更新待办事项
端点： PUT /api/todos/:id
描述： 更新特定 ID 的待办事项信息
请求体： 包含待办事项的描述、截止日期、优先级等信息
响应： 返回更新后的待办事项信息
5. 删除待办事项
端点： DELETE /api/todos/:id
描述： 删除特定 ID 的待办事项
响应： 返回成功/失败的消息
6. 完成待办事项
端点： PUT /api/todos/:id/complete
描述： 标记特定 ID 的待办事项为已完成
响应： 返回已完成的待办事项信息
7. 获取已完成的待办事项
端点： GET /api/todos/completed
描述： 获取所有已完成的待办事项列表
响应： 返回已完成的待办事项列表
```
这里出现了一些新词汇。例如“端点”（endpoint），endpoint通俗来说，就是HTTP方法+除去服务器地址的url部分。端点中出现的":id"实际上是指特定的一个数字，例如获取单个待办事项时，会向/api/todos/3这个url发起GET请求。

## todo list：数据结构设计
一个todolist会包含很多条待办事项（todo），使用Todo表存储每条todo，每个todo项包含一些字段（field），可以设计如下：
- id: 一个唯一的标识符，用于识别每个待办事项。
- description: 描述待办事项的信息。
- deadline: 截止日期或计划完成日期。
- priority: 优先级，如高、中、低。
- completed: 标识待办事项是否已完成。

用SQL语句描述就是
```sql
CREATE TABLE todos (
    id INTEGER PRIMARY KEY,
    description TEXT,
    deadline DATE,
    priority TEXT,
    completed BOOLEAN
);
```
说明：
id 是主键，用于唯一标识每个待办事项。
description 是文本字段，存储待办事项的描述信息。
deadline 是日期字段，用于存储截止日期。
priority 是文本字段，存储待办事项的优先级。
completed 是布尔字段，用于标识待办事项是否已完成。可能的取值为 true 或 false。

这是一个简单的设计，可以根据实际需求进行调整和扩展。例如，你可以添加更多字段来记录创建时间、最后更新时间，或者将数据拆分为不同的表以支持更多的功能，比如用户身份验证和授权。

## 创建数据库
使用Navicat，连接postgresql
![image.png](https://xuqi.space/static/img/a000c884e77a895dff0bce2dabe01a3f.image.webp)
并新建数据库与表
![image.png](https://xuqi.space/static/img/94375389cf72f2f3c58642a5ff364d22.image.webp)
![image.png](https://xuqi.space/static/img/074b8184b10d13fc7b469a3f48738d41.image.webp)
可以看到，现在的数据库表是空的
![image.png](https://xuqi.space/static/img/13e5e2f465e8864c4bdf86fac40802cd.image.webp)

## 创建Java springboot项目
使用IDEA创建springboot项目
![image.png](https://xuqi.space/static/img/5549d742364ba6821f273fbd7b1d81e0.image.webp)
然后添加这些依赖项
![image.png](https://xuqi.space/static/img/093c59b6afa5ccb7f84d6f5ac36e363d.image.webp)
其中Spring Web用于创建RESTful API的应用程序，使用了Apache Tomcat作为默认的网页服务器
![image.png](https://xuqi.space/static/img/e7636c91054c78355a4dbdc19712af37.image.webp)
Mybatis是一个持久层框架，用于方便地操作数据库
![image.png](https://xuqi.space/static/img/221b05fa95027bac7bc2da09c556f6c3.image.webp)
Postgresql Driver是数据库驱动，JDBC的一种

（感兴趣的话可以查一查上面这些词有什么更深层的含义，例如RESTful、Apache Tomcat、持久层、JDBC等）

然后我们可以看到这样的文件结构

![image.png](https://xuqi.space/static/img/af32f261b94e8ed10921576c7297b15c.image.webp)
接着创建如下的目录结构

![image.png](https://xuqi.space/static/img/db62267da70c16a34b4bb03e862662cc.image.webp)
其中main目录下controller文件夹为控制器部分，service文件夹为服务层，model为模型层。resources目录下mapper为持久化映射层，存放mybatis xml文件。

## 结合数据库字段编写model层
首先要在项目配置文件中写入数据库相关配置
![image.png](https://xuqi.space/static/img/cac091724d18b921c5a6acc145ddd50e.image.webp)
```yml
# postgresql configuration
spring.datasource.url=jdbc:postgresql://localhost:5432/todolist
spring.datasource.username=xuqi
spring.datasource.password=
spring.datasource.driver-class-name=org.postgresql.Driver
```
然后在model层新建一个todo.java文件，内容为
```java
import java.util.Date;

public class Todo {
    private Integer id;
    private String description;
    private Date deadline;
    private String priority;
    private boolean completed;

    // 省略构造函数和getter/setter方法，使用IDEA自带的生成功能生成
}
```
然后在mapper文件夹中新建一个TodoMapper.xml，内容为
```xml
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">

<mapper namespace="com.xuqi.todolist.model.TodoMapper">

    <resultMap id="todoResultMap" type="com.xuqi.todolist.model.Todo">
        <id property="id" column="id"/>
        <result property="description" column="description"/>
        <result property="deadline" column="deadline"/>
        <result property="priority" column="priority"/>
        <result property="completed" column="completed"/>
    </resultMap>

    <select id="getTodoById" parameterType="Integer" resultMap="todoResultMap">
        SELECT * FROM todos WHERE id = #{id}
    </select>

    <select id="getAllTodos" resultMap="todoResultMap">
        SELECT * FROM todos
    </select>

    <insert id="insertTodo" parameterType="com.xuqi.todolist.model.Todo">
        INSERT INTO todos (id, description, deadline, priority, completed)
        VALUES (#{id}, #{description}, #{deadline}, #{priority}, #{completed})
    </insert>

    <update id="updateTodo" parameterType="com.xuqi.todolist.model.Todo">
        UPDATE todos
        SET description = #{description},
            deadline = #{deadline},
            priority = #{priority},
            completed = #{completed}
        WHERE id = #{id}
    </update>

    <delete id="deleteTodo" parameterType="Integer">
        DELETE FROM todos WHERE id = #{id}
    </delete>

</mapper>
```
这个xml文件定义了mybatis如何通过sql语句生成对应的Java方法。要注意这里面的namespace="com.xuqi.todolist.model.TodoMapper"要和对应的Java类路径保持相同。parameterType="com.xuqi.todolist.model.Todo"也要和对应的model层的类路径相同。这里xml文件的编写要格外小心。

由于我们将xml文件放在resources目录下，我们需要在项目配置文件中添加如下配置：
```yml
# mybatis configuration
mybatis.mapper-locations=classpath:mapper/*.xml
```
显示指定xml文件的路径。（这也说明xml文件的路径是可以自定义的）

根据xml文件中定义的方法名（也就是xml的id项），编写对应的TodoMapper.java文件
```java
package com.xuqi.todolist.model;

import java.util.List;

import org.apache.ibatis.annotations.*;

@Mapper
public interface TodoMapper {

    Todo getTodoById(Integer id);

    List<Todo> getAllTodos();

    void insertTodo(Todo todo);

    void updateTodo(Todo todo);

    void deleteTodo(Integer id);
}
```
这里使用了@Mapper注解，表示这个Java接口会被mybatis注入实现。注意这个接口的方法名和参数要与xml文件中的一一对应。

## 编写service层
在service文件夹创建TodoService.java文件，文件内容如下：
```java
package com.xuqi.todolist.service;

import com.xuqi.todolist.model.Todo;
import com.xuqi.todolist.model.TodoMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import java.util.List;

@Service
public class TodoService {

    @Autowired
    private TodoMapper todoMapper; // 这里需要注入TodoMapper

    public Todo getTodoById(Integer id) {
        return todoMapper.getTodoById(id);
    }

    public List<Todo> getAllTodos() {
        return todoMapper.getAllTodos();
    }

    public void addTodo(Todo todo) {
        todoMapper.insertTodo(todo);
    }

    public void updateTodo(Todo todo) {
        todoMapper.updateTodo(todo);
    }

    public void deleteTodo(Integer id) {
        todoMapper.deleteTodo(id);
    }
}
```
这里使用了@Service注解表示这是一个Service层代码，使用@Autowired注解完成字段注入。

这里的方法是可以自定义的，不必要与xml文件中的相同。controller层将会调用这里的方法。

## 编写controller层
在controller文件夹下创建TodoController.java文件，完成了API设计中的1-5项，内容如下：
```java
package com.xuqi.todolist.controller;

import com.xuqi.todolist.model.Todo;
import com.xuqi.todolist.service.TodoService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;
import org.springframework.http.ResponseEntity;
import java.util.List;

@RestController
@RequestMapping("/api/todos")
public class TodoController {

    @Autowired
    private TodoService todoService; // 这里需要注入TodoService

    @GetMapping("/{id}")
    public ResponseEntity<Todo> getTodoById(@PathVariable Integer id) {
        Todo todo = todoService.getTodoById(id);
        if (todo != null) {
            return ResponseEntity.ok().body(todo);
        } else {
            return ResponseEntity.notFound().build();
        }
    }

    @GetMapping
    public ResponseEntity<List<Todo>> getAllTodos() {
        List<Todo> todos = todoService.getAllTodos();
        return ResponseEntity.ok().body(todos);
    }

    @PostMapping
    public ResponseEntity<Void> addTodo(@RequestBody Todo todo) {
        todoService.addTodo(todo);
        return ResponseEntity.ok().build();
    }

    @PutMapping("/{id}")
    public ResponseEntity<Void> updateTodo(@PathVariable Integer id, @RequestBody Todo todo) {
        if (todoService.getTodoById(id) != null) {
            todo.setId(id);
            todoService.updateTodo(todo);
            return ResponseEntity.ok().build();
        } else {
            return ResponseEntity.notFound().build();
        }
    }

    @DeleteMapping("/{id}")
    public ResponseEntity<Void> deleteTodo(@PathVariable Integer id) {
        if (todoService.getTodoById(id) != null) {
            todoService.deleteTodo(id);
            return ResponseEntity.ok().build();
        } else {
            return ResponseEntity.notFound().build();
        }
    }
}
```
注意这里的返回值用ResponseEntity包起来，请求体参数用@RequestBody注解标明，路径参数用@PathVariable注解标明。HTTP方法用对应的Mapping注解标明，这些注解中要标明端点，例如使用@RequestMapping("/api/todos")表示这个类下所有的HTTP方法都有共同的端点前缀/api/todos，@GetMapping("/{id}")表示这个Get方法具有一个路径端点（也就是上文提及的\:id）

到这，整个Java springboot的代码已经编写完成了。

## 使用Postman进行API测试
```
1. 测试创建待办事项
端点： POST /api/todos
描述： 创建一个新的待办事项
请求体： 包含待办事项的描述、截止日期、优先级等信息
响应： 返回新创建的待办事项的信息
```
这里注意这个POST方法的参数是@RequestBody，所以需要在Body中写入参数，而不是Params。

![image.png](https://xuqi.space/static/img/b8c26f788e01bf81a69970007d4ee813.image.webp)

插入成功后数据库也更新为

![image.png](https://xuqi.space/static/img/370f51763c250e015f821c8c7bb79bad.image.webp)

```
2. 测试获取所有待办事项
端点： GET /api/todos
描述： 获取所有待办事项列表
响应： 返回所有待办事项的列表
```
通过上面的POST方法准备两条数据，再测试获取全部数据。

![image.png](https://xuqi.space/static/img/7977322c86c793d55ba1ca73dcd64948.image.webp)


```
3. 测试获取单个待办事项
端点： GET /api/todos/:id
描述： 获取特定 ID 的待办事项
响应： 返回特定待办事项的信息
```
测试获取id为2的那条todo

![image.png](https://xuqi.space/static/img/0e8fee27ffda246b53b5f4d36e1c7831.image.webp)


```
4. 测试更新待办事项
端点： PUT /api/todos/:id
描述： 更新特定 ID 的待办事项信息
请求体： 包含待办事项的描述、截止日期、优先级等信息
响应： 返回更新后的待办事项信息
```
更新id为2的todo的描述，注意要在body中填写更新的数据。

![image.png](https://xuqi.space/static/img/6cd3795c2b4f82901ed531799fa781bc.image.webp)
数据库也变更为

![image.png](https://xuqi.space/static/img/202e31242c4e0eda41a78cf6dfe958e3.image.webp)
这里由于在body中没有填写deadline与priority的值，所以这两个字段被更新为NULL


```
5. 测试删除待办事项
端点： DELETE /api/todos/:id
描述： 删除特定 ID 的待办事项
响应： 返回成功/失败的消息
```
测试删除第二条todo

![image.png](https://xuqi.space/static/img/06311b91788eb1f9782e9432572cdd76.image.webp)
数据库也更新为

![image.png](https://xuqi.space/static/img/2a9dec4345e2d08f2fa1110de9cbd043.image.webp)

后端开发笔记——SpringBoot的基本使用

这周和小明一起去了几次健身房，他一边教一边带我健身，是和自己一个人去完全不一样的体验呢~

记录一下和小明一起都练了些啥吧

<div align="center">
<img src="https://xuqi.space/static/img/570c069ea2c3777874f80549dec88bba.IMG_2324.webp" width=30% style="display:inline-block;">
<img src="https://xuqi.space/static/img/21644e3b7e100084e862fc04f64e4a98.IMG_2327.webp" width=40% style="display:inline-block;transform: rotate(90deg)">  
</div>



## 10.21 练胸
1. 带片5kg卧推 4组
2. 杠铃自由式卧推 4组
3. 龙门架俩动作我忘了 一共8组
4. 划船机 4组

## 10.23 练背
1. 划船机 4组
2. 还有一些其他的但我忘记了😭，现在记性好差

## 10.25 练肩+有氧
1. 哑铃推举 4组
2. 5kg配重片前举 5组
3. 龙门架平拉（身体微后倾） 5组
4. 跳绳每组200个3组 开合跳每组100个2组 😮‍💨真滴累

## 10.27 有氧+上腹+小臂大臂
1. 跑步1km，10km/h配速
2. 开合跳100个 5组
3. 深蹲20个 5组
4. 卷腹20个
5. 平躺抬腿20个 （注意背部要抬起一个小幅度呀）
6. 抬腿拍手40个 （注意头要抬起来）
7. 坐微躺姿势左右2kg配重片摇摆
8. 2.5kg杠铃，下半程7个，上半程7个，全程7个（注意下半程只到胸口处，上半程完全举起来）

## 10.30 热身+练背
1. 跳绳200个 2组
2. 深蹲20个 2组
3. 划船机10个 5组
4. 哑铃平举20个 2组
5. 龙门架下拉（身体微后倾） 4组

这次人太多了，没能排到卧推

## 11.2 热身+练背+练胸
1. 跳绳200个 2组
2. 深蹲20个 2组
3. 上推固定器械 5组
4. 划船机 5组
5. 卧推 5组
6. 平板支撑 2min
7. 卷腹40个
8. 抬腿拍手100个
9. 5kg杠铃上举10个 2组

## 11.3 练胸+有氧
1. 8kg杠铃上举10个 2组
2. 自由式哑铃卧推 2组（因为我做不来这个动作）
3. 上推固定器械 5组
4. 龙门架下拉 5组
5. 开合跳150个 4组
6. 平板支撑 2min
7. 划船机 5组

健身锻炼记录——加油自律

很早就想梳理一下关于Diffusion Model的相关知识，试图不再“畏惧”那一大堆数学公式

本文将基于Google Research, Brain Team在2022年的一篇综述文章《Understanding Diffusion Models: A Unified Perspective》[https://arxiv.org/abs/2208.11970](https://arxiv.org/abs/2208.11970) ，逐步展开理解DDPM、DDIM等Diffusion Models所需要的一些数学知识。



## 生成式模型

> Given observed samples $x$ from a distribution of interest, the goal of a generative model is to learn to model its true data distribution $p(x)$. Once learned, we can generate new samples from our approximate model at will. Furthermore, under some formulations, we are able to use the learned model to evaluate the likelihood of observed or sampled data as well.

这一段话给出了生成式模型的一个定义，即“从样本数据分布中学习到真实数据分布，并可以从学习到的真实数据分布中采样出新的样本”。这里的从样本数据分布中学习到真实数据分布，其实也就是数理统计中参数估计的过程，因为我们通常会假设真实数据分布满足一个高斯分布律，那么从样本数据分布中学习到真实数据分布也就是对这个高维高斯分布的参数进行估计的过程。

> There are several well-known directions in current literature, that we will only introduce brieﬂy at a high level. Generative Adversarial Networks (GANs) model the sampling procedure of a complex distribution, which is learned in an adversarial manner. Another class of generative models, termed "likelihood-based", seeks to learn a model that assigns a high likelihood to the observed data samples. This includes autoregressive models, normalizing ﬂows, and Variational Autoencoders (VAEs). Another similar approach is energy-based modeling, in which a distribution is learned as an arbitrarily ﬂexible energy function that is then normalized.

这里提到GAN与VAE两种方法，GAN（生成对抗网络）是利用了对抗的方法对采样过程进行建模，用一个神经网络直接去拟合真实分布，优化目标是使得真实数据分布与生成数据分布的KL散度达到最小。

而VAE则是基于极大似然估计的方法，神经网络的优化目标是使得样本数据分布出现的概率最大。

这里只是给出了定性的理解，并没有给出公式（真要写公式还挺复杂的hhh）

> Score-based generative models are highly related; instead of learning to model the energy function itself, they learn the score of the energy-based model as a neural network. In this work we explore and review diffusion models, which as we will demonstrate, have both likelihood-based and score-based interpretations. We showcase the math behind such models in excruciating detail, with the aim that anyone can follow along and understand what diffusion models are and how they work.

这里提及了一下score-based模型，对于score-based方法，我并不是太了解，不过diffusion model是可以从likelihood-based与score-based两种角度解读的。其中DDPM的原论文就是通过likelihood-based方法推导公式，而Score-Based Generative Modeling through Stochastic Differential Equations(arxiv: https://arxiv.org/abs/2011.13456) 则是通过随机微分方程（SDE）的方式完成了score-based的角度解读。


## 从AutoEncoder开始
在wikipedia上，https://en.wikipedia.org/wiki/Autoencoder ,AE的作用是学习对高维度数据做低维度“表示”（“表征”或“编码”）；因此，通常用于降维。利用AE学习到的encoder对数据进行编码，将$x$（一般是图片）从高维空间$\mathbb{R}^{w\times h}$编码（降维）到latent code $z$（一个特征向量）低维空间$\mathbb{R}^{n}$，一般$n\ll w\times h$。

这实际上包含一种洞见，即我们所看到的样本数据，实际包含了大量的冗余信息。我们实际上可以通过寻找样本空间$\mathcal{X}$的一个子空间$\mathcal{Z}$，即构造一个映射$E_{\phi }:\mathcal {X}\rightarrow \mathcal {Z}$，完成对高维度数据做低维度“表示”。其中映射$E_{\phi }$称作编码器，$\phi$为该编码器的参数。

为了找到这个编码器$E_{\phi }$，我们有多种方法，但归根结底都可以表示成对proxy task的优化。例如，我们可以假设将该编码器$E_{\phi }$所得到的latent code $z$用于图像分类任务应该具有较好的表现，也就是说将proxy task设置为image classification。那么我们可以构造一个分类器$D_{\theta }:\mathcal {Z}\rightarrow \mathcal {L}$，其中$\mathcal {L}$为预测label的取值空间。为了优化这个proxy task，我们使用梯度下降法对样本label真实分布$\hat{\mathcal{L}}$与预测label的取值分布$\mathcal{L}$的交叉熵进行优化，也就是
$$
\underset{\phi,\theta}{\argmin}{\left(-\int_{\mathcal {X}}\hat{\mathcal{L}}(x)\log D_{\theta}(E_{\phi }(x))dx\right)}
$$
对于AutoEncoder，最理想的proxy task是完全恢复输入的样本信息，也就是无损降维。具体来说，我们期望映射$D_{\theta }$可以完成$D_{\theta }:\mathcal {Z}\rightarrow \mathcal {X}$，将latent code $z$重新恢复为$E_{\phi }$输入的$x$。为了优化这个reconstruction task，我们一般使用L2损失，也即
$$
\underset{\phi,\theta}{\argmin}{\left(-\int_{\mathcal {X}}\lVert x- D_{\theta}(E_{\phi }(x)) \rVert_2 dx\right)}
$$
使用神经网络作为编码器与解码器，那么AE可以用下图(使用excalidraw绘制)表示

![ae.png](https://xuqi.space/static/img/5840108af21a5a37aac072301edc62d0.ae.webp)

## VAE——变分自编码器
VAE的原论文是Auto-Encoding Variational Bayes(arxiv: https://arxiv.org/abs/1312.6114v11) 

首先我们看看VAE的网络架构
![vae.png](https://xuqi.space/static/img/1ca1f2a21c59be84256ade21449447bd.vae.webp)
这个网络结构跟AE基本完全一样，只是Encoder部分的输出是一组$\sigma$参数与$\mu$参数，从由这两个参数决定的高斯分布$\mathcal{N}(\mu,\sigma^2)$中采样出隐变量$z$作为decoder的输入。损失函数部分，除了L2损失以外额外加入了分布$\mathcal{N}(\mu,\sigma^2)$对分布$\mathcal{N}(0,I)$的KL散度。

首先，可以肯定的是，VAE与AE之间肯定会存在着十分紧密的关系。但我们会想，VAE将encoder直接编码隐变量$z$变为encoder输出一个高斯分布，从高斯分布中采样一个隐变量是为了什么呢？

让我们回到生成式模型的目标，生成式模型的目标是从估计的真实数据分布中采样得到新的样本，也就是说，当我们确定隐变量$z$满足的分布$p(z)$时，从$p(z)$中任意采样一个$z$，经过decoder得到的$p(x|z)$都应该是有意义的新样本。通俗来说，这要求我们任取一个$z$，decoder都能恢复出一个清晰的有意义的图像。而AE模型则无法完成上述要求，从实验结果来看，对于随机采样的一个$z$，AE的decoder恢复出的图像大多是模糊的无意义的乱码。这是因为由于只存在L2重建损失且encoder直接完成对隐变量$z$的编码，$z$的分布$p(z)$会被过度压缩（过度降维），导致$p(z)$只分布在一个很小的流形上。而在$p(z)$之外的随机采样则无法获得有效的重建结果。

为了解决上述不足，VAE做出了一个先验假设，即隐变量$z$的分布$p(z)\sim\mathcal{N}(0,I)$，或记作$p(z)=\mathcal{N}(z;0,I)$。并让encoder完成对$z$分布的点估计。

我们记encoder为$q_\phi(z|x)$，表示给定$x$的条件下，$z$的估计分布。decoder为$p_\theta(x|z)$，表示给定$z$的条件下，$x$的估计分布。

回忆生成式模型的优化目标，我们要使得样本数据分布出现的概率最大。即使得$p(x)$最大。采用极大对数似然法，优化目标可以写作$\log p(x)$

由于
$$
\begin{align}
\log p(x) &= \log p(x)\int q_\phi(z|x)dz \qquad\text{（概率的归一性）}\\
&=\int q_\phi(z|x)(\log p(x))dz \\
&=\mathbb{E}_{q_\phi(z|x)}\left[\log p(x) \right] \qquad\text{（Law of the unconscious statistician）}\\
&=\mathbb{E}_{q_\phi(z|x)}\left[\log \frac{p(x,z)}{p(z|x)} \right] \qquad\text{（链式法则）}\\
&=\mathbb{E}_{q_\phi(z|x)}\left[\log \frac{p(x,z)q_\phi(z|x)}{p(z|x)q_\phi(z|x)} \right] \\
&=\mathbb{E}_{q_\phi(z|x)}\left[\log \frac{p(x,z)}{q_\phi(z|x)} \right]+\mathbb{E}_{q_\phi(z|x)}\left[\log \frac{q_\phi(z|x)}{p(z|x)} \right] \\
&=\mathbb{E}_{q_\phi(z|x)}\left[\log \frac{p(x,z)}{q_\phi(z|x)} \right]+D_{KL}(q_\phi(z|x)||p(z|x)) \qquad\text{（KL散度的定义）} \\
&\ge \mathbb{E}_{q_\phi(z|x)}\left[\log \frac{p(x,z)}{q_\phi(z|x)} \right] \qquad\text{（KL散度大于0）} \\
\end{align} 
$$
我们记$\mathbb{E}_{q_\phi(z|x)}\left[\log \frac{p(x,z)}{q_\phi(z|x)} \right] $为ELBO（Evidence Lower Bound）。

下面将说明，对ELBO的优化，也即是对$\log p(x)$下界的优化，是一个合适的proxy optimization objective。

由于$\log p(x)=\mathbb{E}_{q_\phi(z|x)}\left[\log \frac{p(x,z)}{q_\phi(z|x)} \right]+D_{KL}(q_\phi(z|x)||p(z|x))$，注意这里的$p(x)$、$p(x,z)$、$p(z|x)$都是真实分布，是一个固定的分布，整个优化目标可以写作
$$
\underset{\phi}{\argmax}\log p(x)=\mathbb{E}_{q_\phi(z|x)}\left[\log \frac{p(x,z)}{q_\phi(z|x)} \right]+D_{KL}(q_\phi(z|x)||p(z|x))
$$
当调整$\phi$时，总能通过优化ELBO使得$D_{KL}(q_\phi(z|x)||p(z|x))=0$，这样ELBO就达到$\log p(x)$这一上界。

上述过程称作变分贝叶斯估计（Variational Bayes）。

下面，我们将引入解码器$p_\theta(x|z)$作为对$p(x|z)$的估计。
$$
\begin{align}
\mathbb{E}_{q_\phi(z|x)}\left[\log \frac{p(x,z)}{q_\phi(z|x)} \right] &=\mathbb{E}_{q_\phi(z|x)}\left[\log \frac{p_\theta(x|z)p(z)}{q_\phi(z|x)} \right] \\
&=\mathbb{E}_{q_\phi(z|x)}\left[\log p_\theta(x|z) \right]+ \mathbb{E}_{q_\phi(z|x)}\left[\log \frac{p(z)}{q_\phi(z|x)} \right]\\
&=\mathbb{E}_{q_\phi(z|x)}\left[\log p_\theta(x|z) \right] - D_{KL}(q_\phi(z|x)||p(z))
\end{align}
$$

称$\mathbb{E}_{q_\phi(z|x)}\left[\log p_\theta(x|z) \right]$为重建项，$D_{KL}(q_\phi(z|x)||p(z))$为先验匹配项。那么，优化ELBO也就是使得重建项尽量大而先验匹配项尽量小。具体来说，也就是让$q_\phi(z|x)$与$p(z)$的分布尽量靠近，前面我们提到，$p(z)$的分布我们假设是服从$p(z)\sim\mathcal{N}(0,I)$。而重建项的含义为，在给定$q_\phi(z|x)$的情况下（encoder已经完成编码），$p_\theta(x|z)$的值要尽量的大（decoder要尽量恢复重建出$x$）

现在，我们可以理解VAE的网络结构图了，在AE的基础上，让encoder输出一组均值与方差，使得$q_\phi(z|x)$尽量与$p(z)=\mathcal{N}(z;0,I)$靠近，而给定$x$时，通过$q_\phi(z|x)$得到隐变量$z$，使用decoder完成图像重建，并使用L2损失。

## HVAE

Understanding Diffusion Models (1)

今天与大家分享我刷到的一篇论文，Do LLMs Possess a Personality? Making the MBTI Test an Amazing Evaluation for Large Language Models，link:https://arxiv.org/abs/2307.16180 ，status: unpublished/arxiv

作者是字节跳动，ByteDance, Beijing, China

## 文章核心主旨——四个问题
在这篇technical report中，作者提出了以下四个问题，整篇文章也是围绕这四个问题进行讨论

1. Q1 Do different LLMs possess different personalities? 不同的 LLM 有不同的个性吗？
2. Q2 Can we change the personality of LLM by prompt engineering? 我们能否通过提示词工程来改变LLM的个性？
3. Q3 How do training datasets affect the personality of LLMs? 训练数据集如何影响 LLM 的个性？
4. Q4 Can MBTI test evaluate the model reasonably? MBTI检验能否对模型进行合理的评价？





同时，作者也给出了这四个问题的答案

1. A1 LLMs possess different personality-like MBTI types, which are inconsistent among LLMs but consistent with their style. The MBTI types of several LLMs are listed in Tabel 1. LLM拥有不同的MBTI类型，这些类型在LLM之间不一致，但每个LLM在他们的MBTI上是稳定的。几个LLM的MBTI类型列在Tabel 1中。
2. A2 LLMs without sufficient instruction-tuning are challenging to change MBTI type, while after tuning, they may be changed via explicit and implicit prompts. 没有充分的指令调优的LLM很难更改MBTI类型，而在调优后，它们可能会通过显式和隐式提示进行更改。
3. A3 The type of training corpus can affect the MBTI type, especially in the dimensions of T/F and J/P. 训练语料库的类型会影响MBTI类型，尤其是在T/F和J/P维度上。
4. A4 Although MBTI is not a rigorous assessment, it may still serve as a rough indicator for LLMs. 虽然 MBTI 不是一个严格的评估，但它仍然可以作为 LLM 的一个粗略指标。


## Tabel 1不同LLM的MBTI人格

![image.png](https://xuqi.space/static/img/96ab82cf3ac961878b092ea2dae5d751.image.webp)


![image.png](https://xuqi.space/static/img/152a73160eb15c5dcfb76fadc6e49fa1.image.webp)

奇妙论文分享——LLM的MBTI？

## 题目1. 
在 $\mathbb{R}^4$ 中求一单位向量与$(1,1,-1,1)^\top,(1,-1,-1,1)^\top,(2,1,1,3)^\top$ 都正交

解：

设此单位向量为$x$，则有
$$
x^\top\left(\begin{matrix}
1 \\
1 \\
-1 \\
1 \\
\end{matrix}\right)=0
\qquad
x^\top\left(\begin{matrix}
1 \\
-1 \\
-1 \\
1 \\
\end{matrix}\right)=0
\qquad
x^\top\left(\begin{matrix}
2 \\
1 \\
1 \\
3 \\
\end{matrix}\right)=0
\qquad
\left\lVert x \right\rVert_2=1
$$
也就是
$$
\left(\begin{matrix}
1 & 1 & -1 & 1 \\
1 & -1 & -1 & 1 \\
2 & 1 & 1 & 3 \\
\end{matrix}\right)
x = 
\mathbf{0}
$$



对系数矩阵进行行化简，得到
$$
\left(\begin{matrix}
1 & 1 & -1 & 1 \\
1 & -1 & -1 & 1 \\
2 & 1 & 1 & 3 \\
\end{matrix}\right)\sim
\left(\begin{matrix}
1 & 1 & -1 & 1 \\
0 & -2 & 0 & 0 \\
0 & -1 & 3 & 1 \\
\end{matrix}\right)\sim
\left(\begin{matrix}
1 & 0 & -1 & 1 \\
0 & 1 & 0 & 0 \\
0 & 0 & 3 & 1 \\
\end{matrix}\right)
$$
第1、2、3列为主元列，第四列为自由列，故
$$
\begin{cases}
x_1= -\frac{4}{3}x_4\\
x_2= 0\\
x_3= -\frac{1}{3}x_4\\
x_4 \text{是自由变量}
\end{cases}
$$
也即$x = -\frac{x_4}{3}\left(\begin{matrix}
4 \\
0 \\
1 \\
-3 \\
\end{matrix}\right)$，取$x = \frac{1}{\sqrt{26}}\left(\begin{matrix}
4 \\
0 \\
1 \\
-3 \\
\end{matrix}\right)$即满足$\left\lVert x \right\rVert_2=1$

## 题目2.

设$\varepsilon_1,\varepsilon_2,\varepsilon_3,\varepsilon_4,\varepsilon_5$ 是$\mathbb{R}^5$ 中一组标准正交基，$V=\operatorname{span}\{\alpha_1,\alpha_2,\alpha_3\}$,其中$\alpha_1=\varepsilon_1+\varepsilon_{5}$,$\alpha_{2}=\varepsilon_{1}-\varepsilon_{2}+\varepsilon_{4}$,$\alpha_{3}=2\varepsilon_{1}+\varepsilon_{2}+\varepsilon_{3}$,求 $V$ 的一组标准正交基

概念回顾：
1. Gram-Schmidt 正交化⽅法:
<iframe height='500' scrolling='yes' title='Entropy_and_life' src=https://zh.wikipedia.org/wiki/%E6%A0%BC%E6%8B%89%E5%A7%86-%E6%96%BD%E5%AF%86%E7%89%B9%E6%AD%A3%E4%BA%A4%E5%8C%96 frameborder='no' allowtransparency='true' allowfullscreen='true' style='width:100%;'>
</iframe>

解：

令$\beta_{1}=\alpha_{1}$,则$\left(\beta_{1},\beta_{1}\right)=2,\left(\alpha_{2},\beta_{1}\right)=1,\left(\alpha_{3},\beta_{1}\right)=2.
$

令$\beta_{2}=\alpha_{2}-\frac{\left(\alpha_{2},\beta_{1}\right)}{\left(\beta_{1},\beta_{1}\right)}\beta_{1}=\frac{1}{2}\left(\varepsilon_{1}-2\varepsilon_{2}+2\varepsilon_{4}-\varepsilon_{5}\right)=\frac{1}{2}\beta_{2}^{\prime},
$
则$
\left(\beta_{2}^{\prime},\beta_{2}^{\prime}\right)=10,\left(\alpha_{3},\beta_{2}^{\prime}\right)=0
$

令$\beta_{3}=\alpha_{3}=2\varepsilon_{1}+\varepsilon_{2}+\varepsilon_{3}$
则$\left(\beta_{3},\beta_{3}\right)=6$

取$\gamma_{1}=\frac{\beta_{1}}{\sqrt{(\beta_{1},\beta_{1})}}=\frac{1}{\sqrt{2}}\left(\varepsilon_{1}+\varepsilon_{5}\right)$
,$\gamma_{2}=\frac{\beta_{2}}{\sqrt{(\beta_{2}^{\prime},\beta_{2}^{\prime})}}=\frac{1}{\sqrt{10}}\left(\varepsilon_{1}-2\varepsilon_{2}+2\varepsilon_{4}-\varepsilon_{5}\right)\:
$

$\gamma_{3}=\frac{\beta_3}{\sqrt{(\beta_{3},\beta_{3})}}=\frac{1}{\sqrt{6}}\left(2\varepsilon_{1}+\varepsilon_{2}+\varepsilon_{3}\right)$

则$\gamma_1,\gamma_2,\gamma_3$为$V$的一组标准正交基

## 题目3.

⽤Gram Schmidt正交化⽅法，将内积空间$V$的给定⼦集$S$正交化，再找出$V$的
标准正交基，并求给定向量$\alpha$在标准正交基下的坐标表达式：
$V=\mathbf{R}\left[ x \right]_3$,定义内积为$(f,g)=\int_{- 1}^1f(t)g(t)dt$, $S=\{1,x,x^2\}$,$\alpha= 1+ x$

令$\alpha_1=1,\alpha_2=x,\alpha_3=x^2$

令$\beta_1=\alpha_1=1$,则$(\beta_1,\beta_1)=2,(\alpha_2,\beta_1)=0,(\alpha_3,\beta_1)=\frac{2}{3}$

令$\beta_2=\alpha_2-\frac{(\alpha_2,\beta_1)}{(\beta_1,\beta_1)}\beta_1=x$,则$(\beta_2,\beta_2)=\frac{2}{3},(\alpha_3,\beta_2)=0$

令$\beta_3=\alpha_3-\frac{(\alpha_3,\beta_1)}{(\beta_1,\beta_1)}\beta_1=x^2-\frac{1}{3}$,则$(\beta_3,\beta_3)=\frac{8}{45}$

令$\gamma_1=\frac{\beta_1}{\lVert \beta_1 \rVert}=\frac{\sqrt{2}}{2}$，$\gamma_2=\frac{\beta_2}{\lVert \beta_2 \rVert}=\frac{\sqrt{6}}{2}x$，
$\gamma_3=\frac{\beta_3}{\lVert \beta_3 \rVert}=\frac{3\sqrt{10}}{4}(x^2-\frac{1}{3})$
则$\gamma_1,\gamma_2,\gamma_3$为$\mathbf{R}\left[ x \right]_3$的一组标准正交基。

## 题目4.

设$\alpha_1= ( 1, 0, 2, 1) ^\top, \alpha_2= ( 2, 1, 2, 3) ^\top, \alpha_3= ( 0, 1, - 2, 1) ^\top, V_1= \operatorname{span}( \alpha_1, \alpha_2, \alpha_3) , $ 则 $V_{1}$ 是欧氏空间 $\mathbb{R}^{4}$ 的子空间，求 $V_{1}$ 的正交补 $V_{1}^{\perp}$ 的一组基

概念回顾：
1. 设 $V_1,V_2$ 是内积空间 $V$ 中两个子空间. 向量 $\alpha\in {V}$,如果对任意 $\beta\in V_1$ 都有$(\alpha,\beta)=0$,则称 $\alpha$ 与子空间 $V_{1}$ 正交，记为 $\alpha \bot V_{1}$.如果对任意$a\in\mathbb{V}_1,\beta\in\mathbb{V}_2$都有$(\alpha,\beta)=0$,则称子空间$V_1$与$V_2$正交，记为$V_1 \bot V_2$
2. 设 $V_{1}$ 是内积空间 $V$ 的一个子空间，$V$ 中所有与$V_{1}$ 正交的向量所作成的集合记为$V_1^\perp$,即$V_1^\perp=\{\alpha\in V|\alpha\bot V_1\}$,则称$V_1^\perp$为$V_1$的正交补.

解：

求$V_1$的正交补，也即求与$\alpha_1,\alpha_2,\alpha_3$都正交的向量$x$
$$
\left(\begin{matrix}
1 & 0 & 2 & 1 \\
2 & 1 & 2 & 3 \\
0 & 1 & -2 & 1 \\
\end{matrix}\right)
x = 
\mathbf{0}
$$
对系数矩阵进行行化简
$$
\left(\begin{matrix}
1 & 0 & 2 & 1 \\
2 & 1 & 2 & 3 \\
0 & 1 & -2 & 1 \\
\end{matrix}\right)\sim
\left(\begin{matrix}
1 & 0 & 2 & 1 \\
0 & 1 & -2 & 1 \\
0 & 1 & -2 & 1 \\
\end{matrix}\right)\sim
\left(\begin{matrix}
1 & 0 & 2 & 1 \\
0 & 1 & -2 & 1 \\
0 & 0 & 0 & 0 \\
\end{matrix}\right)
$$
第1、2列为主元列，3、4列为自由列，也即
$$
\begin{cases}
x_1= -2x_3-x_4\\
x_2= 2x_3-x_4\\
x_3 \text{是自由变量}\\
x_4 \text{是自由变量}
\end{cases}
$$
也即
$$
x = x_3\left(\begin{matrix}
-2 \\
2 \\
1 \\
0 \\
\end{matrix}\right)+x_4\left(\begin{matrix}
-1 \\
-1 \\
0 \\
1 \\
\end{matrix}\right)
$$
也就是说$\left(\begin{matrix}
-1 \\
-1 \\
0 \\
1 \\
\end{matrix}\right)$与$\left(\begin{matrix}
-2 \\
2 \\
1 \\
0 \\
\end{matrix}\right)$是$V_1$正交补的一组基