# FDP

**Repository Path**: noahcbt/fdp

## Basic Information

- **Project Name**: FDP
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-06-04
- **Last Updated**: 2024-07-03

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 开发思路及细节

## 一.分析
从整体来看，文章中的模型每一次传入的是四张图片。先是一个VGG19除去后三层全连接的部分，随后进行分支。一个方向实现了对四张图片输出结果的拼接，再加上一个Unet的Decoder；另外一个方向直接实现了将四个结果传入Unet的Decoder。模型在原文中的实现图例如下所示：
![文章中的模型](./article/image/111.jpg)
可以看到整个模型的复杂度并不算高，其核心在于将VGG的四层结果提取出来，替代传统Unet左侧的特征提取部分。因此需要在这一部分输出模型结果的时候输出这部分内容。同时，在右侧的Decoder部分也需要正确的对提取到的层进行载入。  
详细看上图，在Unet部分有一个**Deconv**的部分，这部分我们暂时不知道原文是如何实现的，但是根据估计来看，应该是先将传入的3DCNN进行一个反卷积（`nn.ConvTranspose2d()`），再进行`torch.cat()`的组合。  
整个模型其实可以分为三部分：  
- ①左侧VGG19的特征提取部分
- ②右侧上半部分的未来预测分支
- ③右侧下半部分的框架重建部分  

实际上三个部分应该都是可以独立出来的。在实验中我们可能会尝试先进行①②，确保模型是收敛的，然后将③加入，以完善整个网络。

## 开发计划

- 2024年6月4日：完成模型整体框架的搭建
- 2024年6月4日：完成对模型的分解，可以通过参数选择执行某个分支
- 2024年6月5日：完成模型在服务器环境上的第一次训练
- 2024年6月5日：生成实验记录文档
- 2024年6月6日：若实验可行，搭建实验流水线（明显不收敛再找方法）
- 2024年6月7日：完善代码，添加注释（优化本markdown）
- 2024年6月7日：考虑优化方案