# checkpoint_demo

**Repository Path**: lin_wei_hung/checkpoint_demo

## Basic Information

- **Project Name**: checkpoint_demo
- **Description**: Checkpoint Demo
- **Primary Language**: Unknown
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-12-30
- **Last Updated**: 2023-02-16

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# README

- [README](#readme)
  - [ROCO](#roco)
  - [PMC\_OA](#pmc_oa)
  - [RN50\_PubmedBERT\_200](#rn50_pubmedbert_200)
  - [Model](#model)
    - [RN50x16](#rn50x16)
    - [MedICaT](#medicat)

## ROCO
`demo_1.py`: 在 ROCO 上训练的 CLIP

```cmd
链接：https://pan.baidu.com/s/1sz6Unz8yk0XevssxE2czww
提取码：szye
```

## PMC_OA
`demo_2.py`: 在 PMC_OA 上训练的 CLIP, 

```cmd
链接：https://pan.baidu.com/s/1NztjdUWgacrwLUX3d9UXWw 
提取码：qfm7
```

由于训练过程中采用了不同的模型结构, 所以使用的方式稍有不同.

## RN50_PubmedBERT_200
`demo_3.py`: CLIP-Base.

没有用 MoCo/Fusion 之类的, 只做了基本的 pretrain.

```cmd
**ROCO**
链接：https://pan.baidu.com/s/1X_Tyi5knXEoCVX8X6ZozdA 
提取码：lwsk

**PMC**
链接：https://pan.baidu.com/s/1neUuHJcISJp5EhtrnOiG4Q 
提取码：awnv
```

## Model

| ID | Model | Remark |
| --- | --- | --- |
| 1 | RN50 |  |
| 2 | RN50101 |  |
| 3 | RN50x4 |  |
| 4 | RN50x16 |  |
| 5 | MoCo-256 |  |
| 6 | MoCo-512 |  |
| 7 | MoCo-128 |  |

TODO
1. Visual Encoder
2. MoCo
3. MLM_IMG
4. 换 TextEncoder
5. Fusion Layer


### RN50x16

`demo4.py`： CLIP-RN50x16
1. 这个 model 是在 ROCO 上训练的
2. 它的 image encoder 比较大, image_size 为 384
3. 提取得到的 img_feature 与 text_feature 的维度都是 768

```
链接：https://pan.baidu.com/s/1hAhyajnFHWE-N7OWbCOrBA 
提取码：doj0
```

### M3AE
用了 ROCO + MedICaT 训练, 和 M3AE 对齐

```python
链接: https://pan.baidu.com/s/1Hu9-1aSxeixo4EdBs0lVnw 
提取码: adjl
```

样例写在了 `demo5.py` 中, 请注意 img_size 为 288