# vlp

**Repository Path**: lin_wei_hung/vlp

## Basic Information

- **Project Name**: vlp
- **Description**: Vision Language Pretraining
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-07-23
- **Last Updated**: 2023-05-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Vision Language Pretraining

- [Vision Language Pretraining](#vision-language-pretraining)
  - [Document](#document)
  - [CLIP](#clip)
    - [OpenAI CLIP](#openai-clip)
    - [Open CLIP](#open-clip)
  - [Dataset](#dataset)
    - [MedICaT](#medicat)
    - [ROCO](#roco)
  - [Env](#env)

## Document
[工作文档](https://docs.qq.com/doc/DSnJkQ3dOaVhGeWFZ?&u=eb86f71474554b9685627c67ee482fb9)


## CLIP

### OpenAI CLIP
用 CLIP 做分类任务确认代码的正确性, `python test.py`. 不过 CLIP 官方没有 release training code, 所以只好转 `open_clip`.
[Github Repo](https://github.com/openai/CLIP)

### Open CLIP

操作步骤见 [OpenCLIP](./Doc/OpenCLIP.md)

[Github Repo](https://github.com/mlfoundations/open_clip)


## Dataset
对 Dataset 的数据进行一定的预处理和分析, 详见 [Dataset](./Doc/Dataset.md)

### MedICaT
- Github: https://github.com/allenai/medicat
- 只好先上传到迅雷云盘上, 然后通过插件获取直链, 然后再用 `curl -C` 命令下载, 当前估算得到的时间是 12day.

### ROCO
- Github: https://github.com/razorx89/roco-dataset
- ROCO 官方给的是 distributed dataset, 需要根据它提供的链接下载, 但是很不稳定; 因此直接从 Kaggle 上找到 ROCO 数据集, 迅雷下载到 PC
- Local Path: `/remote-home/share/medical/public/ROCO`

## Env
详见 [ENV.md](./Doc/ENV.md)