# ulsm

**Repository Path**: yt7589/ulsm

## Basic Information

- **Project Name**: ulsm
- **Description**: Universal Latent Space Modle: ulsm
- **Primary Language**: Python
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-10-07
- **Last Updated**: 2025-10-08

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# ulsm

#### 介绍
统一隐空间模型（Universal Latent Space Modle: ulsm），使用基于白盒Transformer理论的ToST（Token Statistics Self Attention and Multi Subspace Self Attention）算法，分别获取图像和文本向量，然后利用Clip算法使图像和文本特征对齐，从而生成统一隐空间表示。验证此隐空间表示具有分割的涌现功能。
基于白盒Transformer理论，利用扩散模型训练Decoder模型，实现文本到图像生成和图像到文本生成。

#### 软件架构
软件架构说明


#### 安装教程

1.  xxxx
2.  xxxx
3.  xxxx

#### 使用说明

1.  训练原始Clip模型
```bash
cd diskc/yantao/adev/ulsm
conda activate ctsp
python -m apps.clip.clip_main --run_mode 1 --task 1
```
2.  测试
```bash
cd diskc/yantao/adev/ulsm
conda activate ctsp
python -m apps.clip.clip_main --run_mode 1 --task 2
```
3.  零样本分类
```bash
cd diskc/yantao/adev/ulsm
conda activate ctsp
python -m apps.clip.clip_main --run_mode 1 --task 3
```
4. Tost模型训练
```bash
cd diskc/yantao/adev/ulsm
conda activate ctsp
torchrun --nproc_per_node=4 app_main.py --model tost_cab_tiny_12_p16 --batch-size 64 --drop-path 0.0 --output_dir ./work/outputs/tost_cab_tiny_12_p16/ --epochs 400
# 从头训CIFAR100，使用图像增强技术情况下，精度69%左右
```
5. Tost预测
```bash
cd diskc/yantao/adev/ulsm
conda activate ctsp
python app_main.py --predict --model tost_cab_tiny_12_p16 --input-size 224 --full_crop --pretrained ./work/ckpt/clip/best_model.pth
```


#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)