# daguan_code

**Repository Path**: quincyqiang/daguan_code

## Basic Information

- **Project Name**: daguan_code
- **Description**: 第五届达观杯复赛仓库，队伍名称是XiaoChuan Sun
- **Primary Language**: Python
- **License**: Unlicense
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2021-10-27
- **Last Updated**: 2021-10-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# daguan_code

#### 介绍
第五届达观杯复赛仓库

所使用的依赖：使用Pytorch 1.7.1，cuda是  ，使用的模型是pytorch版本的nezha-cn-base，预训练模型权重下载地址：https://github.com/lonePatient/NeZha_Chinese_PyTorch

主要思路：
1.预训练使用的是albert的ngram mask任务来替代mlm任务，新增一个structbert里提到的word struct prediction 任务，随机打乱连续的三个词，让模型来还原这三个词。预训练之后的模型权重保存在user_data/saved_pretrain_model_record/checkpoint-240000，取的是24万步生成的模型，整个代码只用了一个nezha-cn-base模型。

2.微调使用到的trick，(1).PGD对抗训练，(2).UDA中的TSA，(3).自定义的模型架构，(4).EMA，(5).lookahead.

代码运行流程：

##### 1.process data


> run data/code/process_data/process_data.py 
> 运行环境 ： GPU -> 单卡 RTX-3090， CPU -> inter 10700K


##### 2.build vocab


> run data/code/build_vocab/build_vocab.py
> 运行环境 ： GPU -> 双卡 GTX-1080Ti， CPU -> inter Xeon platinum 6164 cpu @1.90GHz


##### 3.pretrain


> run data/code/pretrain_code/run_pretrain.py 
> 运行环境 ： GPU -> 双卡 GTX-1080Ti， CPU ->  inter Xeon platinum 6164 cpu @1.90GHz


##### 4.finetune


> run data/code/finetune_code/run_classify.py 
> 运行环境 ： GPU -> 单卡 RTX-3090， CPU -> inter 10700K


##### 5.predict


> run data/code/predict_code/run_predictor.py
> 运行环境 ： GPU -> 单卡 RTX-3090， CPU -> inter 10700K



##### 6.fusion


> run data/code/fusion_code/run_fusion.py
> 运行环境 ： GPU -> 单卡 RTX-3090， CPU -> inter 10700K