# Transformer的Pytorch复现

**Repository Path**: penguink3/Transformer_Pytorch

## Basic Information

- **Project Name**: Transformer的Pytorch复现
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2022-03-17
- **Last Updated**: 2026-02-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 项目内容
1. ag_new 数据集
2. 虚拟生成一组序列用于transformer预测的数据集
3. 自己写的Transformer代码
4. 封装pytorch的Transformer代码

# 文件目录

```
ag_news_csv: 数据集目录（暂时还没用）
    test.csv: 测试数据集
    train.csv: 数据集

MyTransformer: 自己使用Pytorch框架写的Transformer
    Muti_Head_Attention: 多头注意力机制和Decoder,Encoder实现
    Transformer: Transformer主类
    MyTrans_test: 使用一条输入数据测试MyTransformer的输入输出

virtual_data_test: 使用virtual data 进行Transformer实验
    virtual_data: 生成虚拟数据
    run_vir_data: 训练模型，使用的是目录中的Transformer_PT中封装的Transformer
    eval_vir_data: 测试训练好的模型

Transformer_PT.py: 自己封装的Transformer，其中自定义 Embedding 和 Positional Encoding
```