# Gpt2_ChatBot

**Repository Path**: zhihonglin/Gpt2_ChatBot

## Basic Information

- **Project Name**: Gpt2_ChatBot
- **Description**: 基于GPT2架构的对话模型
预训练一个模型
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2025-06-08
- **Last Updated**: 2026-02-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 说明

- 本项目是用来学习预训练 pre-training 任务
- 这里用的是 GPT-2 架构，也就是仅解码器（only-decoder）架构，方便对话使用
- 项目的目录结构模仿 GitHub 上的官方项目，可读性强
- 因为是学习性质，所以有详细文档描述，可以参考 `/doc` 目录下的内容
- 核心代码位于 `/gpt2_chatbot` 目录下

## 配置环境

### 创建 Python 环境

```shell
# 建议新建一个 Python 环境 
conda create --name gpt2_chatbot python=3.10
conda activate gpt2_chatbot
```

### 安装依赖包

```shell
# 下载依赖包：这里依赖包都放在 requirements.txt 中，一键自动全部下载
# 注意：直接下载默认是 CPU 版本（我的电脑没显卡，我无所谓罢了）
# 使用清华镜像加速下载（可选）
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
```

## 数据预处理与训练

### 第一步：数据预处理

```shell
python gpt2_chatbot\data_handle\proprecess.py
```

### 第二步：训练模型

```shell
# python gpt2_chatbot\train.py  # 第一版

python gpt2_chatbot\train2.py  # 第二版多了断点继训。 可以暂停训练，下次再继续训练。
```

### 第三步：测试模型(对话聊天)

``` shell

python gpt2_chatbot\predict.py # 这里我偷懒了，checkpoint_path记得改为你对自己电脑的路径
```

---

*如有任何问题，请参考项目文档或联系作者。*