# text-summary

**Repository Path**: xylve/text-summary

## Basic Information

- **Project Name**: text-summary
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-03-08
- **Last Updated**: 2025-03-08

## Categories & Tags

**Categories**: Uncategorized

**Tags**: AI

## README

# 文本摘要系统

这是一个基于多种算法实现的中文文本摘要系统，旨在从对话文本中提取关键信息并生成摘要。

## 项目概述

本项目实现了多种文本摘要算法，包括：

1. **TextRank算法**：基于图模型的无监督摘要方法
2. **Seq2Seq模型**：基础的序列到序列神经网络模型
3. **PGN (Pointer-Generator Network)模型**：带有指针机制和覆盖机制的增强型Seq2Seq模型

项目还包含了多个基线模型的实现，用于性能比较和评估。

## 项目结构

```
.
├── data/                       # 数据集目录
│   ├── train.csv               # 训练数据
│   ├── test.csv                # 测试数据
│   ├── stopwords.txt           # 停用词表
│   └── user_dict.txt           # 用户词典
├── textrank/                   # TextRank模型实现
│   ├── model.py                # 模型核心代码
│   └── demo.py                 # 演示脚本
├── seq2seq/                    # Seq2Seq模型实现
│   ├── src/                    # 源代码
│   ├── data/                   # 模型专用数据
│   └── utils/                  # 工具函数
├── pgn/                        # Pointer-Generator Network模型实现
│   ├── src/                    # 源代码
│   ├── data/                   # 模型专用数据
│   ├── utils/                  # 工具函数
│   ├── saved_model/            # 保存的模型
│   ├── eval_result/            # 评估结果
│   ├── tserver/                # 服务器部署代码
│   └── wv/                     # 词向量
├── baseline-1_seq2seq/         # Seq2Seq基线模型
├── baseline-2_pgn/             # PGN基线模型1
├── baseline-3-4_pgn/           # PGN基线模型2-3
└── requirements.txt            # 项目依赖
```

## 技术栈

本项目使用的主要技术和库包括：

- PyTorch：深度学习框架
- TensorboardX：可视化训练过程
- Jieba：中文分词
- TextRank4ZH：TextRank算法实现
- Rouge：评估摘要质量
- Flask：Web服务部署

## 安装与使用

### 环境要求

- Python 3.6+
- CUDA 11.3+ (用于GPU加速，可选)

### 安装依赖

```bash
pip install -r requirements.txt
```

### 数据准备

项目使用的数据集格式为CSV，包含对话内容和摘要。数据集已包含在`data`目录中。

### 模型训练

#### TextRank模型

```bash
cd textrank
python model.py
```

#### Seq2Seq模型

```bash
cd seq2seq
python src/train.py
```

#### PGN模型

```bash
cd pgn
python src/train.py
```

### 模型评估

```bash
cd pgn
python src/rouge_eval.py
```

### 模型预测

```bash
cd pgn
python src/predict.py
```

### Web服务部署

```bash
cd pgn/tserver
python app.py
```

## 模型性能

各模型在测试集上的ROUGE评分比较：

| 模型     | ROUGE-1 | ROUGE-2 | ROUGE-L |
| -------- | ------- | ------- | ------- |
| TextRank | -       | -       | -       |
| Seq2Seq  | -       | -       | -       |
| PGN      | -       | -       | -       |

## ✨ 联系我： 

<img src="./img/linkme.png" alt="image-20240119002412787" style="zoom:50%;" />

## 📌 学习笔记

### 我的所有开源代码

https://gitee.com/xylve

**闭源授权模式，不开放源代码。如果您有任何问题或者需要帮助，请随时联系我。同时，如果您喜欢我的表现，记得给我点个赞哦，这将是我不断前进的动力。**