# SFTune

**Repository Path**: chenzengming/sftune

## Basic Information

- **Project Name**: SFTune
- **Description**: 大模型微调
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-02-12
- **Last Updated**: 2025-02-14

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# CodeReview-LLM 代码审查助手

基于 Llama2 模型的代码审查助手，通过 QLoRA 微调实现。该项目旨在提供智能化的代码审查建议，帮助开发者提高代码质量。

## 功能特点

- 基于 Llama2-7B 模型进行微调
- 使用 QLoRA 技术实现高效低资源的模型训练
- 支持多种代码问题的识别和建议：
  - 逻辑错误
  - 异常处理
  - 安全漏洞
  - 性能反模式
  - 代码异味
  - 资源泄漏

## 环境要求

- Python 3.8+
- PyTorch
- transformers
- peft
- trl
- datasets
- bitsandbytes

## 安装步骤

1. 克隆仓库
```bash
git clone [your-repository-url]
cd CodeReview-LLM
```

2. 安装依赖
```bash
pip install -r requirements.txt
```

## 使用方法

### 数据生成

使用 `generate_data.py` 生成训练数据：

```bash
python data/generate_data.py
```

### 模型训练

运行 `train_Qlora.py` 开始训练：

```bash
python train_Qlora.py
```

## 项目结构

```
├── configs/
│   └── ds_config.json    # DeepSpeed 配置文件
├── data/
│   ├── generate_data.py  # 训练数据生成脚本
│   ├── dataset_utils.py  # 数据集处理工具
│   └── python_code_review_dataset.jsonl
├── train_Qlora.py        # 模型训练主脚本
└── README.md
```

## 训练参数配置

- 基础模型：Llama-2-7b
- 训练轮次：3
- 批次大小：4
- 学习率：2e-5
- 梯度累积步数：2
- LoRA 配置：
  - rank：8
  - alpha：32
  - dropout：0.05

## 数据集说明

训练数据集包含两部分：
1. CodeAlpaca-20k 数据集
2. 自动生成的代码审查数据集

## 许可证

[选择合适的许可证]

## 贡献指南

欢迎提交 Issue 和 Pull Request！

## 联系方式

[您的联系方式]