# data-clear

**Repository Path**: DongSongg/data-clear

## Basic Information

- **Project Name**: data-clear
- **Description**: 用做科研数据清理
用做科研数据清理
用做科研数据清理
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-02-10
- **Last Updated**: 2026-02-13

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

**运行服务**

```bash
source init.sh   # 或 source venv/bin/activate
pip3 install -r requirements.txt
python index.py  # 或 py index.py
```

接口：`POST /upload` 上传 Excel，导入 DuckDB。文档：http://localhost:8000/docs

---

1. **初步目标：**
   我们要为科研人员提供一个**数据清洗工具**，利用 **DuckDB** 进行快速的数据清洗和分析，之后再将数据存入 **PostgreSQL**，为长期科研数据平台的建设做好准备。

2. **阶段 1：**

   - 使用 **DuckDB** 读取 Excel 或 CSV 数据。
   - 完成数据清洗，包含宽表转长表、单位拆分等。

3. **阶段 2：**

   - 在 PostgreSQL 中建立数据平台，支持多中心数据和长期随访。
   - 提供增量更新、数据合并和队列构建等功能。
   - 结合 DuckDB 和 PostgreSQL，确保工具具有扩展性和可持续性。