# data-management-platform

**Repository Path**: zouxv587/data-management-platform

## Basic Information

- **Project Name**: data-management-platform
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-11-26
- **Last Updated**: 2025-12-02

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 数据管理平台 (Data Management Platform)

## 项目简介

本项目是从原`4854assetcatalog`工程中抽离出来的独立Maven工程，主要包含`datamanage`和`datajson`两个核心模块。

### 核心功能

1. **数据管理模块 (datamanage)**
   - 数据湖到数管平台的数据同步
   - A01-A04数据类型报送
   - 数据集批量同步和删除
   - 数管平台API调用封装

2. **数据JSON模块 (datajson)**
   - A01-A04格式JSON数据生成
   - 数据存储和查询服务
   - 定时任务自动化处理
   - 配置信息管理

## 技术栈

- **框架**: Spring Boot 2.7.14
- **数据库**: PostgreSQL
- **ORM**: Spring Data JPA + Hibernate
- **工具库**: Hutool 5.8.20
- **文档**: Swagger 3.0.0
- **构建工具**: Maven 3.x
- **JDK版本**: Java 8+

## 项目结构

```
data-management-platform/
├── src/
│   ├── main/
│   │   ├── java/com/cnpc/datamanage/
│   │   │   ├── DataManageApplication.java      # 启动类
│   │   │   ├── datamanage/                     # 数据管理模块
│   │   │   │   ├── api/                        # API控制器
│   │   │   │   ├── service/                    # 业务服务
│   │   │   │   ├── conf/                       # 配置服务
│   │   │   │   └── util/                       # 工具类
│   │   │   └── datajson/                       # 数据JSON模块
│   │   │       ├── api/                        # API控制器
│   │   │       ├── service/                    # 业务服务
│   │   │       ├── entity/                     # 实体类
│   │   │       ├── repository/                 # 数据访问层
│   │   │       ├── task/                       # 定时任务
│   │   │       └── config/                     # 配置类
│   │   └── resources/
│   │       ├── application.yml                 # 主配置文件
│   │       ├── application-dev.yml             # 开发环境配置
│   │       ├── application-prod.yml            # 生产环境配置
│   │       └── logback-spring.xml              # 日志配置
│   └── test/
├── pom.xml                                     # Maven配置文件
└── README.md                                   # 项目说明
```

## 快速开始

### 1. 环境准备

- JDK 1.8+
- Maven 3.6+
- PostgreSQL 数据库

### 2. 数据库初始化

```sql
-- 创建数据库和schema
CREATE DATABASE SYS;
CREATE SCHEMA IF NOT EXISTS epai_asset_catalog;

-- 创建表结构（根据entity自动生成）
```

### 3. 配置文件

修改 `application-dev.yml` 中的数据库连接信息：

```yaml
spring:
  datasource:
    url: jdbc:postgresql://localhost:5432/SYS?currentSchema=epai_asset_catalog
    username: your_username
    password: your_password
```

### 4. 运行项目

```bash
# 编译项目
mvn clean compile

# 运行项目
mvn spring-boot:run

# 或者打包运行
mvn clean package
java -jar target/data-management-platform-1.0.0-SNAPSHOT.jar
```

### 5. 访问接口

- **应用地址**: http://localhost:8080/data-manage
- **Swagger文档**: http://localhost:8080/data-manage/swagger-ui/index.html

## 配置说明

### 配置信息留白

本项目的配置文件中，敏感信息和环境相关的配置已留白，需要在实际部署时填写：

#### 数据库配置
```yaml
spring:
  datasource:
    url: jdbc:postgresql://host:port/database?currentSchema=schema
    username: your_username
    password: your_password
```

#### 业务配置
```yaml
datamanage:
  datalake:
    base-url: 数据湖服务地址
    client-id: 客户端ID
    client-secret: 客户端密钥

  platform:
    api-base-url: 数管平台API地址
    org-code: 组织编码
    system-code: 系统编码

  auth-codes:
    a01: A01接口授权码
    a02: A02接口授权码
    # ... 其他接口授权码
```

## API接口

### 数据同步接口

| 接口 | 方法 | 描述 |
|------|------|------|
| /api/datamanage/sync/syncA01 | GET | 同步数据资源汇聚情况(A01) |
| /api/datamanage/sync/syncA02 | GET | 同步质控模型使用情况(A02) |
| /api/datamanage/sync/syncA03 | GET | 同步数据服务使用情况(A03) |
| /api/datamanage/sync/syncA04 | GET | 同步数据平台建设情况(A04) |
| /api/datamanage/sync/syncA05ByDsTypeIdAndDsId | GET | 同步数据集(A05-1、A05-2) |
| /api/datamanage/sync/deleteByDsTypeIdAndDsId | GET | 删除数据集 |
| /api/datamanage/sync/batchSyncByDsTypeId | GET | 批量同步数据集 |

### 查询接口

| 接口 | 方法 | 描述 |
|------|------|------|
| /api/datamanage/sync/queryB01 | GET | 数据业务分类查询(B01) |
| /api/datamanage/sync/queryB02 | GET | 数据集查询(B02) |
| /api/datamanage/sync/queryB03 | GET | 数据元标准查询(B03) |
| /api/datamanage/sync/queryB04_1 | GET | 参考数据标准服务查询(B04-1) |
| /api/datamanage/sync/queryB04_2 | GET | 参考数据标准编码服务查询(B04-2) |

## 部署说明

### 开发环境

```bash
# 使用开发环境配置
java -jar -Dspring.profiles.active=dev target/data-management-platform-1.0.0-SNAPSHOT.jar
```

### 生产环境

```bash
# 使用生产环境配置
java -jar -Dspring.profiles.active=prod target/data-management-platform-1.0.0-SNAPSHOT.jar
```

## 注意事项

1. **配置安全**: 生产环境部署前请务必填写所有配置信息
2. **数据库权限**: 确保数据库用户有相应的读写权限
3. **网络连通**: 确保应用能够访问数据湖和数管平台的API
4. **定时任务**: 默认每天凌晨2点执行数据生成任务
5. **日志监控**: 建议配置日志收集和监控系统

## 联系方式

如有问题，请联系开发团队。