# xidw

**Repository Path**: lpf521824/xidw

## Basic Information

- **Project Name**: xidw
- **Description**: 数据中台。基础功能包括：系统管理，配置中心，系统状态，数据汇聚(ETL)，元数据管理，数据治理，数据质量，数据集市，数据分析。单体模式（微服务即将开源），支持win,linux,docker,k8s部署。前端使用VITE+UVE全家桶+element pluse。
- **Primary Language**: Go
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: https://gitee.com/xidw
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 6
- **Created**: 2024-08-13
- **Last Updated**: 2024-08-13

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# xidw --> 基于go语言的数据中台（ETL+数据仓库+数据治理+数据服务),支持windows和linux环境。数据治理和数据服务部分即将开源。微服务新版本地址：https://gitee.com/go-swa/swa

技术交流,软件服务,联系方式: 微信号：xidwauthor QQ群：547882356 邮箱：xidwauthor@sina.com

#### 介绍
```
使用go语言开发的数据中台（ETL+数据仓库+数据治理+数据服务。
基础功能包括：系统管理，配置中心，系统状态，数据汇聚，数据质量，数据资产，数据服务，数据分析。
外部数据源支持：oracle,mysql系列,pgsql系列,ftp下载及入库,kafka消费及入库,用户自定义数据表及数据上传...
数据湖支持：mysql系统,pgsql系列,clickhouse
数据仓库支持:mysql系统,pgsql系列,clickhouse
数据同步方式支持：一次全量同步,定时同步,实时同步(需安装kafka+etcd),kafka同步
数据服务方式扶持：http/https接口,tcp接口,rpc/grpc接口
微服务支持：go-micro + etcd + gin 组合
单体模式(可拆分为微服务)，支持win,linux,docker,k8s部署。后端使用gin框架(GVA),前端使用VITE+UVE全家桶+element plus。
```
#### 项目结构
```
── apps             应用...统一分类，二次开发时，将新应用(使用xidw_autocode快速自动生成CRUD前后端基础代码)放在此即可(将新应用注册到appGroup,migrate,router)
    └──app1
    └──app2
    └──app...       数据仓库功能模块：ODS,DM,DWS,ADS,UDS...
    └──appGroup     app统一分组归类：API,ROUTER,SERVICE
    └──migrate      app需要迁移到数据库的表注册
    └──router       app路由初始化
── config           系统基础配置yaml映射及到types
── core             系统初始化及系统启动
    └──server_init
    └──server_linux
    └──server_run
    └──server_win
── dbtools          ETL数据库整合及同步功能
    └──xmysql
    └──xpgsql
    └──xoracle
    └──xcanal
    └──sql_db
    └──gorm_db
── docker           docker部署相关说明
── file_server      文件上传下载存储
── global           全局变量、常量定义
── initialize       系统变量初始化
── log              日志存储
── middleware       中间件
    └──casbin 
    └──jwt
    └──operation
── model            基础types
── utils            通用功能函数：string,slice,map,zap,jwt,hash.....
```

#### 安装教程
1.  server:参考sever文件夹中readme.md文件
2.  web:参考web文件夹中readme.md文件

#### 使用说明
1.  即将发布
2.  即将发布
3.  即将发布

#### 项目预览

1.  数据汇聚
![img.png](img.png)
![img_1.png](img_1.png)
![img_2.png](img_2.png)
![img_3.png](img_3.png)
![img_4.png](img_4.png)
![img_5.png](img_5.png)
![img_6.png](img_6.png)
![img_7.png](img_7.png)
![img_8.png](img_8.png)
![img_9.png](img_9.png)
![img_10.png](img_10.png)
2. 数据服务
![img_12.png](img_12.png)
3. 更多预览参考项目运行结果
4. 在线预览即将上线...

觉得有点参考价值,请star...
联系方式：xidwauthor@sina.com