# data-push

**Repository Path**: world_of_wind_and_dust/data-push

## Basic Information

- **Project Name**: data-push
- **Description**: Flink学习教程,深入了解其原理。
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-02-22
- **Last Updated**: 2024-08-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Flink-tutorial

flink学习项目
## 项目结构
- flink-learning-basic 学习测试demo
- flink_learning-common 公共类
```

# link-learning-basic
-- common 公共类
-- config 配置项
-- constant 常量
-- custom 自定义函数
-- entry 实体类
-- enums 枚举
-- job JOB任务
-- log 日志
-- sink 数据下沉测试
-- source 数据源连接测试
-- table table api测试
-- utils 工具类


```

## 安装

git clone http://192.168.1.132/gisquest-equity-utilization/flink-utilize.git

## 使用

- IDEA开发环境启动:

  修改配置文件的数据库连接配置

  <img src="docs/img/image-20230310162216522.png" alt="image-20230310162216522" style="zoom:50%;" />

  sourcedb.为数据源的数据库配置：

  <img src="docs/img/image-20230310162246986.png" alt="image-20230310162246986" style="zoom:50%;" />

  ckdb.为ck数据库的配置：

  <img src="docs/img/image-20230310162321425.png" alt="image-20230310162321425" style="zoom:50%;" />

  启动程序：

  配置main函数启动程序时包含provided的依赖

  <img src="docs/img/image-20230310162713463.png" alt="image-20230310162713463" style="zoom:50%;" />

  <img src="docs/img/image-20230310162742636.png" alt="image-20230310162742636" style="zoom:50%;" />
  <img src="docs/img/image-20230310162644508.png" alt="image-20230310162742636" style="zoom:50%;" />

- FLINK服务启动

将程序打包：

<img src="docs/img/image-20230310163049644.png" alt="image-20230310163049644" style="zoom:50%;" />

jar包目录位置：

``flink-utilize\flink-stream\target\flink-utilize-1.0.jar``

<img src="docs/img/image-20230310163134742.png" alt="image-20230310163134742" style="zoom:50%;" />

打开flink-web-ui：

Submit new Job上传刚刚打的jar包
入参可选：
例子：Fact_Gyjh
ck库数据表对应的表名，_后的首字母改成大写
<img src="docs/img/image-20230310163321149.png" alt="image-20230310163321149" style="zoom:80%;" />

运行情况

<img src="docs/img/image-20230310163416798.png" alt="image-20230310163416798" style="zoom:80%;" />

## 功能

- [x] DataSteam方式实现pg库单表同步到CK的单表
- [x] TableApi方式实现pg库单表同步到CK的单表
- [ ] DataSteam方式实现pg库多表关联后同步到CK的宽表
- [x] TableApi方式实现pg库多表关联后同步到CK的宽表

## 示例