@sun_grad
sun_grad 暂无简介
大数据平台数据服务框架。实现了Kafka实时数据过滤、清洗、转换、消费,实现了Spark SQL对Redis、MongoDB等非关系型数据库的数据的读写;集成了规则引擎,可基于规则引擎实现客户标签、画像等相关功能。
基于华为大数据平台FusionInsight的流数据处理服务。实时采集日志文件,经过数据清洗、解析、标准化等处理后,将数据落地到数据库,供后续其他服务程序使用。