# cbm-high-performance

**Repository Path**: holmes1216/cbm-high-performance

## Basic Information

- **Project Name**: cbm-high-performance
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-12-09
- **Last Updated**: 2025-12-09

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# RVS Platform - 微服务编排系统

**高性能、高可靠的工业级微服务架构，专为实时数据分析设计。**

```
 ____     __    __    ____  
|  _ \   / \  (  )  / ___| 
| |_) | / _ \  \/   \___ \ 
|  _ < / ___ \ /\    ___) |
|_| \_/_/   \_\/  \  |____/ 

RVS Platform - Real-time Vision System
```

## 🌟 核心特性

- ✅ **实时编排** - Node-RED 可视化业务流程编排
- ✅ **高并发** - 支持 100+ 任务并行处理
- ✅ **异步削峰** - Celery 队列自动缓冲突增流量
- ✅ **无状态计算** - 支持水平自动扩展
- ✅ **事务一致性** - MySQL 行级锁确保数据准确
- ✅ **分布式存储** - MinIO S3 兼容对象存储
- ✅ **生产就绪** - 完整的监控、日志、告警体系

## 📊 系统架构

```
┌────────────────────────────────────────────────────────────┐
│ Node-RED (编排引擎)                                         │
│ 定时触发 → 业务判断 → 生成报告                             │
└────────────────┬───────────────────────────────────────────┘
                 │
           APISIX 网关 (路由/负载均衡)
                 │
    ┌────────────┼────────────┐
    ↓            ↓            ↓
┌──────────┐ ┌────────┐ ┌──────────┐
│ Sync Svc │ │Oil Svc │ │Thermal S │
│(编排)    │ │(计算)  │ │  (计算)  │
└────┬─────┘ └────┬───┘ └────┬────┘
     │            │          │
     └────────────┼──────────┘
                  ↓
         ┌──────────────────┐
         │ MySQL │ Redis    │
         │ MinIO │其他    │
         └──────────────────┘
```

## 🚀 5 分钟快速启动

### 1️⃣ 前置要求
- Docker Desktop (已安装 Docker + Docker Compose)
- 4GB+ RAM, 10GB+ 磁盘空间

### 2️⃣ 启动服务

**Windows (PowerShell):**
```powershell
.\startup.ps1
```

**Mac/Linux (Bash):**
```bash
chmod +x startup.sh
./startup.sh
```

**或手动启动：**
```bash
docker-compose up -d
```

### 3️⃣ 验证状态
```bash
docker-compose ps
# 预期所有服务显示 "Up"
```

### 4️⃣ 访问界面
- **Node-RED 编排:** http://localhost:1880
- **MinIO 存储:** http://localhost:9001 (minioadmin/minioadmin)
- **API 文档:** http://localhost:8001/docs

### 5️⃣ 配置流程
按照 [NODE_RED_SETUP.md](./NODE_RED_SETUP.md) 配置两条流程线。

## 📚 文档

| 文档 | 内容 | 时长 |
|------|------|------|
| [QUICKSTART.md](./QUICKSTART.md) | 5 分钟快速入门指南 | 5 min |
| [NODE_RED_SETUP.md](./NODE_RED_SETUP.md) | Node-RED 详细配置步骤 | 15 min |
| [ARCHITECTURE.md](./ARCHITECTURE.md) | 系统架构与设计原理 | 30 min |

## 🛠️ 工具

- **startup.ps1** / **startup.sh** - 一键启动脚本
- **health_check.py** - 健康检查工具

### 使用启动脚本

```bash
# 启动所有服务
./startup.sh

# 执行健康检查
./startup.sh --health

# 查看实时日志
./startup.sh --logs

# 关闭所有服务
./startup.sh --down
```

### 使用健康检查

```bash
# 基础检查
python health_check.py

# 详细输出
python health_check.py --verbose

# 全面检查（包括数据库）
python health_check.py --full
```

## 📦 核心组件

### Sync Service (编排者)
- 从 Power Automate 拉取原始数据
- 上传 Base64 图片到 MinIO
- 拆分为子任务，分发到计算服务
- 聚合结果，触发报告生成
- **端口:** 8001

### Oil Service (油液分析)
- 处理油液图像分析任务
- 支持 2+ 副本并发处理
- Celery 异步任务队列
- **端口:** 8002

### Thermal Service (热成像分析)
- 处理热成像图像分析任务
- 支持副本扩展
- Celery 异步任务队列
- **端口:** 8003

### Report Service (报告生成)
- 查询分析结果数据库
- 生成最终报告（PDF 等）
- 上传到 MinIO
- **端口:** 8004

### 基础设施
| 组件 | 用途 | 地址 |
|------|------|------|
| **MySQL** | 任务状态持久化 | localhost:3306 |
| **Redis** | 任务队列 + 缓存 | localhost:6379 |
| **MinIO** | 对象存储 (Base64 图片) | localhost:9000 |
| **APISIX** | API 网关 | localhost:9080 |
| **Node-RED** | 业务编排引擎 | localhost:1880 |

## 🔄 完整数据流

```
[Power Automate 原始数据]
         ↓
[Sync Service 接收] → Base64 → MinIO (存储)
         ↓
[拆分子任务] → Celery 队列 (削峰)
         ↓
[分发任务] → 负载均衡 (APISIX)
         ↓
┌──────────┬──────────┐
↓          ↓
[Oil Svc] [Thermal Svc] (并行计算)
↓          ↓
└──────────┬──────────┘
         ↓
[Sync 聚合结果] → MySQL (存储)
         ↓
[检查 100% 完成?]
         ├─ No → 继续等待回调
         └─ Yes → 触发 Node-RED webhook
                   ↓
              [Node-RED 接收信号]
                   ↓
              [Report Service 生成报告]
                   ↓
              [返回报告 URL]
```

## 📊 性能指标

基于默认配置（Oil ×2 副本，Thermal ×1）：

| 指标 | 值 | 说明 |
|------|-----|------|
| **总吞吐量** | ~12 任务/秒 | Oil(8/s) + Thermal(4/s) |
| **延迟** | ~30-40秒 | 从 Sync 接收到报告生成 |
| **内存占用** | ~2.5 GB | 全部微服务 + 基础设施 |
| **数据库连接** | 20 | 连接池大小 |
| **支持副本数** | 10+ | 线性扩展 |

## 🔧 常见任务

### 查看日志

```bash
# 查看特定服务
docker-compose logs -f sync-service

# 查看所有日志
docker-compose logs -f

# 查看最后 100 行
docker-compose logs --tail=100 sync-service
```

### 手动触发同步

```bash
curl -X POST http://localhost:8001/sync/start \
  -H "Content-Type: application/json" \
  -d '{}'
```

### 查询任务状态

```bash
# 查询所有主任务
docker-compose exec mysql mysql -uroot -proot -D rvs_db \
  -e "SELECT * FROM main_tasks;"

# 查询子任务结果
docker-compose exec mysql mysql -uroot -proot -D rvs_db \
  -e "SELECT id, status, analysis_result FROM sub_tasks LIMIT 10;"
```

### 增加并发副本

编辑 `docker-compose.yml`：

```yaml
oil-service:
  deploy:
    replicas: 5  # 改成想要的副本数

thermal-service:
  deploy:
    replicas: 3
```

重启服务：
```bash
docker-compose up -d
```

### 重置系统状态

⚠️ **警告：** 删除所有数据

```bash
docker-compose down -v
docker-compose up -d
```

## 📈 扩展性

### 水平扩展（增加副本）

```bash
# 油液分析服务增加到 5 副本
docker-compose up -d --scale oil-service=5
```

### 垂直扩展（增加资源）

修改 `docker-compose.yml`：

```yaml
oil-service:
  deploy:
    resources:
      limits:
        cpus: '2'
        memory: 1024M
      reservations:
        cpus: '1'
        memory: 512M
```

### 使用 Kubernetes

详见 [ARCHITECTURE.md](./ARCHITECTURE.md#生产部署建议) 中的部署建议。

## ❓ 常见问题

### Q: 容器启动失败

```bash
# 检查日志
docker-compose logs [service-name]

# 重启服务
docker-compose restart [service-name]
```

### Q: 性能很慢

1. 增加副本数
2. 增加 Docker 内存分配
3. 检查磁盘 I/O

### Q: 如何备份数据

```bash
docker-compose exec mysql mysqldump -uroot -proot rvs_db > backup.sql
```

## 🎯 下一步

1. ✅ 阅读 [QUICKSTART.md](./QUICKSTART.md) - 5 分钟快速入门
2. ✅ 配置 Node-RED - 按照 [NODE_RED_SETUP.md](./NODE_RED_SETUP.md)
3. 📖 深入理解架构 - 阅读 [ARCHITECTURE.md](./ARCHITECTURE.md)
4. 🔌 集成数据源 - 连接你的 Power Automate
5. 📊 部署到生产 - 参考部署建议

## 📝 目录结构

```
.
├── README.md                 # 本文件
├── QUICKSTART.md             # 快速入门指南
├── NODE_RED_SETUP.md         # Node-RED 配置指南
├── ARCHITECTURE.md           # 架构文档
├── docker-compose.yml        # 容器编排配置
├── startup.ps1               # Windows 启动脚本
├── startup.sh                # Linux/Mac 启动脚本
├── health_check.py           # 健康检查工具
├── sync_service/             # 核心编排服务
│   ├── api.py
│   ├── services.py
│   ├── tasks.py
│   ├── database.py
│   ├── config.py
│   ├── requirements.txt
│   └── Dockerfile
├── oil_service/              # 油液分析服务
│   ├── api.py
│   ├── tasks.py
│   ├── config.py
│   ├── requirements.txt
│   └── Dockerfile
├── thermal_service/          # 热成像分析服务
│   ├── api.py
│   ├── tasks.py
│   ├── config.py
│   ├── requirements.txt
│   └── Dockerfile
└── report_service/           # 报告生成服务
    ├── api.py
    ├── database.py
    ├── config.py
    ├── requirements.txt
    └── Dockerfile
```

## 🤝 支持

遇到问题？

1. 查看各服务日志：`docker-compose logs [service-name]`
2. 运行健康检查：`python health_check.py --full`
3. 查阅 [QUICKSTART.md](./QUICKSTART.md) 常见问题部分
4. 阅读 [ARCHITECTURE.md](./ARCHITECTURE.md) 故障排查章节

## 📜 许可证

MIT License

## 💡 设计原理

这套架构遵循以下最佳实践：

1. **分离关注点** - 每个服务职责单一
2. **异步处理** - Celery 削峰，提高并发能力
3. **无状态计算** - 支持快速扩展
4. **事务一致性** - MySQL 行级锁保证准确性
5. **完全解耦** - 各服务通过 HTTP + JSON 通信
6. **可观测性** - 完整的日志、监控、追踪

详见 [ARCHITECTURE.md](./ARCHITECTURE.md)。

---

**立即开始：** [QUICKSTART.md](./QUICKSTART.md) 📖