本地 AI 智能体平台 - 语音交互、多层级 Agent、隐私优先
--- ## 特性 - 🎤 **语音优先交互** - 支持实时语音输入和转录 - 🤖 **4 级 Agent 系统** - Simple / Assistant / Expert / Reasoning - ⚡ **本地处理** - 基于 Ollama/OpenVINO，无需云端服务 - 🔒 **隐私保护** - 所有数据本地存储 - 🖥️ **现代前端** - Next.js 15 + TypeScript + Tailwind CSS - 🧠 **智能编排** - 自动选择最适合的 Agent 级别 - 📚 **OpenViking 存储** - 统一虚拟文件系统，本地向量检索 - 🚀 **Intel OpenVINO 加速** - 推理加速 + 投机解码 - 💾 **可选 Redis 缓存** - 提升重复请求性能 - 🔄 **多 Agent 协作** - 注册、委托、协作机制 ## 业务场景 本平台适用于多种实际业务场景，以下是典型用例： ### 1. 智能语音助手 **场景描述**：用户通过语音与 AI 交互，完成日常任务 **使用方式**： - 按住麦克风按钮说话，实时语音转文字 - 支持中英文混合输入 - 自动选择最合适的 Agent 级别 **适用场景**： - 快速查询天气、新闻、日程 - 语音备忘和任务提醒 - 日常对话和问答 - 语音控制智能家居指令 **技术支撑**： - FunASR 实时语音转写 - WebSocket 流式传输 - Ollama 本地 LLM 推理 ### 2. 代码开发与调试 **场景描述**：开发者使用 Expert 或 Reasoning 级别 Agent 进行复杂编程任务 **使用方式**： - 选择 Expert 或 Reasoning Agent 级别 - 粘贴代码或描述问题 - 获取代码分析、优化建议或调试帮助 **适用场景**： - 代码审查和性能分析 - Bug 定位和修复建议 - 架构设计和最佳实践咨询 - 多语言代码转换 - 生成测试用例 **技术支撑**： - 代码语法分析工具 - 安全代码执行沙箱 - 多模型推理（qwen2.5:14b/32b） ### 3. 知识管理与问答 **场景描述**：构建个人或团队知识库，通过 AI 进行智能问答 **使用方式**： - 上传文档、笔记或代码片段 - 使用自然语言提问 - 基于向量检索的 RAG 问答 **适用场景**： - 个人知识库管理 - 技术文档问答 - 会议记录整理 - 代码片段检索 - 学习笔记问答 **技术支撑**： - SQLite 本地存储 - ChromaDB 向量数据库 - Ollama Embedding 模型 ### 4. 文档处理与 OCR **场景描述**：从图片、截图或 PDF 中提取文字信息 **使用方式**： - 上传图片或截图 - 自动识别文字内容 - 对识别结果进行进一步处理 **适用场景**： - 纸质文档数字化 - 截图文字提取 - 图表数据识别 - 名片/发票信息提取 **技术支撑**： - PaddleOCR 图像识别 - OpenVINO 加速优化 - Intel XPU 硬件加速 ### 5. 多语言翻译与内容处理 **场景描述**：跨语言内容翻译和处理 **使用方式**： - 输入需要翻译的内容 - 选择目标语言 - 获取翻译结果 **适用场景**： - 技术文档翻译 - 邮件/消息翻译 - 外语学习辅助 - 跨语言内容创作 **技术支撑**： - 多语言模型支持 - 本地推理确保隐私 ### 6. 开发者效率工具 **场景描述**：为开发者提供一站式 AI 辅助开发环境 **使用方式**： - 使用开发者面板 - 并行测试多个 Agent 级别 - 查看性能指标和调试信息 **适用场景**： - 对比不同模型的效果 - 性能调优和监控 - 会话历史管理 - 代码片段保存和复用 **技术支撑**： - 多 Agent 并发测试 - 完整的 Metrics 监控 - SQLite 会话管理 - WebSocket 实时调试 ### 7. 离线办公与隐私敏感场景 **场景描述**：在没有网络或对隐私有高要求的场景下使用 AI **使用方式**： - 完全本地部署 - 数据不离开设备 **适用场景**： - 离线办公环境 - 涉及敏感数据的处理 - 科研机构数据处理 - 企业内部知识管理 **技术支撑**： - 100% 本地运行 - 无云端数据传输 - 可选数据加密 - Intel 本地加速 ### 8. Intel OpenVINO 加速推理 **场景描述**：利用 Intel 硬件加速 LLM 推理，提升响应速度 **使用方式**： - 启用 OpenVINO 加速 - 配置投机解码进一步提速 - 支持 CPU/GPU/NPU 灵活选择 **适用场景**： - 需要快速响应的应用 - Intel 硬件环境部署 - 大模型推理优化 **技术支撑**： - OpenVINO Runtime 加速 - 投机解码 (Speculative Decoding) - 量化模型支持 (INT4/INT8) - 灵活设备配置 (CPU/GPU/NPU) ## 场景对照表 | 场景 | 推荐 Agent 级别 | 典型工具 | 响应时间 | |------|-----------------|----------|----------| | 日常问答 | Simple | 语音转文字 + 简单推理 | < 1s | | 通用对话 | Assistant | 基础对话 + 搜索 | 1-3s | | 代码开发 | Expert | 代码分析 + 执行 | 3-8s | | 复杂推理 | Reasoning | 深度分析 + 多步推理 | 8-20s | | 文档处理 | Expert+ | OCR + 内容分析 | 3-15s | | 知识问答 | Assistant+ | RAG + 向量检索 | 2-5s | ## 快速开始 ### 环境要求 - Python 3.10+ - Node.js 18+ - 16GB+ RAM (推荐) - Intel Core Ultra / Apple Silicon (推荐) ### 安装依赖 ```bash # 后端依赖 pip install -r backend/requirements.txt # 前端依赖 cd frontend && npm install ``` ### 启动服务 ```bash # 方式一：使用 Ollama # 1. 启动 Ollama ollama serve # 2. 启动后端服务 (port 8000) python backend/main.py # 方式二：使用 OpenVINO (Intel 加速) # 设置环境变量后启动 export OPENVINO_ENABLED=true export OPENVINO_DEVICE=AUTO python backend/main.py # 3. 启动前端 (port 3000) cd frontend && npm run dev ``` **OpenVINO 快速配置**： ```bash # 启用 OpenVINO OPENVINO_ENABLED=true OPENVINO_DEVICE=AUTO # 启用投机解码 (可选，进一步提速) SPECULATIVE_DECODING=true OPENVINO_DRAFT_MODEL=tiny-llama-1.1b OPENVINO_TARGET_MODEL=qwen2.5-7b ``` 访问 http://localhost:3000 开始使用 ## 配置 项目使用 `.env` 文件进行配置，支持 FunASR、OCR、OLLAMA 等服务的配置。 ### 配置步骤 1. **复制配置文件**： ```bash cp .env.example .env ``` 2. **编辑 `.env` 文件**，主要配置项： - `ASR_PROVIDER=funasr_ws` - ASR 服务提供者（WebSocket 模式） - `ASR_WS_URL=ws://localhost:10095` - FunASR WebSocket 服务地址 - `OCR_PROVIDER=paddleocr` - OCR 服务提供者 - `OLLAMA_BASE_URL=http://localhost:11434` - Ollama 服务地址 - `INTEL_ENABLED=true` - 启用 Intel 优化（Intel Ultra 处理器） - `OPENVINO_ENABLED=true` - 启用 OpenVINO 加速 3. **环境变量说明**： - **ASR 配置**：语音转文字服务，支持 FunASR WebSocket 模式 - **OCR 配置**：图像文字识别，使用 PaddleOCR - **Ollama 配置**：本地大模型服务 - **OpenVINO 配置**：Intel 加速推理，支持投机解码 - **缓存配置**：可选 Redis 缓存，提升性能 4. **验证配置**： ```bash python scripts/verify_config.py ``` ### 开发工具配置 项目已配置 pre-commit hooks，确保代码质量： ```bash # 安装开发工具 bash scripts/setup_dev_tools.sh # 手动运行代码检查 pre-commit run --all-files ``` 支持的检查工具：black (代码格式化)、isort (导入排序)、ruff (代码检查)、mypy (类型检查)、bandit (安全扫描)。 ## 性能监控 项目内置性能监控功能，跟踪响应时间和资源使用： ### 监控指标 - **Agent 响应时间**：按级别（Simple/Assistant/Expert/Reasoning）统计响应时间 - **Token 使用**：估算每次调用的 token 数量 - **工具调用**：ASR、OCR、代码分析工具的调用统计和响应时间 - **成功率**：调用成功率和错误统计 ### 访问监控数据 1. **Metrics 端点**：`GET /metrics` ```bash curl http://localhost:8000/metrics ``` 2. **返回数据示例**： ```json { "timestamp": "2025-02-14T10:30:00", "agent_metrics": { "simple": { "total_calls": 10, "success_rate": 1.0, "response_times": { "avg_ms": 125.5, "min_ms": 100.0, "max_ms": 200.0, "p95_ms": 180.2 } } }, "tool_metrics": { "asr": { "total_calls": 5, "success_rate": 0.8, "response_times": { "avg_ms": 150.3, "min_ms": 120.0, "max_ms": 200.0 } } } } ``` 3. **配置选项**（通过环境变量）： - `ENABLE_METRICS=true`（默认启用） - `METRICS_RETENTION_MINUTES=60`（数据保留时间） ### 使用场景 - **性能调优**：识别响应时间过长的 Agent 级别 - **容量规划**：根据 token 使用估算系统负载 - **故障排查**：监控成功率下降和错误模式 ## 架构 ``` ┌─────────────────────────────────────────────────────┐ │ Frontend (Next.js 15) │ │ ┌──────────────┐ ┌──────────────┐ ┌────────────┐ │ │ │ Voice UI │ │ Agent Config │ │ Dev Tools │ │ │ └──────┬───────┘ └──────┬───────┘ └─────┬──────┘ │ └─────────┼──────────────────┼────────────────┼────────┘ │ │ │ HTTP/WS └──────────────────┴────────────────┘ │ ┌─────────▼──────────┐ │ Unified Backend │ │ FastAPI (Port │ │ 8000) │ │ │ │ ┌──────────────┐ │ │ │ /api/agent │ │ │ │ /api/tool │ │ │ │ /api/knowledge│ │ │ └──────┬───────┘ │ └─────────┼──────────┘ │ ┌────────────────────┼────────────────────┐ │ │ │ ┌────▼─────┐ ┌─────▼──────┐ ┌─────▼──────┐ │ Ollama │ │ SQLite │ │ ChromaDB │ │ LLM │ │Conversations│ │ Vectors │ └───────────┘ └─────────────┘ └─────────────┘ │ │ │ ┌─────────────┐ │ └─────────────│ OpenVINO │───────────────┘ │ (Intel加速) │ └─────────────┘ ``` ## 文档 - [综合技术文档](docs/comprehensive-guide.md) - 完整系统文档 - [UX 设计文档](ux/frontend-ux-design.md) - 完整的界面设计规范 - [技术架构](docs/plans/2025-02-13-local-ai-platform-design.md) - 系统设计文档 - [OpenVINO 配置指南](docs/plans/2026-03-09-openvino-speculative-decoding.md) - OpenVINO 加速配置 - [API 文档](http://localhost:8000/docs) - FastAPI 自动生成的 API 文档 ## 许可证 MIT License - 详见 [LICENSE](LICENSE) 文件 ---Built with ❤️ for local AI