Data Analysis Engine

---
name: data-analysis-engine
description: |
  智数分析专家团的核心分析引擎技能，提供数据源连接、查询执行、分析工作流编排和安全沙盒执行的完整能力框架。
  对标原始系统的AWEL工作流引擎、多数据源连接器、沙盒执行环境和技能加载系统。
  触发词：数据分析、SQL执行、数据连接、知识检索、报告生成、数据画像
---

# 数据分析引擎（Data Analysis Engine）

## 功能说明

数据分析引擎是智数分析专家团的共享核心技能，为团队所有成员提供统一的数据处理基础能力。该引擎实现了从数据接入、查询执行、计算分析到结果输出的完整流水线。

## 核心架构

### 分层设计

```
┌─────────────────────────────────────────────┐
│          应用层（Application Layer）          │
│   任务规划 · 场景调度 · 结果编排             │
├─────────────────────────────────────────────┤
│          服务层（Service Layer）              │
│   Agent管理 · 对话管理 · 工作流服务          │
├─────────────────────────────────────────────┤
│          核心层（Core Layer）                 │
│   AWEL引擎 · LLM接口 · 存储抽象 · 消息协议  │
├─────────────────────────────────────────────┤
│          扩展层（Extension Layer）            │
│   数据源连接器 · 向量存储 · 模型适配器       │
├─────────────────────────────────────────────┤
│          沙盒层（Sandbox Layer）              │
│   代码隔离执行 · 资源限制 · 安全审计         │
└─────────────────────────────────────────────┘
```

### 组件系统

引擎采用组件化设计，支持：
- **依赖注入**：集中式服务发现和管理
- **生命周期管理**：标准化的初始化、启动和关闭流程
- **松耦合**：组件间通过接口通信，消除循环依赖
- **可扩展**：新功能通过插件方式添加

## 工作流引擎（AWEL）

### 概述

工作流引擎提供声明式的分析流程编排能力，将复杂的数据分析任务分解为可组合的操作单元。

### 核心概念

| 概念 | 说明 |
|------|------|
| DAG | 有向无环图，管理任务依赖关系 |
| Operator | 工作流操作算子，执行具体的数据处理逻辑 |
| Trigger | 事件触发器，启动工作流执行 |
| Flow | 流程实例，代表一次具体的执行过程 |

### 标准工作流模式

#### 模式1：自然语言查询 → SQL执行
```
UserInput → NLU解析 → Schema匹配 → SQL生成 → 安全检查 → 执行 → 结果格式化 → 输出
```

#### 模式2：文件分析 → 数据画像
```
FileUpload → 格式检测 → 数据加载 → Schema探索 → 统计计算 → 可视化生成 → 报告组装
```

#### 模式3：知识检索 → 增强问答
```
UserQuery → 查询改写 → 向量检索 → 上下文组装 → LLM生成 → 来源标注 → 输出
```

#### 模式4：多源混合分析
```
多数据源 → 并行查询 → 结果合并 → 交叉分析 → 洞察提取 → 可视化 → 报告
```

## 数据源连接

### 支持的数据源

参考 @references/datasource-connectors.md 了解所有支持的数据源类型和连接配置。

### 连接管理

```python
# 连接生命周期
创建连接 → 验证凭证 → 建立会话 → 执行操作 → 释放连接

# 连接池配置
max_connections: 10       # 最大连接数
connection_timeout: 30    # 连接超时（秒）
idle_timeout: 300         # 空闲超时（秒）
retry_count: 3            # 重试次数
```

## 沙盒执行环境

### 安全隔离

所有代码执行在安全沙盒中进行：

| 安全机制 | 说明 |
|---------|------|
| 进程隔离 | 每次执行在独立进程中运行 |
| 资源限制 | CPU/内存/磁盘/网络访问限制 |
| 超时控制 | 执行时间上限，防止无限循环 |
| 只读约束 | 数据库连接默认只读模式 |
| 审计日志 | 记录所有执行操作供审计 |

### 资源配额

```yaml
sandbox:
  max_cpu_time: 60s        # 最大CPU时间
  max_memory: 512MB        # 最大内存
  max_disk_write: 100MB    # 最大磁盘写入
  network_access: false    # 禁止网络访问
  max_output_size: 10MB    # 最大输出大小
```

## 模型管理

### LLM适配层

引擎通过统一接口支持多种大语言模型：

```python
# 统一调用接口
response = await llm.generate(
    prompt=formatted_prompt,
    model=selected_model,
    temperature=0.1,        # 数据分析场景使用低温度
    max_tokens=4096,
    stream=True
)
```

### 支持的模型类型

| 模型类别 | 用途 |
|---------|------|
| 通用对话模型 | 任务理解、报告撰写 |
| 代码生成模型 | SQL生成、Python代码 |
| 嵌入模型 | 文档向量化、语义检索 |
| 指令微调模型 | Text2SQL专项优化 |

## 调用方式

### 作为技能加载
当Agent启动时，此技能自动加载，提供以下能力：
- 数据源连接与管理
- SQL生成与执行
- Python代码沙盒执行
- 知识库检索
- 工作流编排

### 在Agent MD中声明
```yaml
skills: [data-analysis-engine]
```

## 参考资料

- 参考 @references/datasource-connectors.md 了解数据源连接配置
- 参考 @references/analysis-patterns.md 了解分析模式和最佳实践
- 参考 @references/security-guidelines.md 了解安全规范

## 输出格式

引擎支持多种输出格式：

| 格式 | 适用场景 |
|------|---------|
| JSON | 结构化数据传递 |
| DataFrame | Python分析中间结果 |
| Markdown | 文本报告和文档 |
| HTML | 可视化和交互式报告 |
| CSV/Excel | 数据导出和共享 |
| 图表对象 | 可视化渲染 |

## 注意事项

- 所有数据操作遵循最小权限原则
- 大数据集操作自动启用分页和流式处理
- 连接敏感信息（密码、密钥）不会出现在日志或输出中
- 执行失败时提供清晰的错误信息和修复建议
- 支持断点续传和任务恢复