数据服务与 API

产品定位

数帆数据服务将数据平台中的数据以标准 API 的形式对外提供，让业务系统无需关心底层数据存储，通过 API 即可获取所需数据。

API 自动生成

核心能力

无需编写代码，通过可视化配置即可将 SQL 查询发布为 REST API：

配置步骤
1. 选择数据源（ClickHouse / MySQL / Hive）
2. 编写查询 SQL（支持参数化）
3. 配置 API 路径和请求参数
4. 设置缓存策略
5. 配置权限（哪些应用可以调用）
6. 一键发布

示例

SQL 配置：

SELECT
  user_id,
  order_cnt,
  total_amount,
  last_order_date
FROM dws_user_order_summary
WHERE user_id = ${user_id}
  AND dt = ${date}

生成的 API：

GET /api/v1/user/order-summary?user_id=12345&date=2024-01-15

响应：
{
  "code": 200,
  "data": {
    "user_id": 12345,
    "order_cnt": 28,
    "total_amount": 3580.50,
    "last_order_date": "2024-01-14"
  }
}

数据集市

数据集市是面向业务部门的自助数据查询平台：

数据集市功能
├── 数据集浏览（按业务域分类）
├── 自助查询（拖拽字段，无需写 SQL）
├── 数据下载（Excel/CSV）
├── 数据订阅（定时推送到邮件/钉钉）
└── 权限申请（申请访问特定数据集）

数据可视化（BI）

数帆内置轻量级 BI 能力：

图表类型
├── 折线图（趋势分析）
├── 柱状图（对比分析）
├── 饼图（占比分析）
├── 散点图（相关性分析）
├── 地图（地理分布）
└── 数据表格

仪表盘：将多个图表组合为仪表盘，支持定时刷新和分享。

API 管理

生命周期管理

API 生命周期
开发 → 测试 → 发布 → 运行 → 下线

各阶段功能
├── 开发：SQL 编写、参数配置
├── 测试：在线调试、Mock 数据
├── 发布：版本管理、灰度发布
├── 运行：调用监控、性能分析
└── 下线：通知调用方、平滑下线

调用监控

监控指标
├── 调用量（QPS、日调用量）
├── 响应时间（P50/P95/P99）
├── 错误率
└── 调用方分布（哪些应用在调用）

告警
├── 响应时间超阈值
├── 错误率超阈值
└── 调用量异常（突增/突降）

安全控制

API 安全机制
├── 鉴权（AppKey + 签名）
├── 限流（每秒/每分钟调用上限）
├── IP 白名单
└── 数据脱敏（敏感字段自动脱敏）