工作台

照片资产域 · 开发环境 · 2026-11-07 周六

今日实例24h

1,847

成功 1,796·失败 12·运行 39

⚙️

任务成功率

99.35%

↑ 0.4pt 较上周

📈

SLA 达成

98.6%

2 项破线风险

⏱️

数据资产

3,472

表 2,860 · 视图 412 · Fileset 200

🗺️

本月计算成本

¥2,148

↑ 12% 环比 · 预算已用 65%

💰

实例运行趋势近 7 日

成功失败

我的待办

全部 6 条 ›

P0	SLA 申报待签署 dwd_immich_assets_di · 王工发起	处理
P1	发布审批待确认 ads_photo_stats_di v2.1	处理
P1	质量规则告警 3 条主键重复率 0.8% 超阈值	处理
P2	权限申请 2 条李工申请 dwd 层只读	处理

核心链路任务P0/P1 今日明细

全部实例 ›

任务名	引擎	等级	承诺产出	实际产出	状态	耗时	操作
ads_photo_stats_di	SparkSQL	P0	07:30	07:22	成功	4m12s	日志
dwd_immich_assets_di	Trino	P0	06:50	—	运行中 12m	12m03s	实时
dws_hdd_usage_df	SparkSQL	P1	07:00	—	失败	1m48s	重跑
ads_face_cluster_di	Flink	P2	实时	—	运行中 · 延迟 2s	—	监控

存储用量

详情 ›

412GB / 5 TB 配额

MinIO 400 GB · Hive 12 GB · 日增 1.8 GB

资源组水位

管理 ›

default-group62%

batch-group87%

治理健康分

度量 ›

86/ 100 · 良好

扣分：血缘缺失 12 表 · 无 owner 4 表 ·
冗余任务 7 个 · 长期无访问 23 表

任务开发草稿 v3

任务开发 / 照片资产域 / dwd_immich_assets_di

SQL 编辑调度配置参数血缘预览版本对比

Trino · default-group · 超时 1800s

1-- @engine trino @group default-group @priority P0 2-- 研发即治理：提交时自动校验命名规范 / 表注释 / owner / 分区字段 3 4INSERT OVERWRITE TABLE lake.dwd.im_assets_di PARTITION (dt = '${bizdate}') 5SELECT 6 a.asset_id, 7 a.owner_id AS owner, 8 a.original_at AS shot_at, 9 CAST(a.size AS BIGINT) AS file_size, 10 a.type AS asset_type, 11 m.model_name AS ml_model, 12 COUNT(f.face_id) AS face_cnt 13FROM lake.ods.im_assets a 14LEFT JOIN lake.ods.ml_model m ON a.model_id = m.id 15LEFT JOIN lake.ods.im_faces f ON a.asset_id = f.asset_id 16WHERE a.dt = '${bizdate}' AND a.deleted = 0 17GROUP BY 1,2,3,4,5,6 18 19-- ⚠ 检测到 2 条规范提示（点击查看） 20-- · 字段 face_cnt 缺少中文注释 21-- · 表 dwd.im_assets_di 未设置生命周期 TTL

✓ 语法检查通过·预计扫描 1.2 GB· 2 条规范警告共 21 行 · UTF-8

基本信息

负责人

周周先生

优先级

P0 核心

基线

core-baseline

产出表

lake.dwd.im_assets_di
分区 dt · 日增量

调度配置

周期每日

调度时间06:30

承诺产出06:50

失败重试3 次 / 间隔 5m

上游依赖2 个

规范检查

2 项

✅ 命名规范符合层_域_主题_周期

✅ 已声明 owner 与分区字段

⚠ 字段注释不完整

⚠ 未设置 TTL 生命周期

💡研发即治理：以上检查在提交时强制执行，不通过无法发布。

运维中心

实例运维 · 2026-11-07 · 全部优先级

今日实例总数

1,847

较昨日 ↑ 4.1%

失败实例

12

待处理 2 · 已重跑 10

运行中

39

平均耗时 8m20s

等待调度

128

队列积压正常

实例列表任务列表基线监控依赖图补数据资源队列

状态：全部 ⌄优先级：P0/P1 ⌄ 引擎：全部 ⌄今天 ⌄ 共 1,847 条

实例 / 任务	优先级	状态	开始时间	耗时	重试	操作
dwd_immich_assets_di 实例 20261107-063000-001	P0	运行中	06:30:04	12m03s	0/3	日志终止
dws_hdd_usage_df 实例 20261107-070000-004	P1	失败	07:00:02	1m48s	1/3	日志重跑
ads_photo_stats_di 实例 20261107-073000-002	P0	成功	07:18:11	4m12s	0/3	日志详情
ads_face_cluster_di Flink 流任务 · 常驻	P2	运行中	11-01 00:00	6d 9h	—	监控详情
ods_immich_sync 实例 20261107-040000-001	P0	成功	04:00:00	48m21s	0/3	日志详情

基线监控core-baseline

管理基线 ›

04:0005:0006:0007:0008:0009:00

ods_immich_sync

04:00–04:48

dwd_immich_assets_di

运行中 12m

ads_photo_stats_di

07:22 ✓

dws_hdd_usage_df

✗

💡基线预期产出时间由算法生成：近 30 天 75 分位产出时间 + 波动方差 + 链路最长任务时长 + 下游任务数，非人工指定。

失败原因 TOP

近 7 日

数据源连接超时	38%
资源不足 / 队列超时	26%
SQL 语法 / 字段变更	21%
上游数据未就绪	15%

发布中心

开发环境 → 生产环境 · 需审批

发布流程：开发自测 → 提交发布单 → 规范检查（自动）→ 项目管理员审批 → 灰度发布 → 生产生效 → 变更记录归档。生产环境只读，任何变更必须走发布单。

待审批发布单

3 个待处理

发布单号	任务 / 对象	变更类型	提交人	提交时间	规范检查	状态	操作
REL-20261107-0031	ads_photo_stats_di v2.1 → v2.2	逻辑变更	王工	08:42	通过	待审批	审批对比
REL-20261107-0030	lake.dwd.im_assets_di 新增字段 face_cnt	Schema 变更	李工	08:15	通过	待审批	审批对比
REL-20261107-0029	ods_baidu_sync 新增数据源	配置变更	张工	07:58	1 项未通过	被阻塞	查看

发布单号	对象	版本	审批人	发布时间	状态	详情
REL-20261106-0028	dwd_immich_assets_di	v3 → v3	周先生	11-06 21:32	已生效	详情
REL-20261106-0027	ads_photo_stats_di	v2.0 → v2.1	周先生	11-06 20:15	已生效	详情
REL-20261105-0026	ods_immich_sync	v1.4 → v1.5	王工	11-05 22:40	已回滚	详情

数据地图

元数据由 Apache Gravitino 统一纳管 · 3 个 catalog · 3,472 个对象

目录树刷新

🗄 demo-metalake

📦 photosHive · 1,842

📦 hddFileset · 200

📦 lakeIceberg · 1,430

📁 ods860

📁 dwd412

📁 dws98

📁 ads60

lake.dwd.im_assets_di 健康分 92P0

血缘图申请权限订阅变更

字段信息血缘关系使用说明质量监控变更记录权限

字段名	类型	中文名	分层	血缘上游	主键
asset_id	string	资产 ID	L1	ods.im_assets.asset_id	✓
owner	string	归属人	L1	ods.im_users.name	—
shot_at	timestamp	拍摄时间	L1	ods.im_assets.original_at	—
file_size	bigint	文件大小（字节）	L1	ods.im_assets.size	—
ml_model	string	推理模型名	L2	ods.ml_model.model_name	—
face_cnt	bigint	（缺注释）	L2	ods.im_faces.face_id	—

资产概览

存储位置s3://lake/dwd/im_assets_di

数据量1.2 GB · 860 万行

分区键dt（日）

生命周期未设置 ⚠

负责人周先生

最近更新11-07 06:54

下游消费

4 个任务 · 2 个指标

→ ads_photo_stats_di 任务

→ ads_face_cluster_di 任务

→ 指标「照片总量」指标

→ 指标「人均存储」指标

SLA 治理

核心链路服务质量保障 · 近 30 天

SLA 达成率

98.6%

↑ 1.2pt 较上月

已签 SLA 任务

42

P0 18 · P1 24

基线覆盖率

86%

未覆盖 6 个 P1 任务

破线风险

2

需立即介入

今日核心链路时序

正常预警破线

04:0005:0006:0007:0008:0009:00

P0ods_immich_sync

04:00–04:48

P0dwd_immich_assets_di

⚠ 预计 06:52

P0ads_photo_stats_di

07:22 ✓

P1dws_hdd_usage_df

✗ 破线

SLA 任务清单

任务名	等级	基线	承诺产出	基线预期	今日	近30天破线	操作
ads_photo_stats_di	P0	core	07:30	07:24 ±6m	已达成 07:22	0 次	详情
dwd_immich_assets_di	P0	core	06:50	06:46 ±8m	预警 · 差 2m	1 次	详情催办
dws_hdd_usage_df	P1	core	07:00	06:58 ±4m	破线 · 已通知	3 次	详情复盘
ads_face_cluster_di	P2	未纳入	实时	—	延迟 2s	—	详情纳入基线

💡基线预期产出时间由算法生成：取近 30 天 75 分位产出时间 + 产出波动方差 + 链路最长任务平均时长 + 下游任务总数 + 业务期望时间，自动计算预警 buffer。

数据质量

规则监控 · 今日告警 3 条

监控规则

318

表级 142 · 字段级 176

今日校验收

2,417

通过 2,398 · 失败 19

通过率

99.2%

↑ 0.3pt

阻断级告警

3

已通知 owner · 2 条待确认

告警明细规则列表校验记录质量评分

对象	规则	校验结果	阈值	实际值	级别	触发时间	操作
lake.dwd.im_assets_di	主键唯一性	不通过	≤ 0.1%	0.8%	阻断	06:52	详情忽略
lake.dwd.im_assets_di	字段空值率 face_cnt	不通过	≤ 5%	12.4%	阻断	06:52	详情忽略
lake.dws.hdd_usage_df	日环比波动	告警	≤ ±20%	-34%	一般	07:05	详情忽略
lake.ods.im_assets	及时性（产出时间）	通过	≤ 05:00	04:48	—	04:49	详情

质量趋势近 14 日通过率

规则类型分布

空值 / 唯一性96 条

值域 / 枚举78 条

波动性 / 环比64 条

及时性 / 完整性80 条

成员与角色

租户「字节数科」· 项目「照片资产域」· 12 名成员

成员列表角色权限矩阵成员组邀请记录

成员	账号	项目角色	数据分级	最近登录	状态	操作
周周先生	zhouweidong	租户管理员	L4 机密	现在	正常	编辑
王王工	wangwei	项目管理员	L3 内部	08:42	正常	编辑移除
李李工	lilei	数据开发	L3 内部	08:15	正常	编辑移除
张张工	zhangming	运维	L2 受限	07:58	正常	编辑移除
赵赵工	zhaoliu	访客	L2 受限	11-05	已停用	编辑

角色权限矩阵

系统内置角色，不可删除

权限点	租户管理员	项目管理员	数据开发	运维	访客
租户设置 / 计费	✓	—	—	—	—
项目创建 / 删除	✓	✓	—	—	—
成员与角色管理	✓	✓	—	—	—
任务开发 / 编辑	✓	✓	✓	—	—
提交发布 / 上线	✓	✓	✓	—	—
发布审批	✓	✓	—	—	—
实例运维 / 重跑	✓	✓	✓	✓	—
数据权限授予	✓	✓	—	—	—
资产浏览	✓	✓	✓	✓	✓
敏感字段（L4）查看	✓	—	—	—	—
告警规则配置	✓	✓	—	✓	—
成本与计费查看	✓	✓	—	—	—

数据权限

Catalog / 库 / 表 / 字段四级授权 · 叠加数据分级脱敏

权限模型：RBAC（角色）× ABAC（数据分级 L1–L4 + 项目归属）。读取 L4 字段需单独审批，查询时自动按分级打码（如手机号 → 138****5678），审计日志全程记录。

授权列表权限申请分级与脱敏规则权限审计

授权对象	成员 / 角色	权限	数据分级	授权人	有效期	操作
lake.dwd.im_assets_di	数据开发（角色）	SELECT	L3 内部	周先生	永久	编辑回收
lake.dwd.im_assets_di.owner	李工	SELECT（脱敏）	L4 机密	周先生	2026-12-31	编辑回收
photos.ods.*	运维（角色）	ADMIN	L2 受限	周先生	永久	编辑回收
hdd.fileset.immich	访客（角色）	SELECT（仅元数据）	L1 公开	王工	永久	编辑回收

数据分级定义

等级	定义	示例	脱敏策略
L1	公开	表结构、统计值	不脱敏
L2	受限	文件名、模型名	不脱敏
L3	内部	用户 ID、时间	ID 打码
L4	机密	手机号、人脸特征	强制脱敏 + 审批

待审批权限申请

2 条

李工 → lake.dwd.* SELECT 只读 · 理由：数据核对	批准拒绝
张工 → photos.ods.im_faces SELECT · L4 字段 · 理由：故障排查	批准拒绝

告警中心

规则 · 订阅 · 通知渠道 · 抑制与静默

今日告警

47

已处理 41 · 待处理 6

活跃告警

6

P0 级 2 条

平均响应时长

4分12秒

↓ 32% 较上周

误报率

8.2%

目标 ≤ 10%

活跃告警历史告警告警规则通知渠道订阅配置

告警标题	来源	级别	触发时间	通知渠道	状态	操作
SLA 破线：dws_hdd_usage_df 承诺 07:00 产出，当前未产出	SLA 基线	P0	07:01	📞电话 · 💬企微	未确认	认领静默
质量阻断：主键唯一性不通过 lake.dwd.im_assets_di 重复率 0.8%	数据质量	P0	06:52	💬企微 · ✉️邮件	未确认	认领静默
实例失败：dws_hdd_usage_df 退出码 1 · OOM killed	任务运维	P1	07:02	💬企微	已认领	详情静默
资源组水位超阈值 batch-group 87%（阈值 85%）	资源监控	P1	06:15	💬企微	已认领	详情静默

通知渠道

配置 ›

💬 企业微信机器人	data-alert-bot	已启用
📞 电话（P0 专用）	+86 138****5678	已启用
✉️ 邮件	data-team@corp.com	已启用
🔗 Webhook	/api/hooks/alert	已停用

告警抑制与升级

同源抑制5 分钟内同类合并

未认领升级P0 10 分钟 → 上级

夜间静默P1/P2 23:00–07:00

值班表data-oncall 轮值

日志检索

任务运行日志 · 平台操作日志 · 支持全文检索

06:30:04[INFO ] Task started, engine=trino, group=default-group 06:30:05[INFO ] Acquired resource slot: cpu=4, mem=8Gi 06:30:08[INFO ] Connecting to catalog lake@gravitino (metalake=demo-metalake) 06:30:09[ OK ] Connection established in 312ms 06:30:11[INFO ] Executing query on dwd.im_assets_di, partition dt=20261106 06:31:20[INFO ] Stage 1/3 complete: scanned 420 MB, rows 3.1M 06:36:44[INFO ] Stage 2/3 complete: scanned 1.1 GB, rows 8.2M 06:41:02[WARN ] Spill to disk detected: 2.4 GB (memory pressure) 06:42:18[ERROR] Query failed: Duplicate key found in primary key check 06:42:18[ERROR] at io.trino.execution.QueryStateMachine.transition(QueryStateMachine.java:412) 06:42:19[INFO ] Triggering quality rule validation: pk_uniqueness 06:42:21[WARN ] Quality check failed: duplicate_rate=0.8% (threshold=0.1%) 06:42:22[INFO ] Emitting alert event -> alert-center (severity=P0) 06:42:23[INFO ] Task state: FAILED, retry 1/3 scheduled at 06:47

日志上下文

实例
20261107-063000-001

任务
dwd_immich_assets_di

引擎
Trino 4xx

节点
worker-01

命中
2 条 ERROR · 2 条 WARN

关联

→ 查看实例详情

→ 查看血缘影响

→ 查看质量规则

成本中心

计算 / 存储 / 网络统一折算 · 按项目与任务归因

本月总成本

¥2,148

预算 ¥3,300 · 已用 65%

计算成本

¥1,486

占 69% · ↑ 15%

存储成本

¥618

占 29% · ↑ 6%

单位成本

¥0.42/万行

↓ 8% 效率提升

日成本趋势

近 14 日

成本 TOP 任务

全部 ›

任务	本月成本	占比
ods_immich_sync	¥486	22.6%
dwd_immich_assets_di	¥392	18.3%
ads_face_cluster_di	¥318	14.8%
dws_hdd_usage_df	¥142	6.6%
其他 128 个任务	¥810	37.7%

降本建议平台自动识别

预计月省 ¥312

建议	对象	识别依据	预计节省	操作
下线低 ROI 任务	ads_old_report_di	近 90 天无下游消费、无访问	¥86/月	下线
调整调度至低峰队列	ods_baidu_sync	04:00 执行 · 无下游强依赖	¥64/月	应用
小文件合并（Compaction）	lake.dwd.*	平均文件 2.1 MB · 碎片化	¥98/月	执行
设置 TTL 生命周期	lake.ods.im_faces	360 天前分区无访问	¥64/月	配置

操作审计

全量操作留痕 · 不可篡改 · 保留 180 天

时间	操作人	操作类型	操作对象	详情	IP	结果
11-07 08:42:11	王工	提交发布	ads_photo_stats_di	REL-20261107-0031 · v2.1→v2.2	10.0.3.42	成功
11-07 08:15:03	李工	申请权限	lake.dwd.*	SELECT 只读 · 待审批	10.0.3.51	成功
11-07 07:58:20	张工	修改配置	ods_baidu_sync	新增数据源 baidu-pan-2	10.0.3.18	成功
11-07 07:12:45	周先生	敏感数据访问	lake.dwd.im_assets_di.owner	L4 字段 · 已脱敏返回	192.168.2.100	成功
11-07 06:58:02	system	自动重跑	dws_hdd_usage_df	第 1 次重试 · 触发者：调度器	—	失败
11-06 22:40:11	王工	回滚	ods_immich_sync	v1.5 → v1.4	10.0.3.42	成功

租户与项目

资源隔离 · 配额管理 · 项目生命周期

当前租户：字节数科租户 ID：tenant-001 · 创建于 2026-10-26

正常

项目数

3/ 10

成员数

12/ 50

存储配额

412GB / 5 TB

计算配额

48CU / 96 CU

项目列表

项目	描述	成员	任务数	存储用量	环境	状态	操作
照片资产域 proj-photo	Immich 照片库的全链路数据建设	8	142	400 GB	DEV PROD	运行中	管理
运维指标域 proj-ops	服务器与存储资源监控数据	3	28	11 GB	DEV	运行中	管理
数据湖实验 proj-lab	Gravitino / Iceberg 技术验证	2	6	1.2 GB	DEV	已暂停	管理

环境隔离说明

DEV 开发环境

· 可自由创建、修改、删除任务

· 独立 catalog：dev-lake（MinIO 独立桶）

· 数据为样例/脱敏子集

· 任务不进基线监控

PROD 生产环境

· 只读，变更须走发布单 + 审批

· catalog：lake（MinIO prod 桶）

· 全量真实数据 · 数据分级生效

· 纳入 SLA 基线与告警

引擎与连接

Catalog · 计算引擎 · 数据源 · 资源组

Catalog 连接计算引擎数据源资源组

名称	类型	连接地址	纳管对象	健康状态	最近探测	操作
demo-metalake	Gravitino	http://gravitino.lanlake:8090	3 catalog · 3,472 对象	健康	08:56	详情同步
photos (Hive)	Hive Metastore	thrift://hms:9083	1,842 表	健康	08:56	详情
lake (Iceberg)	Iceberg REST	http://gravitino:9001/iceberg	1,430 表	健康	08:56	详情
hdd (Fileset)	HDFS / Fileset	hdfs://namenode:9000/hdd	200 fileset	延迟高 428ms	08:56	详情诊断

计算引擎

引擎	版本	接入点	状态
Trino	v4xx	trino.lanlake:8080	在线
Spark	3.5.1	k8s://lanlake/spark	在线
Flink	1.19	flink-jobmanager:8081	在线
DolphinScheduler	3.2.x	ds-api:12345	未接入

对象存储

名称	协议	端点	状态
MinIO (DEV)	S3	minio.lanlake:9000	在线
MinIO (PROD)	S3	minio-prod:9000	待建
华为 OBS	S3 兼容	obs.cn-*.myhuaweicloud.com	生产预留

💡MinIO 与 OBS 同为 S3 协议，开发期用 MinIO，生产切 OBS 仅需改 endpoint 与凭证。

系统设置

平台级配置 · 仅租户管理员可见

基础信息通知模板规范与检查集成与 API许可与版本

平台名称

默认时区

默认语言

平台 Logo

岚

任务保留天数

日志与实例记录保留周期

审计日志保留

会话超时

单点登录

未启用支持 OIDC / LDAP

指标平台

维度建模 · 指标口径一处定义多处引用

指标清单共 46 个

指标名	口径定义	数据源	负责人	下游引用	状态
照片总量	count(distinct asset_id) where deleted=0	lake.dwd.im_assets_di	周先生	3 处	已发布
人均存储	sum(file_size)/count(distinct owner)	lake.dwd.im_assets_di	周先生	1 处	已发布
人脸聚类数	count(distinct cluster_id)	lake.dws.face_cluster	李工	0 处	草稿

数据标准

命名规范 · 字段字典 · 标准代码

命名规范字段字典标准代码规范稽核

规范项	规则	示例	违规对象	操作
表名规范	{层}_{域}_{主题}_{周期}	dwd_photo_assets_di	0 个	编辑
字段名规范	snake_case · 含义明确	shot_at	7 个	编辑
注释完整性	表与字段必须有中文注释	文件大小（字节）	12 个	编辑
生命周期	ods/dwd 层必须设置 TTL	TTL=360d	8 个	编辑

数据服务

数据集一键生成 API · 统一网关 · 配额与鉴权

API 总数

14

已发布 11 · 草稿 3

今日调用量

28,412

成功率 99.7%

平均响应

46ms

P99 210ms

调用方应用

5

2 个待审批

API 名称	路径	数据源	方法	今日调用	状态	操作
照片统计查询	/api/v1/photo/stats	ads.photo_stats_di	GET	18,204	已发布	文档下线
存储用量查询	/api/v1/storage/usage	dws.hdd_usage_df	GET	9,860	已发布	文档下线
人脸聚类查询	/api/v1/face/clusters	dws.face_cluster	GET	348	草稿	编辑

治理度量

五维健康分 · 规划式 + 响应式双路径

综合健康分

86

↑ 4 较上月

稳定性

92

SLA 98.6% · 故障 0 次

规范性

74

注释缺失 12 表 · TTL 缺 8

成本效率

81

单位成本 ↓8%

资产复用

76

闲置 23 表 · 冗余 7 任务

健康分趋势

近 8 周

治理任务进度

6 项进行中

清理无 owner 表	4 表
补全字段注释	12 字段
设置 TTL 生命周期	8 表
下线低 ROI 任务	7 个
清理冗余表	5 表

待治理项明细

按影响面排序

治理项	对象	问题	影响	建议动作	操作
高无 owner	lake.dwd.im_assets_di	表负责人离职未转移	故障无人响应	指定新 owner	处理
高血缘缺失	lake.ods.baidu_* (3 表)	脚本方式写入，无血缘上报	影响分析失效	改为调度任务并接 OpenLineage	处理
中未设 TTL	lake.dwd.* (8 表)	历史分区无限堆积	月增存储 ¥64	设置 360 天 TTL	处理
中冗余任务	ads_old_report_di	90 天无下游、无访问	月耗 ¥86	下线	处理

数据集成

批量同步 · 实时 CDC · 30+ 数据源

同步任务

24

批量 18 · 实时 6

今日同步量

42.8GB

1,284 万行

实时延迟

1.8s

P99 4.2s

失败任务

1

ods_baidu_sync · 连接超时

同步任务数据源运行记录同步模板

任务名	类型	源 → 目标	写入模式	今日增量	状态	操作
ods_immich_sync Immich → ODS	批量	pg:immich → lake.ods	全量+增量	12.4 GB	成功	运行配置
ods_immich_cdc 业务库变更捕获	实时 CDC	pg:immich → kafka → lake	upsert	2.1 万条	运行中 · 延迟 1.8s	监控
ods_baidu_sync 网盘备份清单	批量	s3:baidu → lake.ods	全量覆盖	—	失败 · 连接超时	重跑诊断
ods_hdd_scan 机械盘文件扫描	批量	local:/opt/hdd → lake.ods	全量覆盖	28.3 GB	成功	运行配置

已接入数据源

管理 ›

数据源	类型	连接	状态
immich-pg	PostgreSQL 15	192.168.2.250:5432	连通
local-fs	本地文件	/opt/hdd	连通
minio-dev	S3 兼容	minio.lanlake:9000	连通
baidu-api	HTTP / 私有 API	pan.baidu.com/api	超时

同步速率

近 24 小时

血缘分析

字段级血缘 · 由 OpenLineage 采集上报 · 存储于 Atlas

上游 3 层 · 下游 2 层

当前表上游下游

ods.im_assets

Hive · 860万行

ods.im_users

Hive · 2.1万行

ods.ml_model

Hive · 42行

ods.im_faces

Hive · 1,240万行

dwd_immich_assets_di

任务 · Trino · P0

dwd.im_assets_di

Iceberg · 1.2GB

ads_photo_stats_di

任务 · 07:30

ads_face_cluster_di

任务 · 实时

指标:照片总量

指标平台

ads.photo_stats_di

报表 / BI

API: /photo/stats

数据服务

💡节点 17 个，边 21 条。红色节点为本次变更影响范围（含 2 个下游任务、1 个指标、1 个 API）。点击任一节点可下钻。

字段级血缘face_cnt

源字段	加工逻辑	目标字段
ods.im_faces.face_id	COUNT(face_id) GROUP BY asset_id	dwd.im_assets_di.face_cnt

下游传播

→ ads.photo_stats_di.avg_face（AVG）

→ 指标「人均照片数」

影响分析修改前必看

2 任务 · 1 指标

对象	类型	影响程度	owner
ads_photo_stats_di	任务	高	王工
ads_face_cluster_di	任务	中	李工
指标:照片总量	指标	高	周先生

📢提交发布时将自动通知以上 3 位 owner。

数据探查

建任务前先看数据分布 · 自动 Profile 与采样预览

探查完成 · 860 万行 · 24 字段 · 耗时 42s · 采样 10%

表级指标

总行数

8,602,341

总大小

1.2 GB

字段数

24

空值率最高

12.4%

字段画像

字段

分布 / 取值

空值率

唯一值

asset_id

主键 · 无重复

0%

8,602,341

type

IMAGE 82% VIDEO 14% OTHER 4%

0%

3

file_size

min 2KB · p50 2.4MB · max 1.8GB

0%

—

owner

4 个用户 · 最多者占 61%

2.1%

5

face_cnt

⚠ 空值偏高，疑似上游未关联

12.4%

14

⚠️探查发现 2 个数据问题：
① owner 空值率 2.1%（18 万行）——可能导致下游按人统计失真
② face_cnt 空值率 12.4%——超出 5% 阈值，建议先在集成层补齐关联
以上问题可一键生成质量规则加入监控。

数据采样预览前 20 行

下载完整样本 ›

asset_id	owner	type	file_size	shot_at	face_cnt
a1b2c3d4-...	周先生	IMAGE	2,418,392	2026-11-06 14:22:11	3
e5f6g7h8-...	周先生	IMAGE	1,842,110	2026-11-06 14:25:03	1
i9j0k1l2-...	家人	VIDEO	184,209,331	2026-11-06 15:02:44	4
m3n4o5p6-...	（空）	IMAGE	3,102,884	2026-11-06 16:10:22	（空）

值班管理

On-call 轮值 · 升级链路 · 起夜统计

当前值班

王工

data-oncall · 11-07 08:00 起

本周起夜

3次

↓ 2 次较上周

平均响应

4分12秒

SLA 目标 ≤ 5 分钟

确认率

96%

47 条告警中 45 条已确认

值班表值班组升级链路起夜记录

日期	主值班	备值班	时段	负责范围	今日告警	状态	操作
11-07 周六	王王工	李工	08:00–次日 08:00	照片资产域	6	值班中	调班
11-08 周日	李李工	张工	08:00–次日 08:00	照片资产域	—	待开始	调班
11-09 周一	张张工	王工	08:00–次日 08:00	照片资产域	—	待开始	调班

升级链路

P0立即电话通知主值班0 min

↓ 未确认

通知备值班 + 项目管理员5 min

↓ 仍未确认

升级至租户管理员15 min

↓ 持续未恢复

S0拉起应急会议 + 全员群广播30 min

起夜记录近 30 天

时间	告警	值班人	响应
11-05 03:12	ods_immich_sync 失败	李工	2m30s
11-03 02:48	SLA 破线	王工	4m10s
11-01 23:55	资源组 OOM	张工	6m05s

敏感数据识别

自动扫描 + 规则识别 + 人工复核 · 结果回流至数据权限

已扫描对象

3,472

覆盖率 100%

敏感字段

86

人工确认 71 · 待复核 15

识别准确率

94.2%

近 30 天人工复核结果

未标记风险

4

疑似 L4 未分级

待复核已识别识别规则扫描记录

对象 / 字段	识别类型	置信度	建议分级	样本（脱敏）	状态	操作
lake.dwd.im_assets_di.owner	姓名 / 用户标识	98%	L4 机密	周**	待复核	确认忽略
lake.ods.im_faces.embedding	生物特征	99%	L4 机密	[512-dim vector]	待复核	确认忽略
photos.ods.im_users.email	邮箱	97%	L3 内部	10447****@qq.com	待复核	确认忽略
lake.ods.im_assets.gps	地理位置	96%	L4 机密	32.06, 118.79	待复核	确认忽略

💡确认后自动生效：字段分级更新 → 数据权限页的脱敏策略同步生效 → 下次查询自动打码，无需手工配置。

识别规则

管理规则 ›

🆔 身份证号

正则匹配 18 位身份证

^\d{17}[\dXx]$

📱 手机号

中国大陆 11 位手机号

^1[3-9]\d{9}$

📧 邮箱

标准邮箱格式

^[\w.-]+@[\w.-]+\.\w+$

👤 姓名

中文姓名字典 + 字段名语义

field: *name|owner|user*

🧬 生物特征

向量字段 + 语义识别

type: vector | float[]

📍 地理位置

经纬度字段识别

field: *gps|lat|lon|location*

补数据

逻辑变更后回溯重跑历史分区 · 可并发、可中断、可观测

✓选择任务

✓选择时间范围

3确认执行

4执行监控

补数据配置

目标任务

dwd_immich_assets_di

包含下游 2 个任务，可选择是否级联补

时间范围

至共 37 个分区

级联下游

ads_photo_stats_di ads_face_cluster_di

勾选后下游任务会按依赖顺序一并补跑

并发度

预计总耗时 ≈ 2h 40m

优先级

低（不抢占在线）中高

补数据默认低优先级，避免影响日常调度

执行历史

补数据 ID	任务	范围	分区数	发起人	开始时间	状态	操作
BF-20261106-004	ads_photo_stats_di	10-01 ~ 10-31	31	王工	11-06 22:10	已完成	详情
BF-20261105-003	dwd_immich_assets_di	10-15 ~ 11-04	21	李工	11-05 21:30	执行中 13/21	详情终止
BF-20261103-002	ods_baidu_sync	10-20 ~ 10-30	11	张工	11-03 20:00	失败 5/11	详情重试

任务依赖

照片资产域 · 全部任务依赖拓扑

成功运行中失败未运行共 142 个任务 · 268 条依赖

ods_immich_sync

04:00 · 成功

ods_hdd_scan

04:30 · 成功

ods_baidu_sync

05:00 · 失败

dwd_immich_assets_di

06:30 · 运行中

dwd_hdd_files_di

05:40 · 成功

dws_photo_agg_di

07:10 · 成功

dws_hdd_usage_df

07:00 · 失败

ads_photo_stats_di

07:30 · 成功

ads_storage_trend_di

07:45 · 未运行

💡关键路径：ods_immich_sync → dwd_immich_assets_di → dws_photo_agg_di → ads_photo_stats_di， 总时长 3h 22m，是 SLA 承诺 07:30 的唯一路径。

依赖详情dwd_immich_assets_di

上游4 个（表级 3 · 任务级 1）

下游3 个

依赖方式表级自动解析 + 任务级手工

等待策略上游全部成功才启动

阻塞传播

1 条链路受阻

ods_baidu_sync 失败

↓ 阻断

无直接下游（可独立重跑）

dws_hdd_usage_df 失败

↓ 阻断

ads_storage_trend_di（未运行）

API 详情已发布

数据服务 / /api/v1/photo/stats

今日调用

18,204

成功率 99.7%

P99 响应

210ms

平均 46ms

QPS 配额

50

当前 12 · 使用 24%

授权应用

3

1 个待审批

在线调试参数定义调用示例授权应用调用日志

请求头

Authorization: Bearer lk_****************
X-Project: proj-photo

参数

参数	位置	必填	说明
date	query	是	日期分区 yyyymmdd
type	query	否	IMAGE / VIDEO，默认全部
owner	query	否	按归属人过滤

响应 200 OK 46ms · 1.2KB

{ "code": 0, "data": { "date": "20261107", "total": 8602341, "by_type": { "IMAGE": 7053920, "VIDEO": 1204328, "OTHER": 344093 }, "total_size_gb": 1204.8 }, "trace_id": "a1b2c3d4e5" }

数据来源与安全

数据集lake.ads.photo_stats_di

最大返回行数10,000

超时3s

脱敏已启用（L4 字段自动打码）

限流50 QPS / 应用

授权应用

管理 ›

应用	AK 前缀	今日调用	状态
immich-web	lk_a1b2…	14,208	正常
mobile-app	lk_c3d4…	3,996	正常
bi-report	lk_e5f6…	0	待审批

版本对比

dwd_immich_assets_di · v2 → v3

基准版本

→

对比版本

+18 行 -2 行

v2 → v3 · SQL 变更

11

a.type AS asset_type,

12

m.model_name AS ml_model,

+13

COUNT(f.face_id) AS face_cnt,

13

FROM lake.ods.im_assets a

14

LEFT JOIN lake.ods.ml_model m ON a.model_id = m.id

+15

LEFT JOIN lake.ods.im_faces f ON a.asset_id = f.asset_id

16

WHERE a.dt = '${bizdate}' AND a.deleted = 0

-17

GROUP BY 1,2,3,4,5,6

+17

GROUP BY 1,2,3,4,5,6,7

调度配置变更

-

超时时间：1200s

+

超时时间：1800s

+

新增上游依赖：ods_immich_sync（表级自动解析）

元数据变更

+

新增字段：face_cnt bigint （⚠ 缺注释）

~

字段数：6 → 7

⚠️Schema 变更检查：新增 face_cnt 为可空字段，向后兼容，不影响下游 SQL。但下游 2 个任务、1 个指标需知悉，提交后将自动通知其 owner。

快速开始

4 步接入你的第一个数据任务

接入进度2 / 4 完成

✓

接入存储与 Catalog

连接 MinIO（S3）并在 Gravitino 创建 metalake

查看配置 ›

✓

配置计算引擎

接入 Trino 或 Spark，验证 SQL 可执行

查看配置 ›

3

接入数据源

添加 MySQL / 文件系统，创建第一个集成任务

去接入 ›

4

创建并发布任务

写一段 SQL，配置调度，发布到生产

去创建 ›

推荐模板从模板快速开始

📥 数据库同步入湖

MySQL → Iceberg 全量+增量

🔄 实时 CDC 入湖

binlog → Kafka → Paimon

📊 日增量汇总

ods → dwd → ads 标准三层

🧹 小文件合并

Iceberg Compaction 定时任务

与你当前环境匹配

✅ 检测到 MinIO 已运行（lanlake:30000）

✅ 检测到 Gravitino 已运行（lanlake:30090）

⚠ 未检测到计算引擎，建议先接 Trino

⚠ DolphinScheduler 尚未接入