企业数据通道：从 ERP 到数据集

业务数字错一次，业务方就不再相信智能体。数据通道是整套系统的地基。

源系统受客户保护：只能只读、限速地接入，不能给它加负担。所以同一张表只同步一次，所有人都从数据集读。

1. 一家客户已经有 90 个数据集、约 578 万行，来自 81 个表导入；但只有 8 个业务对象类型直接由数据集供数，其余还在走旧的路径。
2. 第一次全量同步曾经让生产数据库的连接池耗尽：几十个写入同时排队等同一把锁，登录和普通页面都返回错误。现在靠人工每次放 10 张表来避开。
3. 很多 ERP 表没有可靠的修改时间，只能整表重读；一张大表失败后重试，会重传全部的行。
4. 还缺三项平台能力：在数据集上直接跑 SQL、业务对象直接由数据集供数、表导入分段续读。

1. 正确比快更重要，但两者都要。增量判断错一次，就有一个数字悄悄地错下去。同步要能自己核对。
2. 并发与一致性：变化的序号必须单调递增，自动化不能漏掉一条变化，也不能重复处理；大批写入不能卡住别的请求。
3. 每家企业的 ERP 都不一样：要在混乱的真实表结构里找到业务的粒度，判断哪些要同步、哪些要加工、哪些不该搬。
4. AI 可以帮你写转换脚本、做核对。但设计数据架构、在一致性和成本之间取舍、为数字的正确负责，要靠人。

1. 增量同步：按表选择变化检测的方法（修改时间、序号、校验和或日志）；失败后从断点续读，不重传。
2. 写入排队与隔离：大批同步不影响交互请求；同一命名空间的写入按顺序进行。
3. 数据集上的 SQL 与加工；业务对象直接由数据集供数。
4. 自动对账：每次同步后核对行数和关键汇总，异常就告警。
5. 接入手册：下一个 ERP 可以照着接。

1. 同步后自动对账的一致率。
2. 数据新鲜度：按约定周期准时到达的比例。
3. 同步期间交互请求的错误：0 次。
4. 每百万行同步的计算与存储成本。

1. 4 年以上数据工程或数据平台经验。
2. 负责过千万行级、增量同步的生产数据管道。
3. 熟悉数据库的事务、锁与并发，处理过由此引起的生产事故。
4. 加分：接过 SAP 或其他 ERP 的数据。

1. 你设计的数据管道：规模、增量的方法、怎样核对。
2. 一次数据事故的复盘：原因、修复、怎样防止再发生。
3. 你接入过的 ERP 或业务系统。