计算架构：把云成本降到十分之一

智能体和人一起工作。人不在线的时候，智能体大部分时间在等。为等待付费，是云成本里最大的浪费。

企业要三件事同时成立：员工发消息，智能体马上回答；没人用的时候，几乎不花钱；数据始终留在自己的边界里。做到这三件事靠架构，不是靠关掉几台机器。

1. 成本随企业数线性增长：每家企业每月的基础设施成本约 1,000 美元。照现在的架构，50 家企业约 5 万美元一个月，规模没有带来节省。
2. 每家企业有一台常开的服务器（约 500 美元 / 月）：白天 CPU 常在 50% 以上，夜里大部分时间空着。
3. 共享运行池的 CPU 平均只用了 2–5%，瓶颈在内存：一个冻结的智能体约占 250 MB，要靠压缩内存才放得下 300 个。
4. 智能体每一轮有约 6 秒的固定开销，冷启动约 5.6 CPU 秒。要快就得常驻，要省就得冷启动，两头都不理想。
5. 平台每天触发约 2.5 万次定时任务，真正需要模型的只有约 300 次，其余的也会叫醒整个运行环境。
6. 第一步已经做了：按需沙箱把常驻的沙箱从 292 个降到 11 个，夜里自动换小机型，云账单预计降 48%。再往下，要靠新的架构，不是继续调参数。

1. 每一项都是取舍：延迟、成本、可靠性和数据边界互相拉扯。降成本不能让员工的智能体掉线一次，也不能让一家企业的数据进到另一家企业的进程里。
2. 智能体是有状态的：会话、记忆、文件和定时任务。让一个有状态的进程随时停下、随时在另一台机器上恢复，没有标准答案。
3. 改造在生产上进行：几百个智能体每天在为真实的员工工作。每一步都要能灰度、能核对、能回退。
4. AI 可以帮你拆账单、写代码、跑压测。但定目标、判断哪些钱必须花、为生产上的每一次变更负责，要靠你的经验和判断。

1. 成本模型：把云账单拆到每家企业、每个智能体、每一轮对话，每周自动更新。
2. 新的计算架构：智能体按需运行、状态可以迁移、计算在企业之间安全共享、按负载自动扩缩容。设计文档写清每一个取舍。
3. 迁移：把现有的全部智能体搬到新架构上，不中断服务。
4. 预算闸门与监控：成本异常自动告警；新功能上线前先算账。
5. 运维手册：扩容、缩容、故障恢复和回退。

1. 每家企业每月的基础设施成本：从约 1,000 美元降到 100 美元以下。
2. 每 1,000 轮对话的计算成本。
3. 冷启动后第一条回答的延迟（p95）。
4. 可用率不低于 99.9%；因改造造成的服务中断：0 次。

1. 5 年以上大规模云平台或基础设施经验。
2. 主导过一次显著的云成本优化，能拿出前后的数字。
3. 设计并上线过多租户或 Serverless 系统，对隔离、冷启动和扩缩容有第一手经验。
4. 能读懂并修改别人的开源系统代码。

1. 你降过的一张云账单：做了什么，前后的数字。
2. 你设计过的多租户、Serverless 或调度系统的设计文档。
3. 一次你负责的生产迁移，或一次事故复盘。