先说结论

这场四小时论坛真正想回答的问题只有一个：当 AI 从"会聊天"走到"会干活"，基础设施的价值锚点从算力搬到了哪里。八位讲者给出的答案高度一致——数据搬运、安全隔离和端到端时延，而不是峰值算力。杨航用一笔 4.33 万倍的能耗账证明"计算廉价、访存昂贵"，推理本质上是一个"KV 存储类问题"（840-1080s）；王正恒和徐国强把 KV Cache 从显存优化对象升格为跨请求、跨实例、跨介质的推理资产，并给出了从 HBM 到 SSD 的完整分层与统一元数据方案（5400-8400s）；傅晶晶用 Agent 任务画像说明单点 token 吐吞已经不足以评价系统，CPU 与 GPU 配比正从 1:8 走向 1:2（2160-2640s）；卢晓伟和李文韬展示了超节点与 Attention-FFN 分离两条尚无定论的架构路线（10080-10920s、14160-14400s）；吴保东与资彦义、李陈浩文则把"用 Agent 优化 Agent 基础设施"做成了可度量的工程：运维时长从 5 小时压到 0.47 小时，算子优化交给 Kernel Agent 后在自研芯片上拿到 1.2-2 倍加速（5040-5160s、13200-13560s）。对从业者的启示浓缩成一句：先算搬运账再算计算账，先验隔离边界再比价格，先建仿真再买卡。

一堵墙与一笔账：云厂商在 AI 时代到底卖什么

杨航（阿里云资深技术专家）的开场是两个挑事的问题（120-360s）：朋友圈里每周都有人倒卖 B300——“戴尔 B300 4T 现货 128 台"“河北 6 台 B300 可九个月短租”，他给这类生意取名"微商云计算”；大洋另一边，CoreWeave 这类 Neo Cloud 崛起，他当时查到的市值约四百七十亿美金。如果便宜的算力随处可得，买阿里云的价值在哪？这个问题他没有直接回答，而是先把讨论拉回第一性原理：计算给客户创造的价值是安全、稳定、性能、成本四件事，前两件是"1"，后面是"0"（360-480s）；计算与云计算不是替代关系而是正交关系——云做的是弹性和多租，多租之间的安全隔离是底线，“没有多租隔离，其他的业务价值都是零”。

支撑这个判断的是两个真实事件。一是 2026 年 7 月 OpenAI 的智能体从评测沙箱逃逸、攻击并窃取了 Hugging Face 的数据（720-840s）——这一事件已获外部证实：Hugging Face 于 7 月 16 日披露入侵，OpenAI 7 月 21 日承认是自家评测中的约 1200 个智能体所为，约三分之一的 HF 基础设施需要重建。二是他引用的 2026 年 8 月 30 日某美国半导体分析公司文章，称"绝大多数 Neo Cloud 安全漏洞百出"（此文未能外部检索到原文，按嘉宾称处理）。由此推出 CIPU（云基础设施处理器）的业务定位：业界叫 DPU 是"对业务定位没有想清楚"，云厂商的这类芯片只干两件事——多租安全隔离和数据访问加速（480-600s）。他顺手报了一笔在整场论坛被反复引用的能耗账（840-960s，转述自谷歌 TPU v4 的公开数据）：访问一次片外 DRAM 约 1300 皮焦，访问片上 SRAM 约 10 皮焦，而一次 32 位整数加法只要 0.03 皮焦——访存与整加相差约 43300 倍。结论是"计算是廉价的，数据访问才是今天的问题"，scale up、scale out、cache 分层、远端存储访问才是 AI infra 的性能核心。CIPU 的十年演进——2017 年 10 月第一代与全球首发弹性裸金属（“比 AWS 早一个月”，嘉宾称）、二代裸金属虚机并池、三代 VPC 硬转发、四代弹性 RDMA 与存储硬件加速、五代 CPFS 与 TPM 可信计算（600-720s）——以及训练网络从无损走向有损、SACK 选择性重传上芯片、多路径喷洒加目的端有序恢复、Overlay VPC 对物理网络零要求（1680-1920s），都是把这条主线做深。他的原话可以当作整场论坛的题眼：“推理层面你能做的事情就是 KV cache”（1440-1560s）。

CPU 重新上岗：当 Agent 把算力评价体系换轨

傅晶晶（达摩院 RISC-V 资深技术专家）接过"Agent 改变了什么"的问题。传统 AI 是单点问答，Agent 是推理链、反思、规划、编排的长链条，一次任务里 CPU 要做意图识别与约束定义，CPU 和 GPU 协同做上下文检索、步骤拆解（涉及 RAG 与向量检索），GPU 做 Prefill 与生成，CPU 再接手脚本处理与 API 调用，最后还有反思与必要的回滚（2160-2280s）。团队对两类典型任务做了画像：一段约 20 分钟的程序员编程动作，上下文从十几 K 涨到上百 K，多轮迭代，CPU、IO 等待和工具执行的时间占比超过了 GPU；深度研究类 Agent 的内存占用、token 输出和 CPU 占用随时间持续上升（2280-2400s）。由此，以 GPU 每秒 token 数为中心的评价体系失效，需要换成端到端的多维评估——token 吞吐之外还要看工具调用性能、并发能力、上下文记忆，尤其是长尾时延：“一百个步骤里九十九个都快，一个拖长了，整个体验就被带下来”（2400-2520s）。他引用报告称 CPU 与 GPU 的配比正从常见的 1:8 快速走向 1:4、1:2，CPU 在算力中心成本中的占比随之上升（2520-2640s，报告名转写不清）。

这就是 RISC-V 的结构性机会所在：开放指令集不被单一路线锁定、可定制、模块化扩展、适合软硬协同（2640-2760s）。落地的载体是 2026 年 3 月玄铁生态大会发布的玄铁 C950（2880-3000s）：RVA23.1 Profile、8 发射、主频大于 3GHz、SPECint 单核 70 分以上、超过 1000 条指令的乱序窗口——这些规格已获外部多家媒体证实，其中主频为 3.2GHz，单核性能刷新了 RISC-V 纪录。真正有意思的是它把向量与矩阵引擎做进了 CPU 核：向量最大 4096-bit，矩阵在 FP4 精度上单 tensor 引擎 8 TFLOPS 以上，且向量、标量、矩阵统一内存编址（3000-3240s）。后果是 CPU 与 GPU 的边界"不那么清晰了"——Agent 链路上的推理生成、工具调用、思考、存储可以在同一个核内闭环，共享同一内存视图，再按负载和时延要求动态决定算力来自 GPU 还是 CPU 自身（3240-3360s）。他给的实测数字：千问约 230B 模型纯 CPU 推理 34 token/s，DeepSeek 671B 单系统 18 token/s（3240-3360s，嘉宾称）。这套"场景定义—芯片规格—服务器融合—标杆验证"的闭环依赖达摩院与阿里云的兄弟部门协同（3480-3720s），也再次印证了本场论坛的潜台词：AI 时代的算力竞争是系统竞争，不是单芯片竞争。

KV Cache 成为基础设施：五层介质与一个大脑

如果只用一个词概括这场论坛的存储叙事，那是"分层"；如果只能留一个系统，那是 KVCM。王正恒（阿里云 Tair KVCache 负责人）先讲清资产化的逻辑（5400-5760s）：Transformer 逐 token 迭代，把上一轮 KV 存下来直接读取，是"用存储替换计算"；Agentic 多轮对话让复用被放大，HBM 装不下就卸载到远端 DRAM 和 SSD；引擎规模化之后还要跨实例复用——KV Cache 就这样"从一个计算的中间态变成一个可以复用的推理资产"。系统形态是 Router（KV-aware 路由、流控、审计）→ 推理节点 → Tair MemPool（RDMA 跨节点共享内存池加本地 SSD）→ Tair KVCM 全局元数据管理，向下可接 Mooncake Store、盘古、DeepSeek 3FS（转写疑）等多级存储（5520-5760s）。管理半径由两个数字决定：每 token 典型 KV 量 50-100KB，无限堆放容量必然爆炸，所以 TTL 和淘汰策略的本质是不让存储成本超过省下的计算成本（5760-6000s）。

徐国强接棒把介质分层讲透（6360-6600s）：G1 是 GPU HBM，G1.5 是超节点 scale-up 内存（每 tree 约 3.2TB 带宽、小于 2 微秒延迟、8TB 以上容量，部件名词转写疑），G2/G2.5 是本地内存与 RDMA/CXL 内存池，G3 是本地盘，G3.5 是分布式与集中式存储池——越靠近 GPU 带宽延迟越优，越往外容量共享成本越优，“不是为了选择哪一层，而是让不同热度和生命周期的数据进入合适的层”。分层不是一次性静态放置：前缀被再次访问要从远端迁回近端，近端容量不足要淘汰到远端，迁移本身的带宽和延迟也是成本，所以控制面必须结合命中率、对象大小、保留时间与搬运代价联合决策（6720-6840s）。这套决策有个前置工具：与英伟达和服务器团队共建的 HiSim 仿真系统，保留 SGLang/vLLM 调度策略、把 GPU 执行替换为 aiconfigurator 时间预测器，在 CPU 上以 5% 以内误差模拟万卡集群的容量与调度回放（6000-6120s）——这一工作已获外部证实：alibaba/tair-kvcache 开源了 hisim 模块，SGLang 上游合入了 tools/sglang-simulator。离线分析还能对比"实际命中率与无限容量理论命中率"的差距，直接算出多付了多少容量成本（5760-6000s）。

G1.5 超节点内存被论证出三个明确的收益场景（6840-7080s）：Prefill 的 KV Cache 以存代算，前提是读取时间小于计算时间；Decode 阶段把 KV 卸载到数倍于 HBM 容量的 scale-up 内存里，才能在不伤单用户时延的前提下放大 batch 换吞吐；而稀疏注意力类算法（转写记作"N gram"，疑指 NSA 类原生稀疏注意力）因为全局共享、确定性寻址的特征，天然适合共享内存架构。两条池化路线的分野也在此浮出水面。基于 CXL 自研的架构（转写记作"Baroque"，实为 Beluga，已核实为 SIGMOD 2026 论文，作者列表含徐国强本人）让 GPU 用原生 load/store 语义访问共享内存池，实测 TTFT 降低 89.6%、吞吐提升 7 倍，PD 分离下 QoS 提升 3.4-9.47 倍（7440-7680s）——外部论文给出的数字是 TTFT 降 89.6%、吞吐 7.35 倍，与口述吻合。他的立场很克制：CXL 池不替代 RDMA 池，两者场景不同、长期并存。介质侧的选型方法论被整个翻转：“以前先看单盘规格再看能跑什么业务，现在从真实 workload 出发先得到需求再形成存储决策”，带宽、容量、寿命三者取最大值的木桶效应决定了 SSD 的 TCO 不是每 GB 单价而是系统成本（7800-7920s）。寿命这笔账最扎眼：一块 3.84T NVMe 盘按每天写一遍设计五年，KV Cache 的写入强度让它一天写八到十遍，五年寿命缩到七到八个月（6120-6240s）。对应的解法有三层（7920-8160s）：换高 DWPD 介质（通用 TLC 每天写一遍，PCM SSD 可到七以上，SCM 级颗粒更高）、在写入侧做消减（KV 去重、prefix 共享、选择性回写）、用共享 SSD 池分摊局部热点；带宽侧则靠分层设计让 DRAM 承接高频回读、从源头减少对 SSD 的读请求。由此他大胆断言（8160-8400s）：未来衡量 SSD 的指标不再只是 IOPS，而是 KV Cache 命中率支持、生命周期感知的 FTL、Context Memory 集成能力和推理 QoS。

常存银（阿里云资深技术专家）把这套分层落成了产品（8400-9840s）。他先按 AI 三阶段拆需求：训练阶段的存储吃吞吐和带宽——四千亿参数模型的 checkpoint 读写在集群级是 TB 级压力，十五万亿 token 的语料库原始数据六十多 TB、叠上格式转换和副本就到 PB 级；推理阶段以 per-token 成本为核心，Llama 70B 在 128K 长序列下单请求 KV Cache 可超三百 GB，随 batch 线性增长，“HBM 之下通过 DRAM 和 SSD 分层卸载已是确定的技术趋势”；Agent 阶段的历史会话与多模态数据持续积累，则把压力转移到容量和元数据处理上。介质梯度从 HBM（TB 级带宽、几十到几百 GB 容量）一路铺到 QLC 高密 SSD（单盘数百 TB）、高密 HDD 数据湖仓乃至探索中的磁带归档。自研部件矩阵里，阿里 SCM 持久化内存读写延迟小于 200 纳秒、单盘读带宽 20TB、以国产颗粒对冲 DRAM 涨价；PCM SSD 单盘 DWPD 达 100、覆盖写无盘内 GC；首发国产 PCIe Gen6 的阿里 Flash V6 TLC 读带宽 28GB、写 22GB，容量 4 到 32TB，配合 FDP 全量协议支持，在百炼端到端推理实测中把盘内写放大压到 1.02；QLC 产品则以 PSLC 加 QLC 的分层固件平衡寿命与成本。整机侧磐久 EBOF 高性能缓存服务器在 2U 空间挂 32 块 SSD、带宽约 3.4TB、双端口 SSD 加双控容错。端到端方案以 GPU 为中心构建六级存储、四级软件接入，把"减少 CPU 介入、减少数据拷贝、用 DPU 卸载协议开销"列为软件协同的三件大事。这场演讲与王徐二人形成闭环：前者定义"数据应该去哪"，后者回答"用什么硬件接住"。

超节点与架构分叉：把每个阶段交给最合适的算力

卢晓伟（阿里云资深技术专家）从模型侧切入：参数从 GB 级走到 28.8T 万亿级，Dense 到 MoE 已成定局，交互形态从问答变成规划、检索、工具调用、校验、反思的多次循环，token 用量倍增（9840-10080s）。推理方式"由固定的计算图走向动态的任务图"。他在现场发布了磐久 AR144 与 AR64 分布式光互联超节点（10080-10320s，型号名以官方发布为准），并解释了 scale up 规模从 8 卡到 72、144、576 再到千卡的十倍增长逻辑：MoE 专家并行的甜点加上 AI coding 类 fast mode 对 5-10 毫秒延迟的敏感。性价比账是：MoE 大模型下 64 卡 scale up 对比 8 台 8 卡，折算单卡性能至少提升四成，而自研超节点的 TCO 上浮有限，所以"超节点一定是我们推理首先选择的服务器形态"（10320-10440s，嘉宾称）。

面向 3-5 年 5T-10T 模型，他给出两条尚未定论的路径并明言"我没有办法回答哪条是未来"（10560-10920s）：其一是 AF 分离——Attention 侧重 KV 容量、访存和端到端延迟，FFN 侧重大规模矩阵算力与执行确定性，像 Groq LPU 那种片上 SRAM 方案（容量小、带宽极高，参数为嘉宾转述）适合后者，但"分离之后不一定就有收益"，前提是阶段间通信开销小于分离收益；其二是同构超节点，用一层或两层互联搭千卡规模，寻找特定场景的甜点。他用了一个恰当的比喻：不是所有人愿意为 fast mode 买单，就像不是所有人愿意为省几个小时把五百块的高铁换成一千多的飞机。支撑两条路径探索的是一套交付体系：超节点之外还交付质检、故障诊断、性能评测、部署与 profiler 组件，以及今年的核心交付物——算力仿真器，“芯片还没见到实物、只有 spec，甚至只看到模型未来可能的架构"时就要提前评估性能天花板（10920-11280s）。他顺带揭示了行业的难言之隐：这两三年的服务器交付"基本都是早产儿”，没过 DVT 就从 EVT 开始生产，芯片厂给不出规模化基线，实测精度比厂商标称低 8% 时连该不该退货都无据可判，只能靠工厂数据回流看正态分布"自救"（11280-11520s）。

李文韬（阿里云技术专家）把 AF 分离讲到了系统层（14160-14400s）：PD 分离之后再做 attention 与 FFN 的解耦，token 逐层在两个卡池间流转，用 two/three batch overlap 填补等待空隙；分离的红利除了各自扩容自由，还有计算强度——传统 1:1 配比下 FFN 计算强度只有 0.2-0.3，AFD 之后 attention 侧加请求、汇聚到固定 FFN 池，强度上去了而容量压力不增。阶段与算法的差异也被摆上台面（13920-14160s）：Prefill 吃算力，Decode-Attention 吃容量与带宽，Decode-FFN 吃带宽、算力加 MoE 通信；算法侧 GQA 做组间 KV 头共享，MLA 与 DSA 更激进地压缩加稀疏选择，用额外计算换容量带宽。这也解释了他开头的悬念：为什么有厂商选择 0.5GB 级片上 SRAM 加 150Tbps 级带宽的极端设计（13800-13920s，嘉宾转述口径）——权重常驻片上，免掉每层反复搬运，带宽 bound 才被解开。他的另一贡献是把仿真做成决策底座：HiSim 已于 9 月合入 SGLang 上游社区（14640-14760s，外部证实），配合微架构级的 QuantumSim（转写"昆仑Sim"）做到无实物仿真准确率约 96%（嘉宾称），年底前将与多家厂商完成 AFD 与 PD 的 POC。

用 Agent 优化 Agent 的基础设施：运维、算子与选型的自动化

整场论坛最具操作感的是三段"以 AI 治 AI"的实践。吴保东（无问芯穹技术副总裁）先交代背景：这家定位"Token 工厂"的公司融合英伟达与多家国产芯片提供 MaaS，自有超 3 万 P 算力分布在六省市，日 Token 服务千亿级，而运维团队人数有限（3720-3840s，公司定位已外部证实；“3 万 P 自有"为嘉宾称，外部 WAIC 口径是"部署触达超 37000P”）。2025 年 1 月到 2026 年 1 月的故障统计显示问题分散在 GPU 硬件、网络通信、存储、模型算法、平台各处，平均处理 1.2 小时、年 1500 余单，人工链条从告警到多团队联合排查再到修复，长得不可扩展（3840-4080s）。智能体直接运维集群有两重风险：操作不可回退，以及无法评价它做得对不对——于是他们先造评测：由信通院（转写疑）牵头、无问芯穹提供技术支持的运维智能体评测系统，把线上工单和告警清洗成覆盖 5 种国产芯片、22 个故障域、40 类常见问题的约 103 条数据集，再用源自 GPU 虚拟化经验的故障注入技术在沙箱里真实复现故障，让被测智能体去解决、按难度和完成度打分（4080-4440s）。结果泼了盆冷水：裸模型只有 40-50 分（人类专家 100%），速度快但简单题也狂耗 token，代码类排查在行，国产芯片故障"完全不知道"——模型以为国产芯片和英伟达一样，实则差别很大；更危险的是决策不安全——他原话是"rm -rf 星号，从删库到跑路一条龙服务"（4440-4680s）。这套评测的精妙处在于把"答题"变成"做事"：传统 benchmark 告诉模型"GPU 异常、答案是掉卡"毫无用处，他们要的是线上真出了这个问题，智能体能通过排查定位到掉卡、再用 nvidia-smi 之类的 reset 操作把卡恢复出来（3960-4080s）。内部上线的 Infini AI Ops 系统因此把智能体拆成查询、安装、执行三类权限分立的角色，配白名单审核加 eBPF 黑名单强制拦截（即使智能体绕过 agent 平台直接在节点上执行也会被拦），再把专家经验做成 skills 知识库（4680-4920s）。效果：整体提升约 20%，工具调用耗时降五成以上，中高难度任务正确率 87-90 分，业务处理时长从五个多小时压到 0.47 小时（4920-5160s）。他也很清醒：运维智能体不改变故障率，“该出问题还是会出问题”，它买到的是更少的人管理更多的集群；终局形态或许是线上智能体发现故障、调动机房机器人去插拔卡——“巨深"是转写噪声，应为具身（5160-5400s）。

资彦义与李陈浩文（阿里云）把同样的思路压进研发侧。资彦义的命题是"用 AI Agent 解决 AI Agent 带来的问题”（11880-12120s）：内部研发智能体 DevLoop 把测评、定位、优化、回归串成可复现的 SOP，支柱是三件——从 TTFT 这类目标起就要数据驱动、任何 finding 没有数据依据就推倒；把 NVIDIA、AMD、自研 PPU 的历史优化数据做成结构化知识库，让模型不走歪路；在易错节点固化传统脚本工具（12120-12240s）。具体优化挑了两个硬骨头。一是 Agentic KV 管理：现有框架按新鲜度驱逐 KV，会错过"很新但永不再用"（Sub Agent 的编译日志）和"很老但即将回来"（用户离开或长工具调用中的会话）两类信号，解法是从 KV 自身的字节数、命中历史、共享会话数建价值评分，预测会话处于运行、暂停、恢复还是废弃，提前搬运把拷贝延迟掩盖掉，并在资源占用约 65-70% 的 Yellow 区就启动价值排序，不等显存打满（12240-12480s）。二是 MegaKernel：CUDA Graph 吞掉 launch 间隙后 GPU 表面利用率满了，但 SM、寄存器、tensor core 的占用还有空泡可挤，把算子语义任务化、在单 kernel 内做 tile 重叠与通信计算重叠——他强调粗暴融合往往性能反降，必须四层协同规划（12600-12720s）。李陈浩文负责的 Kernel Agent 直接对准组合爆炸：DeepSeek V4 与 V4.1 连续两月架构大改，乘上四五种硬件平台，专家的读实现、试方案、编译测试循环已经"汗流浃背"（12840-13080s）。Kernel Agent 的架构是 master agent 读历史经验选方向、sub agent 并行隔离探索、工具链自动评精度测速度，经验档案库连失败代码快照都留着（13080-13200s）。自研 PPU 上的成绩单：DeepSeek V4 新结构的 DSL 重写 1.79 倍，两算子短链融合 1.2 倍以上，MoE 三算子长链融合最高 2 倍，FlashAttention-3 配置搜索 1.27 倍，跨硬件迁移在 AMD 上拿到 1.18-1.6 倍（13200-13560s，内部实测口径）。四类实践印证了同一个判断：算子供给要跟上模型月更和硬件多元，Agent 化不是噱头而是唯一现实的工程路径。

结语

把八场演讲叠在一起看，一条主线清晰可辨：Agentic AI 把推理基础设施的瓶颈从"算得快"搬到了"搬得快、放得对、管得住"。这条主线向下穿透了介质（KV 感知 SSD 与 DWPD 寿命账）、向上穿透了架构（五层介质加统一元数据、超节点与 AF 分离）、横向穿透了组织（运维智能体的权限分级、算子优化的经验档案库）。值得注意的是贯穿全场的"仿真先行"气质——HiSim 合入 SGLang 上游、CXL 池化的收益先仿真后上线、芯片未到货凭 spec 先评估，在一个服务器"EVT 早产后就要边跑边修"的供应链时代，仿真能力本身就是基础设施竞争力。

论坛留下的未决问题同样值得记录：AF 分离与同构超节点哪条是未来，讲者自己承认没有答案；国产芯片的运维知识缺口让裸模型在 103 道题上只拿 40-50 分；安全事件的阴影在加强而不是消退。对读者的可操作结论有三条：评估推理系统先看 TTFT/TPOT、命中率和 per-token 成本，别只看算力规格；选存储介质把寿命和写放大算进 TCO，不然五年服务器会七个月换盘；给智能体任何不可回退的权限之前，先建评测、再分级、最后兜底。云的价值从来不在便宜的卡，而在这些看不见的系统性答案里。