https://inkeast.github.io/MessageDaily/tags/kv-cache/Recent content in KV Cache on MessageDailyHugozh-cnThu, 24 Sep 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-09-24-yunqi2026-agent-native-lakebase/Thu, 24 Sep 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-09-24-yunqi2026-agent-native-lakebase/2026云栖大会数据库论坛《为Agent重做数据层》全链路复盘：Apsara LakeBase以湖库一体与秒级弹性重做Agent成本曲线，PolarDB多模引擎、ADB具身数据闭环、SelectDB/ClickHouse/Lindorm各守一环，Tair语义缓存把QReCC命中率13%提到80%、KV Cache让百炼命中率90%→96%。当Agent成为数据的主要生产者与消费者，数据层正从容器变成工作底座。https://inkeast.github.io/MessageDaily/posts/2026-09-24-yunqi2026-scaleup-open-interconnect/Thu, 24 Sep 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-09-24-yunqi2026-scaleup-open-interconnect/2026云栖「超节点Scale-Up开放互连与开源计算生态」论坛复盘：KV Cache在千问3-235B中已占57%存储、超过权重本身，内存墙把互连协议推上主战场。UALink 2.0落地与3.0路线、CXL从’已死’论调中复活、磐久UMX分层介质以存代算、Beluga用CXL内存池把命中场景TTFT砍掉九成，圆桌上AMD与三星直言协议百花齐放不可持续。核心判断：超节点的竞争单位正从芯片变成’协议+介质+软件’的开放生态位。讲者与讲题已按议程页校正，关键产品规格经外部核验。https://inkeast.github.io/MessageDaily/posts/2026-09-24-yunqi2026-h3c-token-cost-performance-computing/Thu, 24 Sep 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-09-24-yunqi2026-h3c-token-cost-performance-computing/本文整理自云栖大会2026「新华三：打造Token极致性价比，下一代智算关键技术创新论坛」全场实录。十位来自新华三、阿里云、英特尔、平头哥、博通、清程极智、是石科技的讲者，从超节点、异构协同、智能网卡、跨域网络到KV Cache存储新架构，勾勒出同一条主线：当AI从不计成本地堆算力转向逐个Token地算成本，基础设施的每一层——芯片、网络、存储、软件——都要围绕"每个Token的性价比"重新设计。https://inkeast.github.io/MessageDaily/posts/2026-09-23-yunqi2026-cpfs-data-infra-forum/Wed, 23 Sep 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-09-23-yunqi2026-cpfs-data-infra-forum/2026 云栖大会存储专场全程复盘（10757 秒转写）：训练迈向百万卡、推理上下文冲向百万 token，瓶颈正从算力转向数据存取。阿里云商用全栈自研 CPFS（单文件系统 100PB），首发 KVCacheStore（用 SSD 换显存，Kimi 实测 TTFT 降 54%），OSS 表格桶补齐全模态湖仓，EBS 从盘进化为池。关键数字经外部交叉核验，自报口径已标注。https://inkeast.github.io/MessageDaily/posts/2026-07-31-ai-infra-gpu-utilization/Fri, 31 Jul 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-07-31-ai-infra-gpu-utilization/当AI行业的重心从训练转向推理，一个被忽视的事实浮出水面：GPU大多数时间其实很"闲"。Azure推理负载高达65%的能耗消耗在空转等待上，OpenAI的Chat类请求也达到52%。本文基于硅谷101播客，系统梳理AI Infra四层架构，拆解SGLang/vLLM等开源推理引擎如何通过KV Cache复用、连续批处理、PD分离、投机采样、强化学习训练框架MegaScale等技术，把GPU利用率从50%推向90%+——软件层的每一次优化都变成直接的商业问题。