https://inkeast.github.io/MessageDaily/tags/agi/Recent content in AGI on MessageDailyHugozh-cnFri, 31 Jul 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-07-31-ai-infra-gpu-utilization/Fri, 31 Jul 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-07-31-ai-infra-gpu-utilization/当AI行业的重心从训练转向推理，一个被忽视的事实浮出水面：GPU大多数时间其实很"闲"。Azure推理负载高达65%的能耗消耗在空转等待上，OpenAI的Chat类请求也达到52%。本文基于硅谷101播客，系统梳理AI Infra四层架构，拆解SGLang/vLLM等开源推理引擎如何通过KV Cache复用、连续批处理、PD分离、投机采样、强化学习训练框架MegaScale等技术，把GPU利用率从50%推向90%+——软件层的每一次优化都变成直接的商业问题。