文档

分层

各层采用推理 KV Cache 分层的通用说法。GPUCache 位于 G3.5，不是 G4 的另一种写法。

开发中

当前实现是经过主机拷贝的 CPU/TCP 路径，持久化 FileStore 是 CPU 参考后端。表中的 DPU/NVMe/GDS 路径属于设计目标。真实 RDMA、GDS、BlueField-3 仍为 NOT_RUN_HARDWARE。冷层测试使用 mock，尚未验证连接真实 RustFS。

层级	介质	作用域	在 KV Cache 里的角色	对应产品
G1	GPU HBM	单块 GPU	正在生成时用到的热 KV	——
G2	主机 DRAM	单个节点	从 HBM 卸下来的 KV 的暂存和缓冲	——
G3	节点本地 NVMe SSD	单个节点	短期复用的温 KV，不跨节点共享	——
G3.5	DPU 管理、经以太网/RDMA 接入的共享 NVMe 闪存	GPU Pod / 集群内共享	可复用的 KV Cache 热层，按需预取回 G2/G1。丢失时就是一次 miss，重算后写回	GPUCache（开发中）
G4	共享网络存储（对象存储）	数据中心级	持久的冷数据：模型、数据集、会话历史、推理产物	RustFS

同一叠层，画出来

G3.5 是 Signal 色块。它比 G3 的节点本地 SSD 更容易共享，比 G4 的共享存储更靠近推理热路径。

GPUCache 不承担数据持久性。G3.5 节点故障或数据丢失时，推理框架拿到的是一次 miss，按原来的方式重算预填充，再写回 GPUCache，下次就能命中。

需要长期保存的上下文和产物存到 G4 的 RustFS。热层丢了可以重算，容量层的数据要留下来。