ドキュメント
階層
各層の名前は、推論 KV Cache の階層で普通に使う呼び方です。GPUCache は G3.5 です。G4 の別名ではありません。
開発中
現在はホストコピーを使う CPU/TCP 実装で、FileStore は CPU 参照バックエンドです。表の DPU/NVMe/GDS は設計目標です。実 RDMA、GDS、BlueField-3 は NOT_RUN_HARDWARE。コールド層は mock テストのみで、実 RustFS 接続は未検証です。
| 層 | 媒体 | 範囲 | KV Cache での役割 | 製品 |
|---|---|---|---|---|
| G1 | GPU HBM | GPU 1 基 | 生成中に使うホットな KV | — |
| G2 | ホスト DRAM | ノード 1 台 | HBM から降ろした KV の一時置きとバッファ | — |
| G3 | ノードローカルの NVMe SSD | ノード 1 台 | 短期で再利用するウォームな KV。ノードをまたいで共有しない。 | — |
| G3.5 | DPU が管理し、イーサネットまたは RDMA で届く共有 NVMe フラッシュ | GPU ポッドまたはクラスタ内で共有 | 再利用できる KV Cache のホット層。必要なとき G2 または G1 へ戻す。失われたら miss であり、再計算して書き戻す。 | GPUCache（開発中） |
| G4 | 共有ネットワークストレージ（オブジェクトストレージ） | データセンタ規模 | 残すコールドデータ：モデル、データセット、セッション履歴、推論の成果物 | RustFS |
同じ積層を、図にする
- G1HBM
- G2DRAM
- G3NVMe
- G3.5GPUCache
- G4RustFS
G3.5 が Signal のブロックです。G3 のノードローカル SSD より共有しやすく、G4 の共有ストレージより推論のホットパスに近い層です。
G3.5 と G4 の境界
GPUCache は永続性を持ちません。G3.5 のノードが落ちるかデータが失われると、推論フレームワークが見るのは miss です。これまでどおりプレフィルをやり直し、GPUCache に書き戻し、次はヒットできます。
長く残すコンテキストと成果物は G4 の RustFS に置きます。ホット層は再計算でき、容量層はデータを残す場所です。