Dokumentation
Schichten
Die Namen unten sind die üblichen für die Schichtung von Inferenz-KV-Cache. GPUCache ist G3.5. Es ist kein anderer Name für G4.
Aktuell läuft CPU/TCP mit Host-Kopien; FileStore ist das persistente CPU-Referenzbackend. DPU/NVMe/GDS in der Tabelle ist das Zielbild. Reales RDMA, GDS und BlueField-3 bleiben NOT_RUN_HARDWARE. Cold-Tests verwenden einen Mock; live RustFS ist nicht qualifiziert.
| Schicht | Medium | Bereich | Rolle für den KV Cache | Produkt |
|---|---|---|---|---|
| G1 | GPU-HBM | Eine GPU | Heißer KV, der während der Generierung gebraucht wird | — |
| G2 | Host-DRAM | Ein Knoten | Zwischenlager und Puffer für KV, der aus dem HBM verdrängt wurde | — |
| G3 | Lokale NVMe-SSD des Knotens | Ein Knoten | Warmer KV für kurze Wiederverwendung. Nicht über Knoten hinweg geteilt. | — |
| G3.5 | Gemeinsamer NVMe-Flash, von einer DPU verwaltet und über Ethernet oder RDMA erreicht | Geteilt in einem GPU-Pod oder Cluster | Eine heiße Schicht für wiederverwendbaren KV Cache, bei Bedarf zurück nach G2 oder G1. Ein Verlust ist ein Miss; neu berechnen, dann zurückschreiben. | GPUCache (in Entwicklung) |
| G4 | Gemeinsamer Netzwerkspeicher (Objektspeicher) | Rechenzentrum | Dauerhafte kalte Daten: Modelle, Datensätze, Sitzungsverlauf, Inferenzergebnisse | RustFS |
Derselbe Stapel, gezeichnet
- G1HBM
- G2DRAM
- G3NVMe
- G3.5GPUCache
- G4RustFS
G3.5 ist der Signal-Block. Er lässt sich leichter teilen als die lokale SSD auf G3 und liegt näher am heißen Inferenzpfad als der gemeinsame Speicher auf G4.
Die Grenze zwischen G3.5 und G4
GPUCache übernimmt keine Dauerhaftigkeit. Fällt ein G3.5-Knoten aus oder gehen Daten verloren, sieht das Inferenz-Framework einen Miss, macht das Prefill wie bisher erneut, schreibt das Ergebnis nach GPUCache zurück, und der nächste Zugriff kann treffen.
Kontext und Ergebnisse, die lange bleiben müssen, gehen an RustFS auf G4. Die heiße Schicht lässt sich neu berechnen. Die Kapazitätsschicht ist der Ort, an dem Daten bleiben müssen.