Dokumentation

Schnellstart

Der main-Branch enthält ausführbaren Rust-Code für einen gemeinsamen KV-Cache auf G3.5 mit CPU/TCP. Beginnen Sie mit den Vertragstests; GPU und DPU sind nicht erforderlich.

In Entwicklung

Der Quellcode ist verfügbar. Es gibt noch keine installierbare Veröffentlichung oder Qualifikation für den Produktionseinsatz.

Aus dem Quellcode bauen und testen

Benötigt werden stabiles Rust mit Cargo, Git und Python 3. Beim ersten Lauf werden Abhängigkeiten geladen. Die Tests verwenden synthetische KV-Blöcke, keine Ausgaben eines Inferenzmodells.

git clone https://github.com/rustfs/GPUCache.git
cd GPUCache
cargo test --workspace --all-targets

CPU-Demos ausführen

Führen Sie die Demos ohne GPUCACHE_RUSTFS_*-Endpunkte oder Zugangsdaten aus. Die Cold-Demo verwendet standardmäßig den Mock und validiert keinen echten RustFS-Dienst.

cargo run -p gpucache-transport --bin share-demo
cargo run -p gpucache-transport --bin shard-demo
cargo run -p gpucache-cold --bin cold-demo
cargo run -p gpucache-storage --bin engine-spike
cargo run -p gpucache-dpu --bin dpu-demo

Erwartete Kennungen sind REUSE_OK, SHARD_OK, COLD_CONTRACT_OK, FAKE_BLOCK_CONTRACT_OK und DPU_CONTRACT_OK. Der Engine-Versuch prüft künstliche vollständige Blöcke, die DPU-Demo simuliert auf dem Host. Diese Kennungen belegen keinen Lauf einer echten Engine oder eines Geräts.

Die vollständige CPU-Regression reproduzieren

Der Runner prüft Formatierung, Abhängigkeiten, Clippy, Tests, optionale Features und Demos. Er deaktiviert Live-RustFS-Zugriffe und speichert summary.md, results.json, JUnit und Logs. Verwenden Sie pro Lauf ein neues Ausgabeverzeichnis; --offline setzt bereits geladene Abhängigkeiten voraus.

cargo fetch --locked
python3 scripts/ci/vm_regression.py --profile cpu --offline --output artifacts/cpu-docs

Grenzen dieser Prüfung

Echter vLLM-Export/Import, RDMA, GDS und BlueField-3 bleiben NOT_RUN_HARDWARE; der GPU-/Modelllauf bleibt NOT_RUN_BUDGET. Daraus folgen weder ein aktiver Zero-Copy-Pfad noch Hardware-Leistungswerte oder dauerhafte Hot-Tier-Replikate.

Weitere Dokumentation

Architektur · Roadmap · Skalierung und Einsatzgrenzen · CPU_COMPLETION.md