gpustack

GPUStack是一个开源的GPU集群管理器，专为AI模型服务和GPU实例配置设计。它能自动配置和编排vLLM、SGLang、TensorRT-LLM等高性能推理引擎，并支持按需启动可SSH访问的GPU实例，适用于开发、微调和交互式工作负载。GPUStack支持跨本地、Kubernetes和云环境的多集群GPU管理，提供企业级运维功能，如故障恢复、负载均衡、监控和认证。它通过OpenAI兼容API提供模型即服务，并优化推理性能，支持NVIDIA、AMD、华为昇腾等多种加速器，以最大化资源利用率。

• 多集群GPU统一管理与调度
• 可插拔高性能AI推理引擎支持
• Day 0模型快速部署与性能优化
• 按需提供SSH可访问GPU实例
• 企业级运维功能与OpenAI兼容API