InferenceX
由 SemiAnalysisAI 研发
InferenceX™ 是一个开源的推理性能研究平台，旨在持续分析和基准测试业界最流行的开源推理框架。它跟踪真实世界中的模型推理性能，并提供近乎实时的性能进展指标。该平台支持多种硬件和软件栈，包括 NVIDIA Blackwell、AMD GB300 等，并提供了一个公开的、免费的实时仪表盘。其核心目标是捕捉 AI 软件栈（如 SGLang, vLLM）不断演进的性能提升。
- 开源推理性能基准测试平台
- 实时跟踪模型推理性能
- 支持多种主流硬件和AI框架
- 提供公开的性能仪表盘
- 致力于捕捉AI软件的持续性能优化
desktop