vLLM测试

检测项目

1. 推理吞吐量(100~10000 tokens/s)

2. 端到端延迟(50ms~5s)

3. KV缓存利用率(30~98%)

4. 并发请求数(1~2000)

5. 显存占用(8~80 GB)

检测范围

1. LLaMA推理引擎：7B~70B模型

2. ChatGLM服务：6B/130B

3. Qwen推理：72B

4. 自研基座模型：10B~100B

5. 多模态LLM：视觉语言模型

检测方法

1. ISO/IEC 25010:2011 软件质量

2. MLPerf Inference 4.0 LLM基准

3. GB/T 38673-2020 大数据性能评估

4. IEEE P7000-2021 AI系统评估

5. SNIA SSSI 推理存储基准

检测设备

1. 推理服务器(H3C R5300 G6)：8×H800

2. GPU互联网络(InfiniBand NDR 400G)

3. 高速NVMe存储(三星 PM9A3)：7.68T

4. 负载测试(JMeter 5.6.3)

5. 性能剖析(Nsight Systems 2023.1)

6. 功率计(Chroma 66204)

7. 热成像仪(FLIR E8)

8. 万兆网络分析仪(IxNetwork XGS12)

9. 内存测试(memtester 5.1.4)

10. 容器集群(Docker 24.0)

以上是与"vLLM测试"相关的简单介绍，具体试验/检测周期、检测方法和仪器选择会根据具体的检测要求和标准而有所不同。北检检测技术研究院将根据客户需求合理的制定试验方案。