性能压测：你的大模型到底有多快

在当前大模型（LLM）应用如火如荼的时代，无论是构建智能客服、实时搜索助手，还是驱动创意内容生成，大模型的推理速度都已不再是可有可无的“奢侈品”，而是直接决定用户体验和运营成本的关键。

我们常常会发现，即便是一个在训练阶段表现优异的大模型，部署到生产环境后，其理论性能与实际表现之间却存在着巨大的鸿沟。这种差距可能表现为：请求延迟时高时低，从毫秒级飙升到数十秒；系统吞吐量不稳定，并发处理能力难以预测；GPU算力利用率低下，远低于预期；甚至推理成本失控，远超预算。

究其根源，这些问题往往隐藏在推理服务的技术细节之中，例如KV Cache的内存管理策略、动态批处理（Dynamic Batching）的实现效果、请求调度和排队机制，以及硬件（特别是GPU内存带宽和计算单元）的适配与利用率。

那么，如何才能系统性地发现并解决这些深层次的性能瓶颈呢？答案是：系统性的推理性能测试。

为什么大模型推理性能测试至关重要？

大模型推理性能测试

推理性能直接影响着以下几个核心方面：

•用户满意度：漫长的延迟会彻底毁掉用户体验。

•可扩展性：它决定了你的服务能够同时承载多少用户。

•成本效益：运行缓慢的模型意味着更高的基础设施成本。

因此，深入理解和评估大模型的推理性能是每一个大模型技术爱好者和GPU加速卡使用者都无法回避的课题。

核心性能指标深度解析

为了全面评估大模型的推理性能，我们需要关注以下几个关键指标：

1.首个令牌时间（Time to First Token, TTFT）这是用户发送请求到接收到模型返回的第一个令牌所需的时间。它直接影响用户对响应速度的感知。

TTFT=模型加载时间+预填充计算时间+调度延迟

2.每令牌时间（Time Per Output Token, TPOT）生成每个后续令牌的平均时间。它决定了内容生成的流畅度和连贯性。

3.输出吞吐量（Throughput）单位时间内模型生成的令牌总数。它反映了系统的整体处理能力，通常以“tokens/s”衡量。

4.并发效率（Concurrency Efficiency）每个并发请求的平均令牌生成速率，用于评估系统在并发场景下的扩展性。

并发效率=总吞吐量/并发数

5.延迟（Latency）从发送请求到接收到完整响应所需的时间。

延迟=TTFT+生成时间

除了这些核心指标，还应关注Inter Token Latency (ITL)，即每个令牌生成之间的时间间隔。

借助开源框架：vllm_benchmark_serving

为了帮助大家高效地进行大模型推理性能测试，本文将介绍一个基于开源项目 vllm_benchmark_serving^[1] (fly分支) 的测试框架。该项目在 ​​gjgjos/vllm_benchmark_serving​​ 的实现思路上进行了增强，特别是在智能分析和可视化方面。

•智能并发测试：自动探测最优并发配置，避免盲目尝试。

•多维度分析：支持不同输入/输出长度组合的测试。

•性能拐点识别：自动检测性能下降的临界点。

•丰富可视化：生成专业的性能分析图表，直观呈现测试结果。

•两阶段测试策略：先进行并发能力自动检测（1-64并发），再进行标准基准测试（配置文件驱动），兼顾效率与深度。

环境准备：

首先，克隆项目并安装依赖：

git clone https://github.com/FlyAIBox/vllm_benchmark_serving.git
cd vllm_benchmark_serving
git checkout fly # 切换到fly分支
pip install -r requirements.txt

配置测试参数：

编辑 ​​combos.yaml​​ 文件，配置你的模型、vLLM服务地址以及测试场景（输入/输出长度组合、并发请求数）：

# 基础配置
model:"deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"
base_url:"http://localhost:8001"# vLLM服务地址
tokenizer:"deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"

# 测试场景配置
# input_tokens 和 output_tokens 分别是输入和输出文本中的令牌数量。
# 例如，input_tokens: 256, output_tokens: 256 --> [256, 256]
input_output:
- [256, 256]    # 短对话场景
- [2048, 2048]  # 长文本处理场景

# max_concurrency 是可以发送到服务器的最大并发请求数。
# num_prompts 是要发送到服务器的提示数量。
# 例如，max_concurrency: 1, num_prompts: 10 --> [1, 10]
concurrency_prompts:
- [1, 10]       # 低并发测试
- [4, 20]       # 中等并发测试
- [32, 20]     # 高并发测试

启动vLLM服务：

确保你的vLLM服务以OpenAI兼容模式运行，例如：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --host 0.0.0.0 \
  --port 8000

值得一提的是，该框架对 ​​backend_request_func.py​​​ 中的 ​​async_request_openai_completions()​​ 函数进行了修改，加入了 ​​​min_tokens​​​ 和 ​​​max_tokens​​​ 参数，确保了在基准测试中输出长度的一致性，避免了因输出长度不一致导致的性能指标偏差。

执行性能测试：

运行完整的测试套件：

python3 run_sweep.py

分析测试结果：

测试完成后，聚合结果并生成可视化分析图表：

python3 aggregate_result.py
python3 visualize.py --all-analysis

框架会自动生成详细的 ​​aggregate_results.csv​​​ 文件，其中包含了 ​​Total_token_throughput​​​、​​mean_ttft​​​、​​p99_ttft​​​、​​mean_tpot​​ 等关键指标的汇总数据。

你还可以通过 ​​python3 visualize.py --throughput​​​、​​--latency​​​ 等命令生成专项分析图表，甚至通过 ​​python3 visualize.py --interactive​​ 启动交互式仪表板。

可视化分析的价值与智能洞察

该框架提供了专业级的可视化分析能力，能够生成多维度的性能图表：

• •吞吐量趋势分析：展现并发数与吞吐量的关系曲线，不同配置的性能对比热力图，并可视化标注效率拐点。
• •延迟分布分析：通过TTFT分布箱线图、延迟组件分解（TTFT/TPOT/E2E）和性能等级分类统计，帮助你深入理解延迟构成。
• •性能权衡分析：通过吞吐量-延迟散点图，直观识别帕累托最优配置点、性能权衡的边界条件以及快速发现异常配置。

更令人惊喜的是，基于测试数据，框架还能自动生成性能洞察和优化建议，例如：

🔍 vLLM性能深度洞察分析
==================================================

📉 性能下降分析:
   • 256x256: 峰值吞吐量 294.6 tokens/s (并发数=32)
     ✅ 在测试范围内无明显性能下降

🏗️  基础设施并发能力评估:
   • 最稳定的并发配置: 16 (变异系数=0.021)
   ✅ 推荐并发级别: [1, 16] (稳定且延迟可接受)

💡 性能优化建议:
   • 最佳性能配置: 256x256 tokens，并发数=32
     达到 294.6 tokens/s 吞吐量

这些智能洞察能够帮助我们快速定位问题，并为优化提供明确的方向。

工程实践建议与性能优化路径

成功的性能测试不仅仅是运行工具，更需要系统的工程实践：

1.测试环境标准化：确保GPU状态、服务进程、网络连接等测试环境的一致性。

2.监控指标完整性：除了核心性能指标，还需关注GPU内存使用率、网络延迟、队列等待时间、错误率等系统级指标。

3.测试数据的代表性：使用真实业务数据分布，考虑prompt长度的变化范围，并模拟实际的请求模式。

基于测试结果，我们可以规划出系统性的优化路径：

•短期优化（配置调整）：调优并发数、批处理大小（如vLLM中的​​max_num_seqs​​ 参数）、优化KV Cache的内存分配策略。

•中期优化（架构调整）：多实例部署实现负载均衡、智能的请求调度与优先级管理、对相似请求进行结果缓存。

•长期优化（硬件升级）：根据性能需求选择合适的GPU、使用高速SSD减少模型加载时间、提升网络带宽以减少传输延迟。

写在最后

大模型推理性能测试看似复杂，但有了合适的工具和方法，我们就能系统性地解决实际部署中的性能问题。从实践案例中可以看出，同一个模型在不同并发配置下的性能差异巨大，这提醒我们：

1.性能测试不可省略：部署前的充分测试能有效避免生产环境的性能问题。

2.数据驱动优化：基于真实测试数据做决策，而非主观臆断。

3.场景化配置：针对不同应用场景选择最合适的配置参数。

4.持续监控优化：性能优化是一个持续迭代的过程，而非一劳永逸。

希望本文能为你在大模型推理性能优化之路上提供一些实用的指导和启发。

动手实践起来，让你的LLM真正地“快”起来！

引用链接

​​[1]​​​ vllm_benchmark_serving:​​https://github.com/FlyAIBox/vllm_benchmark_serving/tree/fly​​

本文转载自​​​​萤火AI百宝箱​​​​​​​​​​​​​​，作者： 萤火AI百宝箱