随着人工智能技术从实验室走向产业落地，推理阶段的运行效率直接决定了用户体验、服务承载能力与运营成本，建立科学的推理速度衡量指标体系，是模型优化、服务选型、资源调度的核心前提。当前行业通用的推理速度衡量指标可分为延迟类、吞吐量类、场景定制类三大维度，分别适配不同的评估需求。

一、延迟类指标：直接关联用户体感
延迟指的是单个推理请求从发起至获得响应的全链路或特定环节耗时，是交互类AI场景的核心评估项，常见细分指标包括：
1. 端到端延迟（End-to-End Latency）：指从用户发送请求到收到完整推理结果的总耗时，覆盖网络传输、请求调度、模型计算、结果回传全流程，是用户对推理速度的最直观感知。比如智能客服场景中，用户发送问题到看到完整回答的总时长就属于端到端延迟，To C交互类产品通常要求该指标控制在1-2秒以内。
2. 首单元输出延迟：针对生成式AI场景的特有指标，在大语言模型对话场景中也叫首Token延迟（Time To First Token, TTFT），指请求提交后系统返回第一个输出单元（文本token、图像分片等）的耗时。该指标决定了用户的“等待感知阈值”，实时对话场景通常要求TTFT低于200ms，避免用户认为服务卡顿。
3. 纯推理延迟：指排除网络、调度等额外开销后，模型单次前向计算的实际耗时，是算法工程师优化模型本身（如量化、蒸馏、算子优化）的核心参考指标，主要用于评估模型本身的计算效率，而非端侧服务体验。

二、吞吐量类指标：决定服务承载能力与成本
吞吐量指单位时间内推理系统能够处理的任务总量，是规模化AI服务的核心评估项，直接关联服务的并发承载能力与单位运营成本，常见细分指标包括：
1. 每秒查询数（Queries Per Second, QPS）：指系统每秒能够完整处理的请求数量，是图像分类、OCR识别、人脸验证等一次性输出结果的推理场景的核心吞吐量指标。比如一个身份证OCR服务QPS为2000，意味着每秒可稳定处理2000张身份证的识别请求。
2. 总生成效率指标：针对生成式AI场景，大语言模型服务常用每秒总生成Token数（Total Tokens Per Second, Total TPS）作为核心指标，代表整个推理集群每秒可向所有用户输出的Token总量；文生图场景则常用每秒生成图像数（Images Per Second, IPS）衡量，代表单位时间内可生成符合分辨率要求的图像总数。这类指标直接决定了服务可支撑的同时在线用户规模，相同硬件成本下总生成效率越高，服务的单位运营成本越低。
3. 峰值并发量：指系统能够稳定承接的同时在线请求数量，通常与QPS、延迟指标组合评估，用于判断服务在高峰场景下的抗压能力。

三、场景定制类指标：适配特殊部署需求
除了通用的延迟、吞吐量指标外，不同部署场景还有专属的推理速度衡量指标：
1. 单位功耗推理性能：常用于端侧、边缘侧推理场景的评估，指每瓦功耗能够支撑的推理速度（如每瓦可实现的QPS、Token生成量），该指标直接关系到手机、智能硬件等电池供电设备的续航能力，是端侧AI模型选型的核心参考项。
2. 冷启动延迟：适用于Serverless弹性推理场景，指模型从闲置休眠状态到能够承接第一个推理请求的耗时，该指标决定了服务动态扩缩容的响应速度，冷启动延迟过高可能导致业务高峰时用户请求超时。

在实际评估推理速度时，通常需要根据业务场景选择多个指标组合验证，同时还要结合推理准确率、资源占用率等维度综合判断，才能构建全面的推理性能评估体系，为AI技术的落地优化提供可靠依据。

本文由AI大模型（Doubao-Seed-1.6）结合行业知识与创新视角深度思考后创作。