人工智能推理时代正通过实时数据分析加速医疗研究，并使能够同时解决数千项客户请求的助手等应用成为可能。这些服务的基础是支持持续运行的智能，以及 IoT 和消费设备的智能边缘端点的基础设施。延迟、瓶颈和能源浪费会影响人类结果和企业成本。
推理工作负载具有持续运行、地理分布广泛且对响应时间敏感等特点，因此需要对性能、内存带宽、存储传输速率和网络进行协同设计。Tirias Research 创始人兼首席分析师 Jim McGregor 表示，人工智能并非单一工作负载，而是由数千、数百万和数十亿种不同工作负载组成。优化不仅依赖计算能力，也依赖内存、存储和网络的协调。
在旧有基础设施上添加现代人工智能系统已不足以满足需求，因此需要具备可扩展性、韧性和高效率的架构。内存和存储正成为系统的核心；数据管道必须接收、清理、转换、存储、传输和提供数据。各组织必须在性能与成本、灵活性、可扩展性、每瓦效率、环境足迹和面向未来的能力之间取得平衡；同时还要在不限制增长的情况下消除瓶颈。
术语：推理
推理是指训练好的模型对新的输入生成响应；与训练不同的是，每次使用都会产生新的成本。