60亿与130亿参数大模型中体现优异英特尔至强处理器经过AISBench测验认证

09-06 326阅读 0评论

近期，第五代英特尔至强可扩展处理器经过了我国电子技术标准化研究院安排的人工智能服务器体系功用测验（AISBench）。英特尔成为第一批经过AISBench大言语模型（LLM）推理功用测验的企业。

我国电子技术标准化研究院赛西实验室根据国家标准《人工智能服务器体系功用测验标准》（征求意见稿）相关要求，运用AISBench 2.0测验东西，完成了第五代英特尔至强可扩展处理器的AI大模型推理功用和精度测验。测验中，第五代英特尔至强在ChatGLMV2-6B（60亿参数）以及Llama2-13B（130亿参数）两个模型上均展示出杰出推理功用，能够满意轻量级大言语模型的实时推理要求。

测验成果：此次单机功用测验中，在满意人类正常阅览速度要求（生成推迟小于100毫秒）的情况下，在关闭测验场景中结构数据集，根据第五代英特尔至强的服务器可完成：

●在60亿参数的ChatGLM V2模型通用推理中，当输入输出序列为256时可达每秒2493 token的功用，当输入输出序列为2048时可达每秒926 token。

●在130亿参数的Llama2模型通用推理中，当输入输出为256时可达每秒513 token，当输入输出序列为2048时可达每秒132 token。

作为通用处理器，第五代英特尔至强在人工智能、网络、存储、数据库等要害作业负载均能供给超卓功用。AISBench 2.0的测验成果验证了英特尔至强在运转轻量级大言语模型时展示出的优异推理功用，使得客户能够运用根据至强的服务器，构建一个通用AI体系进行数据预处理、模型推理和布置，然后取得兼具AI功用、功率、准确性和可扩展性的组合。这也显示了英特尔至强能够为企业供给“开箱即用”的功用，即能够在通用体系上布置一部分AI作业负载，然后为客户带来更佳的整体具有本钱（TCO）优势。

软硬结合，至强展示AI优势

英特尔至强的内置AI加快器使其成为在通用处理器上运转部分AI作业负载的抱负解决方案，不仅如此，英特尔还装备了经过优化的、易于编程的敞开软件，可下降客户和生态同伴在数据中心布置从云到智能边际各种根据AI的解决方案的门槛。

●第五代英特尔至强可扩展处理器充分发挥了体系级优势（包含缓存、内存等），因而推理速度完成了大幅提高。

●其内置的AI加快器——英特尔高档矩阵扩展（AMX），经过供给专用的矩阵运算加快模块（TMUL），以及支撑INT8和BF16这类低精度数据类型，可完成对核算资源的充分利用，然后大幅提高运算功率。

●xFasterTransformer（简称xFT）是英特尔供给的在CPU渠道上布置大言语模型的深度优化敞开解决方案，经过C++和Python两种API接口，更易于用户运用和将其集成到自有事务结构中。

关于AISBench

AISBench基准是一套应用于人工智能核算产品的功用测验基准，由我国电子技术标准化研究院牵头研发。与MLPerf等世界先进核算基准相似，该基准用于测验多种人工智能核算产品形状，并支撑丰厚的测验场景、形式、类型和目标。