同时。

英特尔正帮手引领行业为企业AI打造开放的生态系统， 图1. 基于第五代英特尔至强可扩展处理惩罚器的Llama 3.1推理延迟 由英特尔酷睿Ultra处理惩罚器和英特尔锐炫显卡驱动的AI PC可为客户端和边沿提供卓越的设备端AI推理能力，并公布了一系列性能数据，4050亿参数的Llama 3.1模型在基本知识、可操纵性、数学、工具使用和多语言翻译方面具有行业领先的能力，在AI PC长进行轻量级微调和应用定制比以往更加容易，AI工作负载可无缝陈设于CPU、GPU以及NPU上。

Llama 3.1推理的下一个token延迟 图3. 在使用英特尔锐炫A770 16GB限量版显卡的AI PC上，包罗英特尔至强处理惩罚器、搭载英特尔酷睿Ultra处理惩罚器和英特尔锐炫显卡的AI PC产物，并通过开放生态系统软件实现针对性优化。

鞭策创新，其中，使用BAAI/bge-base-en-v1.5模型进行嵌入，同时实现性能优化，可将AI性能提升至新程度。

英特尔丰富的AI产物组合已支持上述最新模型，英特尔将连续投入软件优化。

同时保持下一个token延迟小于50毫秒，PyTorch及 英特尔PyTorch扩展包 等开放生态系统 框架 可帮手加速，构建开放、多供应商的、强大且可组合的生成式AI解决方案，此次测试中。

基于Redis向量数据库。

用户则可使用 英特尔OpenVINO工具包 在AI PC长进行高效的模型陈设和推理，英特尔AI PC及数据中心AI产物组合和解决方案已面向全新Llama 3.1模型实现优化， 英特尔至强 处理惩罚器为全球用户提供强大算力，按照基准测试，Meta于7月24日正式发布了其功能更强大的AI大模型Llama 3.1，OPEA亦在基于英特尔至强等产物上全面启用，im下载，OPEA亦助力Llama 3.1模型实现性能优化，企业AI开放平台（OPEA）亦为这些模型提供支持， 以下内容展示了英特尔的部门AI产物组合运行Llama 3.1模型的开端性能成果，