AI PC时代加速：面壁智能端侧大模型适配酷睿Ultra，效率提升220%

今天，面壁智能正式发布并开源了「面壁小钢炮」端侧系列最新力作——MiniCPM 4.0 模型，实现了端侧可落地的系统级软硬件稀疏化的高效创新。英特尔与面壁智能从模型开发阶段就紧密合作，实现了长短文本多重推理效率的提升，端侧AI PC 在Day 0全面适配，128K长上下文窗口等多方面突破。

双方开展了深度技术协同，基于英特尔硬件架构定制投机解码配置。通过硬件感知的草稿模型优化策略，结合英特尔加速套件与KV Cache内存增强技术，实现端到端推理效率的2.2倍提升，携手为业界带来了全新的模型创新和端侧性能体验。

AI PC时代加速：面壁智能端侧大模型适配酷睿Ultra，效率提升220% - 第1张

此次，面壁推出的MiniCPM 4.0系列LLM模型拥有 8B、0.5B 两种参数规模，针对单一架构难以兼顾长、短文本不同场景的技术难题，MiniCPM 4.0-8B 采用「高效双频换挡」机制，能够根据任务特征自动切换注意力模式：在处理高难度的长文本、深度思考任务时，启用稀疏注意力以降低计算复杂度，在短文本场景下切换至稠密注意力以确保精度，实现了长、短文本切换的高效响应。

目前，具有CPU、GPU、NPU三个AI运算引擎的英特尔酷睿Ultra处理器已迅速对此适配，并借助OpenVINO^™ 工具套件为MiniCPM 4.0系列模型提供优化的卓越性能表现。英特尔再次在NPU上对模型发布提供第零日（Day 0）支持，为不同参数量模型和应用场景提供更多样化的、更有针对性的平台支持。

CPU及AI处理引擎	模型	精度	1^st Token延迟(毫秒)	2^nd Token (每秒)
Intel^® Core^™ Ultra 7 258V(iGPU)	MiniCPM4-0.5B	FP16	59.94	87.62
Intel^® Core^™ Ultra 7 258V(NPU)	MiniCPM4-0.5B	FP16	141.99	67.46
Intel^® Core^™ Ultra 7 258V(iGPU)	MiniCPM4-8B	INT4-MIXED-ASYM	694.60	21.3
Intel^® Core^™ Ultra 7 258V(NPU)	MiniCPM4-8B	INT4-MIXED-CW-SYM	1315.89	17.65
Intel^® Core^™ Ultra 9 285H(iGPU)	MiniCPM4-0.5B	FP16	65.32	83.67
Intel^® Core^™ Ultra 9 285H(iGPU)	MiniCPM4-8B	INT4-MIXED-ASYM	645.63	21.39

* 上述测试评估了在int4混合精度和fp16精度设置下1K输入的首词元延迟和平均吞吐量。每项测试在预热阶段后执行三次，选取平均值作为报告数据。性能结果基于以下SKU1或SKU2配置²

在长上下文窗口的技术创新方面，英特尔也有了新的突破。依托分块稀疏注意力机制，结合深度算子融合与硬件驱动的算法优化，实现了长文本缓存的大幅锐减，和推理效率的进一步提升。在保证输出质量的前提下，我们首次在基于英特尔锐炫^™ Pro B60上将长上下文窗口扩展至128K。相较于稠密模型，首Token延迟降低了38%，Token速率提升多达3.8倍。经过这样的提升，一整部300多页的哈利波特小说，可以在90秒内完成阅读、分析和总结。这不仅极大地提升了AI PC的用户体验，也为解锁更多端侧AI新应用建立了强大的基础。未来，英特尔将持续保持与面壁的深度合作和协同研发，进一步提升长上下文窗口应用的性能。

对128K的文本输入进行处理的效果请参考视频演示。