微软出手!Win11电脑本地运行DeepSeek-R1大模型

R1大模型-IT之家

人工智能正加速向着边缘计算领域发展，Copilot+ PC 在其中扮演着重要角色。随着 DeepSeek R1 出现，微软也意识到了这一模型可能会带来了一系列变革。 微软今日（1 月 30日）发文，宣布推出针对 NPU 优化的 DeepSeek-R1（已在 Azure AI Foundry 和 GitHub 上提供），首批将面向搭载高通骁龙 X 芯片的 Copilot+ PC 推出，随后是英特尔酷睿 Ultra 200V 等平台。

微软表示，首个版本 DeepSeek-R1-Distill-Qwen-1.5B将在 AI Toolkit 中提供，7B 和 14B 版本也将很快推出，从而帮助开发者充分利用 Copilot+ PC 中强大的 NPU 配置。 微软表示，Copilot+ PC 上的 NPU 开启了一种新的范式。在这种范式下，生成式 AI 不仅可以在被调用时执行，还可以支持半连续运行的服务。这使开发者能够利用 AI 推理引擎来构建主动和持续的体验。 微软表示：

Advertisements

通过我们在 Phi Silica 上的工作，我们实现了高效的推理 —— 在首次生成 token 的时间和吞吐率方面表现出色，同时对电池续航和 PC 资源消耗的影响降至最低。针对 NPU 优化的 DeepSeek 模型借鉴了该项目的多项关键经验和技术，包括如何分离模型的各个部分以实现性能与效率的最佳平衡、低比特率量化以及将 Transformer 映射到 NPU。此外，我们还利用 Windows Copilot Runtime（WCR）通过 ONNX QDQ 格式在多样化的 Windows 生态系统中实现扩展。 微软表示，要想在 Copilot+ PC 上体验 DeepSeek 只需下载 AI Toolkit VS Code 扩展即可；以 ONNX QDQ 格式优化的 DeepSeek 模型将很快出现在 AI Toolkit 的模型目录中（直接从 Azure AI Foundry 中拉取）。

如下图所示，微软还展示了原始模型和量化模型的示例，以展现两者之间微小但确实存在的差异：

相同提示下原始模型（左）与 NPU 优化模型（右）的响应示例，包括模型的推理能力

Advertisements