如果DeepSeek靠蒸馏为啥要怕?不,中国是迭代者(图)

中国企业DeepSeek近期推出的AI模型引发美国的高度关注。据香港《南华早报》7日报道，美国国会“美中经济与安全评估委员会”（USCC）6日就中国在AI领域的最新进展召开听证会。会上有专家表示，虽然美国技术在中国AI发展中仍然发挥关键作用，但中国强大的创新动力和“迭代”能力可以克服这一因素。 据报道，美国乔治敦大学安全与新兴技术中心研究分析员汉娜·多门（Hanna Dohmen）在其发言中称，包括DeepSeek-R1在内的中国“最先进”AI模型，“在很大程度上”依赖于其囤积的美制芯片，“随着这些库存在未来几年内耗尽，（美方）管制或导致中外在AI芯片数量和质量上的差距不断扩大”。 尽管多门预计，这有望在中期内减缓中国AI产业发展，但她也认为，美方的管制措施会导致中国企业有更多动力“绕过管制进行创新”。“我们还必须考虑中国自身的创新能力和应对策略。”多门说，“通过限制中国获得芯片和半导体制造设备，出口管制正在激励中国围绕管制进行创新。”


多门在听证会上发言 多门提到，不少中国企业正采用“芯粒封装”（chiplet packaging）等技术战略，聚焦计算效率和算法优化，以规避限制。她就此敦促美国政府制定更有效的出口管制措施，来遏制中国半导体制造能力的提升。 简单而言，芯粒封装就是指将多个小型芯片集成在同一个封装内，使其在功能上相当于一个完整的大型芯片，以较低的成本和相对传统的工艺，实现甚至超过更先进工艺所能达到的性价比。《南华早报》指出，芯粒因此在2024年被《麻省理工科技评论》评选为当年“十大突破性技术”之一。 共同出席听证会的美国无党派智库“特殊竞争研究项目”（SCSP）未来技术平台高级总监、前美国国务院外交官戴维·林（David Lin，音）6日则在其证词中警告，AI作为对中美技术竞争至关重要的“战场领域”和“关键技术”之一，中国在该领域已经对美国“构成竞争”（contested）。 “到2030年，中国的目标是成为‘世界主要AI创新中心’。你可以说，随着DeepSeek-R1模型几周前的发布，中国可能已经朝着实现其2025年目标迈出了一大步。”戴维·林在书面证词中写道。


戴维·林的书面证词截图 在提问环节，“美中经济与安全评估委员会”委员、前特朗普政府官员克里夫·西姆斯（Cliff Sims）质疑这张图表为何将AI分为“竞争领域”而非“美国领先”，声称DeepSeek仅仅是对ChatGPT的“蒸馏”，而这也意味着中国在AI发展上始终会落后美国一步。


西姆斯在听证会上提出问题 对此，戴维·林一方面顺着西姆斯的话，宣称中国在“窃取”美国知识产权方面“有着悠久历史”，一方面又“鼓励”西姆斯换个角度，称中国不应被视为“模仿者”（imitator），而应该被看作“迭代者”（iterator）。 在他看来，中国确实尚未在科学突破方面超越美国，如率先推出mRNA疫苗、ChatGPT、iPhone等，“但中国所做的是，通过其强大的制造实力，在这些创新的基础上进行迭代，使其产品更好、更快、更便宜，而这一过程正通过DeepSeek-R1展现在我们眼前”。 戴维·林本月早些时候接受新加坡《海峡时报》采访时也表示，中美在AI发展上“已经处于并驾齐驱的状态”。他坦言：“如果你在三个月前问我，我还会说我们稳稳领先，但形势变得非常迅速。” 他6日在听证会上进一步强调，DeepSeek公开表示其目标是努力实现通用人工智能（AGI），这一愿景表明了中国“在AI领域的雄心壮志”。AGI是指具备像人类一样的智能水平，能够理解、学习、适应、推理，并在不同领域自主执行任务的AI系统，通常也被视为AI发展的终极形态。 戴维·林指出，如今这场AI技术竞赛实质上是全球科技主导权之争。“这是一个关于争夺先发优势的问题，第一个实现AGI的人将在全球经济、政治及能源供应链方面带来深远的下游影响。”


戴维·林在听证会上发言 今年1月，DeepSeek发布其最新开源模型DeepSeek-R1，用较低的成本达到了接近于美国OpenAI开发的GPT-o1的性能。这一进展破解了全球AI产业长期以来“堆算力”的路径依赖，其影响波及资本市场。OpenAI随后公开指控DeepSeek通过“蒸馏”技术“违规复制”其产品功能。 所谓蒸馏的理论核心，就是让一个庞大且复杂的预训练AI模型充当“教师”，来训练一个较小的“学生模型”，后者从“教师模型”学习知识，以获得类似性能，但计算成本更低。不少专家表示，蒸馏在AI业内是一种常见的做法，但若涉及直接复制闭源专有模型的输出结构或参数，可能构成侵权。 前百度全球传播主管、前AI条线记者托尼·彭（Tony Peng，音）日前在其专栏梳理，“蒸馏”的具体操作方法有很多：如“监督微调”（SFT），即直接使用“教师模型”生成的输出数据来训练“学生模型”；或是“模型评分”，即让“教师模型”充当“评委”，对模型输出进行评分，并训练“学生模型”更倾向于高分回答；又或是利用“教师模型”为复杂问题生成的多步骤推理链，让“学生模型”模仿这种长链式思维（CoT）的过程。 根据DeepSeek自己发布的技术文档，其R1模型在第一阶段使用了早期模型R1-Zero的输出作为冷启动数据集，由人工标注员优化后进行训练，并在第二阶段继续通过强化学习（RL）进行优化。R1-Zero模型则完全依赖RL，未使用“微调数据集”（fine-tuning datasets）。 此外，DeepSeek去年12月发布的V3模型是使用对R1的“知识蒸馏”等提升了训练效率。技术文档称，DeepSeek-R1作为高级推理模型，其CoT能力被蒸馏到V3，从而提升V3的推理能力。 考虑到OpenAI尚未提供具体证据，其首席执行官奥尔特曼上周又称“没有计划”起诉DeepSeek，目前舆论猜测纷纷。与此同时，也有许多声音指出，OpenAI提出这一指控本身就颇为“虚伪和讽刺”。 “要知道，ChatGPT在训练过程中也使用了《福布斯》或《纽约时报》的内容，这同样违反了它们的服务条款。”康奈尔大学高级访问讲师、曾在谷歌、领英等科技公司从事AI研究的卢茨·芬格（Lutz Finger）说。 硅谷内部也有人提出反思。金沙江创业投资（GSR Ventures）合伙人、长期居住在硅谷的新加坡风险投资人戴维·尹（David Yin，音）对《海峡时报》表示，许多硅谷的AI应用公司陷入思维定势、缺乏创新，导致其盲目扩张，而不是提高效率。 “（在硅谷）当有人想给你数千亿美元时，你所想的就是雇更多人、买更多算力，建造自己的‘核电站’”。他说，“也许中国的参与者不擅长‘从零到一’的创新，但一旦他们掌握了一项技术，就会把它优化到极致，从一做到十、一百。”