@
aarontian 我上面的回复确实情绪过重了,这里心平气和地把技术概念和背后的事情理一下。
首先是概念问题。很多人把"合成数据( Synthetic Data )"和"知识蒸馏( Knowledge Distillation )"混为一谈,但这俩在学术上完全是两回事。知识蒸馏( KD )是 Hinton 2015 年提出的,核心是让学生模型对齐教师模型的概率分布( Logits ),通过 KL 散度来传递"暗知识"。而用一个模型的输出文本去做 SFT ,学术上叫合成数据训练或模仿学习( Imitation Learning ),学到的主要是风格和格式,并不等于真正意义上的 KD 。
回到 Anthropic 那篇博文,它指控的那三家通过 API 大量获取 Claude 的输出文本,用来做训练数据。但你想想,通过 API 你拿到的只是最终的文本输出,又不是模型的 Logits 分布,严格来说这些公司做的应该是合成数据训练居多,至少不是每家都在做学术意义上的蒸馏。Anthropic 自己文章里也承认 "Distillation is a widely used and legitimate training method",它真正指控的是注册 24000 个欺诈账号、绕过区域限制、违反 ToS 的行为——这本质是合同违约问题。但它偏偏在标题里造了个 "distillation attacks" 的词,把一个合同纠纷包装成了技术安全事件。
为什么要这么包装?结合它文章里反复提到的 "national security""export controls""authoritarian governments" 这些关键词,意图其实已经很明显了:这篇文章的受众不是技术社区,而是华盛顿的政策制定者。表面上是 ToS 维权,实际上是在游说国会加强对中国 AI 公司的限制,本质是商业竞争手段。把"用我的 API 输出做训练"说成"蒸馏攻击",听起来就像网络安全威胁,更容易推动立法和制裁。
至于 Claude 出现自称 Qwen 的情况,大概率是预训练语料混入了简中合成数据没清洗干净,在没有 system prompt 锚定身份时触发了身份幻觉。这是数据清洗的工程问题,不等于在"蒸馏千问"。反过来同理,之前国产模型出现类似情况也不能直接定性为蒸馏。
大家嘲讽 Anthropic 的回旋镖我完全理解,毕竟是它自己先把这个词武器化的。但如果我们自己也跟着用不精确的概念去起哄,某种程度上反而是在帮 Anthropic 巩固它那套叙事——默认了"用 API 输出做训练 = 蒸馏 = 攻击"这个逻辑链条。