建诚鑫瞻竭诚为您服务!

1 2

联系我们

建诚鑫瞻
联系地址:

新闻中心 当前位置:首页 >> 新闻中心

全球AI巨头正加急抄DeepSeek作业,蒸馏降本或彻底颠覆美国技术先发优势


在全球人工智能竞赛日益激烈的背景下,OpenAI、微软和Meta等行业巨头正纷纷押注“蒸馏”技术,以降低AI模型的成本,提高其普及率,使企业和消费者更容易获取先进的AI能力。


这一技术的影响力在中国初创公司DeepSeek利用开源系统(如Meta和阿里巴巴的模型)打造高效AI模型后迅速扩大。DeepSeek的突破不仅挑战了硅谷在AI领域的领导地位,也引发市场震动,导致华尔街投资者对美国科技巨头信心下降,使其市值蒸发数十亿美元。


蒸馏技术:让“小模型”承载“大智慧”

蒸馏的核心原理是利用一个大型语言模型(“教师模型”)生成预测数据,并用这些数据来训练更小、更高效的“学生模型”,从而将大模型的知识快速迁移到小模型上。


尽管蒸馏技术已存在多年,最近的技术突破让行业专家普遍认为,它将成为AI创业公司的“降本增效”利器,使其能够在不依赖庞大算力的情况下构建高效AI应用。


“蒸馏是一种近乎神奇的技术。”OpenAI平台产品负责人Olivier Godement表示,“它能够利用一个极其强大的前沿大模型,让其‘教授’一个更小、更专注于特定任务的模型,使其拥有极快的执行速度和极低的计算成本。”


降本增效 AI能力触手可及

像GPT-4、谷歌的Gemini和Meta的Llama这样的超大规模语言模型,训练和维护成本极为昂贵,尽管相关公司未披露具体数字,但业内普遍认为这一费用高达数亿美元。


蒸馏技术的应用使得开发者和企业能够以极低成本访问大模型的核心能力,从而让AI应用能够更高效地运行在笔记本电脑、智能手机等设备上,加速AI技术的普及。


微软便是这一策略的践行者。作为OpenAI的最大投资者之一(累计投资近140亿美元),微软利用GPT-4蒸馏出小型语言模型Phi,推动其商业化落地。


然而,OpenAI认为DeepSeek可能利用蒸馏技术从其模型中提取信息,以训练竞争产品,涉嫌违反其服务条款。对此,DeepSeek尚未作出回应。


蒸馏的权衡:轻量化与性能之间的博弈

尽管蒸馏能够大幅降低模型运行成本,行业专家也指出,这一技术在提升计算效率的同时,也不可避免地带来一定的能力削弱。


“蒸馏是一个有趣的权衡过程——当你缩小模型时,势必会降低其泛化能力。”微软研究院的Ahmed Awadallah指出,“例如,一个蒸馏后的模型可能非常擅长总结电子邮件内容,但在其他任务上的表现可能不尽如人意。”


IBM研究院AI模型副总裁David Cox则认为,对于大多数企业而言,超大规模AI模型并非刚需,蒸馏后的模型已足以支撑客服聊天机器人等日常业务,并能在智能手机等小型设备上高效运行。


“只要蒸馏能显著降低成本,同时提供符合预期的性能,就没有理由不采用。”Cox补充道。


不过,这一趋势也对AI巨头的商业模式构成挑战。即便开发者仍依赖OpenAI等公司的蒸馏模型,但由于这些模型计算成本更低,带来的收入自然也相对减少。因此,OpenAI通常对蒸馏模型的使用收取较低费用,以匹配其较低的计算负载。


尽管如此,OpenAI的Godement仍坚信,大型语言模型在“高智能、高风险任务”中仍不可或缺,企业愿意为高精准度和高可靠性支付更高的费用。此外,大模型依然是创新能力的源泉,未来的新突破也将依赖于这些模型,随后再被蒸馏至更小的模型中。


蒸馏:开源AI的胜利还是技术竞争的隐忧?

与此同时,OpenAI也在积极防止其大模型被用于竞争性蒸馏。公司专门设立了监控团队,一旦发现用户可能在大规模提取数据以训练竞争产品,便会撤销其访问权限。例如,OpenAI据称已采取措施限制与DeepSeek相关的账户访问其模型。但这些措施往往是事后补救,难以彻底杜绝此类行为。


“OpenAI一直试图防止蒸馏被滥用,但完全避免几乎是不可能的。”Contextual AI首席执行官Douwe Kiela表示,该公司正在开发面向企业的信息检索工具。


另一方面,蒸馏的广泛应用也被视为开源AI的胜利。这一技术使得开发者可以更自由地利用开源AI系统进行创新。例如,DeepSeek的最新模型也采用了开源方式,向全球开发者开放。


Meta首席AI科学家Yann LeCun对此表示:“我们会立刻将蒸馏技术应用到产品中。这正是开源的精髓——所有人都能从彼此的进步中受益。”


然而,蒸馏技术的崛起也让AI行业的竞争变得更加复杂。尽管领先的AI公司投入数十亿美元推动模型能力提升,但竞争对手可以借助蒸馏技术迅速跟进,正如DeepSeek的最新成果所展现的那样。这引发了行业对“先发优势”是否仍然成立的深思。


“在当今AI行业瞬息万变的环境下……你可以投入巨资研发一个突破性的模型,但几个月后,竞争对手就能用蒸馏技术迎头赶上。”IBM的Cox表示,“这无疑让AI市场变得更加复杂,商业模式也更加难以预测。”


2025-03-07 本文被阅读 75 次
上一篇:没有了! 下一篇:央企重组为什么这么多人会投反对票?中国船舶工业股份有限公司与中国船舶重工股份有限公司的合并已经是人尽皆知的事情了

猜你喜欢

  Copyright © 2024   建诚鑫瞻版权所有  公司地址: 网站地图