元宇宙

热点-钮祜禄·Meta:发布最强开源新模型Llama 2,拉拢微软做盟友 | 最前线

作者:CETCIT小编

2023-07-19 21:19:09

文 | 张一弛

编辑 | 邓咏仪

在ChatGPT和Bard对垒之际,如今Meta开始高调奋起进击。

北美时间7月18日,META公布最新大模型Llama 2(羊驼 2),包含7B、13B和 70B三种参数变体,可免费用于商业或者研究

Meta首席人工智能科学家杨立昆在Twitter上表示,“这将改变大模型市场格局。”

Llama是Meta在2023年2月发布的开源大模型,由于主要竞争对手GPT-4与谷歌PaLM都采取了闭源的方式,Llama一经推出就被认为是最强开源大模型,使用了1.4万亿个tokens进行训练。国内外不少大模型创业公司,基于Llama之上做开发的不在少数。

Tokens是大模型处理与生成语言文本的基本单位,通常来说,用于训练的tokens越多AI就越智能。据CNBC报道,谷歌最新大模型PaLM 2使用3.6万亿个tokens进行训练;而GPT-3使用的tokens数量为3000亿,多家媒体推测,GPT-4的tokens也达到了数万亿个。

这是一次万众瞩目的发布。相比第一代,无论是在参数量、性能上都有大幅提升,其训练时间是在2023年1月-7月,用于训练的tokens数量提高了40%,达到两万亿个。

除此之外,Llama 2上下文长度增加一倍,达到4096个字符,这和GPT-3.5的参数持平。

通过公布的测评结果显示,Llama 2不仅性能远强于Llama 1,同时在包括推理、编码、精通性和知识测试等许多外部基准测试中都优于其他开源语言模型。

与闭源大模型相比,Llama 2目前性能已追上竞争对手谷歌与OpenAI的上一代产品,但仍与最新一代有差距。

Meta将Llama 2 70B与闭源模型进行比较,在大规模多任务语言理解(MMLU)和高质量小学数学问题(GSM8K)表现接近GPT-3.5,在编码基准(HumanEval)上存在显著差距。

相比谷歌PaLM(540B),Llama 2 70B几乎所有结果持平或表现更好,但与GPT-4 和 PaLM-2-L在参数上仍有较大差距。


来源:官方,Llama 2 性能对比

目前Llama 2在性能上难以撼动OpenAI的市场地位,但免费商用后,Meta有望利用开源生态实现弯道超车。

相比闭源大模型,用户可以低成本的在本地服务器上部署开源大模型,以构建适用于自身业务的专用大模型,不需要将数据放到OpenAI等闭源大模型提供商的服务器中。同时开源社区中大量技术大牛会为开源大模型提供源源不断的创意,大模型迭代速度更快。

比起前一代只能用于研究用途,如今的Llama 2会催生新一波的AI大模型创业热潮。微软表示,Llama 2已经针对 Windows进行优化,直接可以在Windows本地运行。

Windows目前还是全球市场占有率最高的操作系统——这意味着,Llama 2一推出,马上就能面向更多群体,个体户或是个人在本地调试自己专属大模型的门槛,是真正意义上的大大下降。

而无论OpenAI、谷歌和Meta在前面怎么打,坐收大模型之利的都是微软。

Meta在公布Llama 2的同一天,也直接官宣了和微软的合作。“我们将与Microsoft的合作关系提升到新的水平,微软会作为Llama 2的首选合作伙伴。”Meta表示。以后,微软Azure云服务的用户,在云上就可以直接微调部署Llama 2。


扎克伯格公布合作新闻,并发布与微软CEO萨提亚合影 来源:扎克伯格社交媒体

受影响最大的,无疑是和微软同样深度绑定的OpenAI。此前,微软通过投资的方式,获取了OpenAI 49%的股份,成功让GPT赋能Bing等多款应用,微软Office 365内置的AI助手Copilot,用的就是OpenAI的技术。

而OpenAI和微软深度绑定后,为了能筹集到更多资金,完成与微软的收入约定,从发布GPT-4后开始选择闭源,这是为业界诟病的一大问题。

如今,微软转头就如法炮制,与Meta深度绑定,显然是不愿意将鸡蛋放在一个篮子中,这无疑会进一步让大模型的竞争格局变得更加复杂。

开源、闭源之争可以说是推动技术进步的最重要力量——当年安卓和Apple的IOS系统大战就是证明,如今apple依旧生态封闭,但全球市占率最高的手机操作系统依旧是安卓。

尽管不少媒体表示大模型竞争格局“一夜变天”,但这在AI发展史上,并不是新鲜事。“计算机视觉领域的AlexNet、GoogLeNet、ResNet,NLP领域的Transformer、最新的GPT/GLM模型等等,均是如此。”前阿里云副总裁,刚创立AI infra公司Lepton AI的贾扬清在个人博客中表示。

如今闭源的OpenAI,与Meta为首的开源势力之间的竞争还会持续很久。“模型除了一到两个头部玩家之外,无法形成壁垒,开源生态必然会以更加用户友好的方式来蚕食市场。”贾扬清表示。

web3.0教程