元宇宙

报备-Meta发布全新大型语言模型LLaMA,加入硅谷AI竞赛

作者:CETCIT小编

2023-02-26 15:19:09

当地时间2月24日,Meta公司发布一款新的人工智能大型语言模型LLaMA,加入微软、谷歌等硅谷公司的竞赛。

Meta首席执行官扎克伯格在Instagram表示,LLaMA模型旨在帮助研究人员推进工作,在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面“有很大的前景”。

根据Meta官网发布的论文,LLaMA目前包含70亿、130亿、330亿和650亿这4种参数规模的模型。其中,参数规模最小的LLaMA 7B也经过了超1万亿个tokens的训练。Meta表示,在大多数基准测试中,参数仅为十分之一的LLaMA-13B的性能优于OpenAI推出的GPT3(175B),也即支持ChatGPT的GPT3.5的前身。LLaMA-65B也可与业内领先的Chinchilla-70B和PaLM-540B竞争。

Meta在去年5月曾推出一款面向研究人员的名为OPT-175B的大型语言模型,去年年底还发布过另一款模型Galactica,但后者被发现经常分享有偏见或不准确的信息,在48小时内被迅速下架。

web3.0教程