Meta发布最新开源大模型Llama 3,持续追赶OpenAI
今早我梦醒了坎
发表于 2024-4-19 11:13:52
200
0
0
在大盘小跌的情况下,Meta股价上涨1.54%。
根据Meta官方介绍,Llama 3在两个定制的24K GPU集群上基于超过15T的数据进行了训练——这比Llama 2使用的数据集大7倍,多4倍的代码,并且Llama 3支持8K上下文长度,是Llama 2容量的两倍。
Meta官方
此外,Meta还放出了Llama 3两个版本与谷歌Gemma、谷歌Gemini、Mistral、Anthropic的Claude 3等竞争对手的参数对比。
对于用户来说,也能够通过Meta自己推出的Meta AI来感受Llama 3。Meta CEO 扎克伯格介绍,Meta AI 将集成到Meta旗下各大产品 WhatsApp、Instagram、Facebook 和 Messenger 顶部的搜索框中,并建立了一个网站 meta.ai,使其更易于使用。
根据Meta首席科学家Yann LeCun称,未来几个月Llama将继续推出更多版本,也将很快释放Llama 3的研究论文。英伟达高级科学家Jim Fan认为之后可能会发布的Llama 3-400B以上的版本其将成为某种“分水岭”,开源社区将能用上GPT-4级别的模型。
值得关注的是,Llama 3的推出像其此前版本一样引发了开源社区的轰动,但就在本周早些时候,百度创始人李彦宏公开表示,开源模型将越来越落后。
李彦宏称,开发者通过百度的文心4.0降维裁剪出来的更小尺寸模型,要比直接拿开源模型调出来的模型,同等尺寸下效果明显更好;同等效果下,成本明显更低。“大家以前用开源觉得开源便宜,其实在大模型场景下,开源是最贵的。所以开源模型会越来越落后。”
CandyLake.com is an information publishing platform and only provides information storage space services.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.