碾压所有对手?谷歌发布轻量化开源大模型,笔记本电脑就可跑
我心如烟卸
发表于 2024-2-22 13:15:57
242
0
0
当地时间2月21日,谷歌宣布正式推出全新的开源大语言模型(LLM)“Gemma”, 旨在帮助开发人员和研究人员负责任地构建人工智能。
据介绍,Gemma大模型与谷歌规模最大、能力最强的人工智能模型Gemini共享技术和基础架构,“受到 Gemini的启发,Google DeepMind和Google其他团队合作开发了Gemma,并用拉丁语中意为‘宝石’的gemma为其命名。”
不过相比Gemini,Gemma更加轻量化。同时,Gemma依旧保持免费使用,其模型权重也一并开源,并且允许商用。
谷歌共发布了两种不同权重规模的模型,分别为Gemma 2B(20亿参数)和Gemma 7B(70亿参数)。每种规模都有预训练和指令微调版本,允许所有组织(无论规模大小)负责任地进行商用和分发。
谷歌发布Gemma的同日,风头正盛的芯片制造商英伟达也宣布,已与谷歌达成合作,确保Gemma模型在其芯片上顺利运行。英伟达还表示,旗下聊天机器人软件Chat With RTX也将马上支持Gemma。
值得注意的是,谷歌还强调,Gemma能在关键基准上越级碾压更大的模型。更为令人印象深刻的是,谷歌Gemma可以在笔记本电脑上运行。
谷歌方面表示,Gemini是我们当今广泛使用的最大、功能最强大的AI模型。与其他开放模型相比,Gemma 2B和7B能够在其范围内实现同类最佳的性能。Gemma模型能够直接在开发人员笔记本电脑或台式计算机上运行,“值得注意的是,Gemma在关键基准上超越了更大的模型,同时遵守我们安全和负责任的输出的严格标准。”
在开源模型的同时,谷歌还公布了有关Gemma的性能、数据集组成和建模方法的详细信息的技术报告。有研究人员在技术报告中发现,Gemma支持的词汇表大小达到了256K,这意味着它对英语之外的其他语言能够提供更好、更快的支持。
Gemma与Meta公司发布的Llama 2的参数对比,来自谷歌官网
Gemma也第一时间在知名开源模型库HuggingFace和HuggingChat上线。上线不久之后,在HuggingFace的“大语言模型榜单”上,Gemma 2B和7B模型已经双双登顶。
AI行业专家、深度学习框架Keras的作者Franois Chollet更是对此表示,最强开源大模型的位置现在易主了。
Gemma的竞争对手Llama 3也发布在即。1月19日,Meta联合创始人兼首席执行官扎克伯格宣布,Meta正在训练Llama 3并且将以负责任地方式继续开源。
CandyLake.com is an information publishing platform and only provides information storage space services.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
You may like