百度智能云升级两大AI基础设施
Aim_yuan
发表于 2024-9-26 16:57:14
171
0
0
“2024年大模型的产业落地正在加速,目前在千帆大模型平台上,文心大模型日均调用量超过7亿次,累计帮助用户精调了3万个大模型,开发出70多万个企业级应用。过去一年,文心旗舰大模型降价幅度超过90%,主力模型全面免费,最大限度降低了企业创新试错的成本。”百度集团执行副总裁、百度智能云事业群总裁沈抖表示,大模型以及配套的算力管理平台、模型和应用开发平台,正在迅速成为新一基础设施。
大算力是大模型落地的基础条件。据介绍,为满足企业落地大模型从集群创建、开发实验,到模型训练、推理的全旅程算力需求,应对超大规模GPU集群高成本、难运营两大挑战,百度智能云升级发布百舸AI异构计算平台4.0,面向万卡、十万卡集群全面升级算力管理能力。
其中,在集群创建阶段,企业通常需要进行大量复杂、琐碎的算力配置和调试工作。百舸4.0预置了主流的大模型训练工具,能够实现工具层面的秒级部署,并将万卡集群运行准备时间从几周缩减至1小时,极大地提升部署效率,缩短业务上线周期。
在开发实验阶段,企业需要针对业务目标对不同架构、参数的模型进行多次测试,进而制定最佳模型训练策略,保障后续训练的性能和效果。百舸4.0全新升级的可观测大盘,能够对多芯适配、集群效能、任务自动容错等方面进行全方位监测,提供直观决策依据,帮助用户更好地把控整体项目。
目前,百舸在万卡集群上实现了有效训练时长占比99.5%以上,业界领先,极大地节约了客户算力与时间成本。此外,百舸4.0通过在集群设计、任务调度、并行策略、显存优化等一系列创新,大幅提升了集群的模型训练效率,整体性能相比业界平均水平提升30%。
此外,为了满足企业客户对模型调用、模型开发、应用开发的需求,百度智能云发布千帆大模型平台3.0。在模型调用方面,升级后的千帆平台,不但可以调用包括文心系列大模型在内的近百个国内外大模型,还支持调用语音、视觉等各种传统的小模型。在扩大模型种类的同时,百度智能云持续降低模型调用成本。
工具平台的不断完善,也促进了过去一年大模型产业落地的爆发式增长。千帆平台上已经沉淀了包括制造、能源、交通,政务、金融、汽车、教育、互联网在内的八大行业解决方案。
CandyLake.com is an information publishing platform and only provides information storage space services.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.