李彦宏最新内部讲话:开源大模型不如闭源 后者会持续领先
海田1
发表于 2024-4-12 09:30:56
202
0
0
此外,他还提到了关于AI创业者应该专注模型还是应用、创业公司既做模型又做应用的“双轮驱动”是否是一个好模式等业界焦点话题。
大模型开源意义不大
在大模型领域,目前有开源和闭源两种技术路线。
例如马斯克旗下的人工智能初创公司“xAI”选择了开源路线,此前其正式开源了全球最大参数的大语言模型Grok-1。Meta的大语言模型Llama系列,以及在开源社区备受关注的Mistral AI等,国内的智源“悟道”大模型、百川智能大模型、阿里的通义千问模型也都是开源大模型。
掀起大模型热潮的OpenAI开发的GPT-3.5、GPT-4选择了闭源,百度文心大模型也是如此。
李彦宏在内部讲话中提到,关于文心是否需要开源,百度内部有过非常激烈的讨论,最终决定不开源。当时的判断是,市场上一定会有开源的模型,而且不止一家会开源。在这种情况下,多百度一家开源不多,少百度一家开源也不少。
“这个市场上不缺我们这一家开源的模型。我们要开源还得自己去维护一套开源的版本,这是不划算的。”他认为,模型开源的意义其实不是很大,这些开源模型在外零散、小规模地去做各种验证应用,却没有经过大算力的验证。
在他看来,与传统的软件开源不同,大模型开源并非众人拾柴火焰高。反而是闭源模型在能力上会持续领先,而不是一时的领先。
有行业人士同样对界面新闻表示,此前开源软件的优势在于大家共享代码,可以做到多人共同修复bug,使得软件不断更新。然而大模型本身是一个黑盒,在有人提交修改后就有重新训练的可能,每次训练都会消耗大量的算力和资金,并不像从前开源软件一样在多人共同开发方面有如此大的受益。
上述人士判断,长期来看,闭源更能集中智力、算力等资源对大模型进行迭代,比起开源效率更高。
李彦宏也强调,闭源的优势还在于有真正的商业模式,能赚到钱去聚集算力、聚集人才。在成本上,同等能力下,闭源模型的推理成本更低、响应速度更快。同等参数的情况下,闭源模型的能力也更强。
“今天不管是在中国也好、在美国也好,最强的基础模型都是闭源的,而各种各样的小模型、最好的小模型,都是通过大模型蒸馏来的。通过大模型降维做出来的模型就是更好的,这样也会导致闭源在成本上、在效率上会有优势。”他说。
关于大模型的开源闭源之争,百川智能首席执行官王小川此前接受界面新闻采访时也有所提及。他的观点是,大模型本身不代表消费端,不像安卓、IOS需要二选一,今天从企业端的角度,开源闭源都很需要。
王小川很看重开源带来的价值,他认为,未来80%的企业会用到开源模型,因为开源模型小巧,而闭源没法对很多场景做出上佳适配。
AI创业者的核心竞争力并非模型本身
除对开、闭源路线表态外,李彦宏还对AI创业者和创业公司提出了自己的看法。
他认为,一些做模型的创业公司所谓的“双轮驱动”不是一个好模式,既做模型又做应用,势必会分散精力。创业公司的精力和资源都是有限的,当资源有限时更应该专注,而不是去搞所谓的“双轮驱动”。
而对AI创业者来说,核心竞争力不应该是模型本身,这是非常耗资源的,而且需要很长时间的坚持才能跑出来。创业者真正的优势应该是在某一个领域的知识、数据。
“假如你今天想找一个‘黄色的无兜的男士泳裤’,你在任何一个电商平台上都找不到,这种需求目前的技术是解决不了的。大模型如果有领域知识就可以解决,这就是靠领域知识能够提供独特价值的例子。”他说。
在他看来,市面上有大量模型,大的、小的、开源的、闭源的,在特定应用当中如何使用这些模型的组合是有技巧的,这是创业者可以干的事儿,是可以提供价值增益的。
而关于外界所担心的如果用了文心或者闭源模型,做得好就会被抄袭、被抢饭碗,李彦宏也回应称,在移动时代,微信没有去吃掉拼多多,滴滴也没有变成腾讯的一部分。它们都各自提供了自己独特的价值,有自己非常不一样的竞争力。它们的兴起都是依赖移动生态里的一个封闭平台——微信,但它们并不怕微信去抢它的饭碗,所以没有必要担心基础模型通吃AI的应用。
中信建投研报指出,当前国内大模型能力逐步提升,中文领域处理和部分特性如长文本处理等有对齐和领先优势。随着Kimi热度提升,国内多家大模型厂商加入长文本能力竞争,产业消费端落地加速。国内大模型应用元年已至。
在模型逐渐成熟后,未来大模型将在产品和应用层上展开新一轮比拼和争夺。李彦宏这番讲话也是在吸引更多应用层开发者选择文心大模型。
在此前的百度2023年第四季度及全年财报电话会上,李彦宏透露,百度智能云四季度总营收84亿元,其中大模型为云业务带来约6.6亿元增量收入。
目前,文心大模型的日调用量已超过5000万次,季度环比增长190%。去年12月,约有2.6万家企业调用文心大模型,季度环比增长150%。三星、荣耀、汽车之家等企业均与百度达成合作。
自发布以来,百度不断降低文心大模型的推理成本,目前已降低至去年3月版本的1%。
李彦宏还表示,未来,多模态或多模态的融合,比如文字到视频,是非常重要的基础模型开发的方向,也是AGI(通用人工智能)的一个必要方向。百度已经在这些领域进行投资,并会在未来继续进行投资。
CandyLake.com is an information publishing platform and only provides information storage space services.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.